🤖 machine learning

Low-Rank Ternary Adaptation for Fine-Tuning Transformers

Este artículo propone la "adaptación multiplicativa ternaria", un nuevo método de bajo rango que permite el ajuste fino eficiente de transformadores ternarios mediante la representación de actualizaciones de pesos discretos a través de pequeñas matrices ternarias, preservando así el dominio ternario y permitiendo la fusión directa sin decuantización, al tiempo que recupera significativamente el rendimiento en modelos de lenguaje y visión.

Autores originales: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexandru-Dragos Manolache, Yunqiang Li, Jan van Gemert

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna se basa en programas informáticos masivos llamados transformadores, que se han convertido en el motor detrás de todo, desde asistentes de escritura hasta generadores de imágenes. Estos programas son increíblemente potentes, pero también son pesados, requiriendo vastas cantidades de memoria informática y energía para funcionar. Para hacerlos utilizables en dispositivos más pequeños como teléfonos o portátiles, los investigadores han pasado años intentando reducirlos de tamaño. Una estrategia popular es comprimir los números dentro del programa, convirtiéndolos de valores complejos de alta precisión en versiones de pocos bits más simples. Imagine tomar una fotografía de alta resolución y reducirla a unos pocos colores; la imagen se vuelve más pequeña y rápida de procesar, aunque inevitablemente se pierde algo de detalle. La forma más agresiva de esta compresión implica limitar los números internos del programa a solo tres valores posibles: menos uno, cero y positivo uno. Este enfoque, conocido como cuantización ternaria, reduce la memoria necesaria en un factor de diez, convirtiendo potencialmente un modelo que antes requería un gran servidor en algo que podría ejecutarse en un portátil estándar.

Sin embargo, un problema significativo ha estancado el progreso de estos modelos ultra compactos. Si bien los modelos son pequeños y eficientes, son difíciles de enseñar nuevas tareas. Los métodos estándar para enseñar estos programas implican realizar ajustes diminutos y continuos en sus números. Pero cuando un modelo está restringido a solo tres valores, no puede realizar ajustes pequeños; solo puede cambiar un número de negativo a positivo, o apagarlo por completo. Las técnicas existentes para enseñar estos modelos comprimidos a menudo requieren expandir temporalmente los números de vuelta a su tamaño completo y pesado para realizar los cambios, y luego comprimirlos de nuevo. Este proceso de expansión y recompresión introduce errores que degradan el rendimiento del modelo, a menudo haciendo que el resultado final sea peor que si no se hubiera realizado ninguna enseñanza.

Un equipo de investigadores de la Universidad Tecnológica de Delft y Amazon ha desarrollado una nueva forma de enseñar estos modelos ultra compactos que evita este ciclo de expansión y error. En lugar de intentar añadir números pequeños y continuos al modelo, su método trabaja directamente dentro del estricto sistema de tres valores. Diseñaron un sistema que actúa como un conjunto de interruptores, permitiendo al modelo cambiar el signo de sus números internos o apagarlos por completo, sin salir nunca del estado comprimido. Para que esto sea eficiente, no intentaron ajustar cada número individualmente. En su lugar, utilizaron una estructura matemática que permite que unos pocos patrones pequeños y simples controlen vastas secciones del modelo a la vez. Este enfoque, que llaman adaptación ternaria de bajo rango, permite que el modelo aprenda nuevas habilidades mientras permanece perfectamente comprimido.

Los investigadores probaron este método en diferentes tipos de inteligencia artificial, incluyendo modelos de lenguaje capaces de razonar y modelos de visión que reconocen imágenes. Comenzaron con modelos que ya habían sido comprimidos al límite de tres valores y luego aplicaron esta nueva técnica de enseñanza. Los resultados mostraron que los modelos recuperaron gran parte de la precisión que habían perdido durante la compresión inicial. En pruebas relacionadas con tareas de lenguaje, los modelos adaptados funcionaron significativamente mejor que los intentos previos que intentaban forzar al modelo a aprender mediante la expansión y la recompresión. Por ejemplo, en un modelo de lenguaje con tres mil millones de parámetros, el nuevo método mejoró la precisión promedio en nueve tareas diferentes de aproximadamente un 32 por ciento a un 38 por ciento, haciendo también que las predicciones del modelo fueran mucho más seguras.

Quizás lo más importante es que el resultado final de este proceso es un modelo único y unificado que permanece en su forma ultra compacta. A diferencia de otros métodos que dejan atrás un conjunto separado y pesado de instrucciones que deben cargarse junto al modelo pequeño, este nuevo enfoque integra el aprendizaje directamente en los pesos diminutos. Los investigadores descubrieron que, para las tareas de visión, como la identificación de objetos en imágenes, su método produjo un modelo que era mucho más preciso que aquellos creados al recomprimir después de aprender. También descubrieron que el proceso de aprendizaje funcionaba redistribuyendo los signos de los números existentes en lugar de intentar devolver a la vida a los números que habían sido puestos en cero. Esto significa que el modelo aprende reorganizando lo que ya tiene, en lugar de intentar crear nuevas conexiones donde no existían.

Este trabajo demuestra que es posible enseñar a modelos de inteligencia artificial altamente comprimidos sin sacrificar su eficiencia o precisión. Al respetar los límites estrictos del sistema de tres valores y encontrar una forma de aprender dentro de esos límites, los investigadores han demostrado que estos modelos diminutos pueden ser tan capaces como sus contrapartes más grandes para muchas tareas. El método no requiere memoria adicional ni potencia de cálculo durante el uso, ya que el aprendizaje está totalmente integrado en la estructura del modelo. Esto abre la puerta para ejecutar inteligencia artificial sofisticada en dispositivos con recursos muy limitados, llevando capacidades poderosas a lugares donde antes era imposible desplegarlas.

Resumen Técnico: Adaptación Ternaria de Bajo Rango para el Ajuste Fino de Transformers

Planteamiento del Problema

Los modelos Transformer, particularmente los Grandes Modelos de Lenguaje (LLMs) y los Vision Transformers (ViTs), enfrentan desafíos significativos de despliegue debido a sus altos requisitos de memoria y cómputo. La cuantización ofrece una solución al comprimir los pesos, donde la cuantización ternaria (restringiendo los pesos a $\{-1, 0, 1\}$ ) representa un nivel de compresión extremo (~1.58 bits por peso) adecuado para hardware de gama baja. Sin embargo, el ajuste fino (fine-tuning) de estos modelos ternarios presenta un desafío único: los métodos existentes de Ajuste Fino Eficiente en Parámetros (PEFT), como Low-Rank Adaptation (LoRA) y sus variantes cuantizadas (QLoRA, QA-LoRA), dependen de actualizaciones aditivas en espacios de punto flotante continuos.

Aplicar actualizaciones aditivas a los pesos ternarios obliga al modelo a salir del dominio ternario, lo que requiere la descuantización a precisión completa para la actualización y la subsiguiente recuantización para la inferencia. Este proceso introduce errores de cuantización que degradan el rendimiento, particularmente en precisiones inferiores a 2 bits. Además, los métodos actuales o bien fallan en preservar la naturaleza ternaria del modelo fusionado, o bien requieren pasos de descuantización que niegan los beneficios de memoria y cómputo de la cuantización ternaria. Existe una falta de un método que pueda realizar PEFT de forma nativa dentro del dominio ternario discreto produciendo, además, un modelo fusionado que permanezca estrictamente ternario.

Metodología

Los autores proponen la Adaptación Multiplicativa Ternaria, un método diseñado para ajustar finamente modelos transformers ternarios sin abandonar el dominio ternario. La innovación central radica en reemplazar las actualizaciones aditivas continuas con actualizaciones multiplicativas discretas.

1. Actualización Multiplicativa Ternaria

En lugar de añadir una matriz de bajo rango a los pesos, el método aplica un producto de Hadamard elemento a elemento ( $\odot$ ) entre los pesos ternarios preentrenados ( $W_{tern}$ ) y una máscara de adaptación ternaria ( $\Delta_{tern}$ ):
$W'_{tern} = W_{tern} \odot \Delta_{tern}$
La máscara $\Delta_{tern}$ consiste en valores en $\{-1, 0, 1\}$ , realizando tres operaciones discretas sobre los pesos base:

$+1$ : Mantener el peso (identidad).
$0$: Eliminar el peso (poda/pruning).
$-1$: Invertir el signo del peso.

Esta formulación asegura la clausura dentro del dominio ternario; los pesos fusionados $W'_{tern}$ permanecen estrictamente en $\{-1, 0, 1\}$ , eliminando la necesidad de descuantización o recuantización.

2. Descomposición de Rango Bajo de Kronecker

Para representar la máscara de adaptación de alta dimensión $\Delta_{tern}$ de manera eficiente, los autores la descomponen utilizando un producto de Kronecker de dos matrices ternarias más pequeñas, $A$ y $B$ :
$\Delta_{tern} = A \otimes B$
donde $A \in \{-1, 0, 1\}^{p \times q}$ y $B \in \{-1, 0, 1\}^{r \times s}$ . Las dimensiones se eligen de tal manera que $p \cdot r = d_{out}$ y $q \cdot s = d_{in}$ , coincidiendo con la forma de la matriz de pesos original. Esta estructura permite que el modelo logre una expresividad de alto rango (rango hasta $\min(d_{out}, d_{in})$ ) manteniendo un recuento de parámetros de $O(d)$ para capas cuadradas, significativamente menor que el $O(d^2)$ requerido para el ajuste fino de rango completo o un LoRA de alto rango.

3. Entrenamiento mediante Proxies de Valor Real y STE

Dado que las matrices $A$ y $B$ deben ser discretas, la optimización directa basada en gradientes es imposible. Los autores optimizan proxies de valor real $\bar{A}$ y $\bar{B}$ y los proyectan al dominio ternario durante el paso hacia adelante (forward pass) utilizando una función de umbralización (basada en la media absoluta de la matriz). Los gradientes se transmiten a través de esta proyección no diferenciable utilizando un Estimador de Paso Directo (Straight-Through Estimator, STE).

4. Inferencia y Fusión

Tras el entrenamiento, la adaptación se fusiona directamente en los pesos base mediante multiplicación elemento a elemento. El modelo resultante es totalmente ternario, lo que no requiere parámetros adicionales ni sobrecarga de latencia durante la inferencia.

Contribuciones Clave

Adaptador Multiplicativo Ternario: Un nuevo método de PEFT que modela actualizaciones ternarias discretas (inversión de signo y eliminación de ceros) directamente sobre pesos ternarios, preservando el dominio ternario durante el entrenamiento y la inferencia.
Descomposición de Kronecker: Una representación compacta y de bajo rango de la máscara de actualización ternaria que equilibra la eficiencia de parámetros con una alta expresividad, permitiendo que la adaptación cubra todos los pesos en una capa.
Despliegue de Cero Sobrecarga: El método permite la fusión total del adaptador en el modelo base, resultando en un modelo estrictamente ternario que no requiere pasos de descuantización o recuantización.
Validación Empírica: Evaluación exhaustiva a través de seis modelos (LLaMA-3.2 1B/3B, Falcon-E 1B/3B, BitNet b1.58 y ViT-B/16) demostrando la recuperación del rendimiento perdido debido a la cuantización.

Resultados Experimentales

Los autores evaluaron su método en tareas de lenguaje y visión, comparándolo con líneas base de precisión completa, líneas base de cuantización post-entrenamiento (PTQ) y variantes de QLoRA.

Rendimiento de LLM (Llama-3.2 1B/3B): En el modelo Llama-3.2 1B, el método mejoró la puntuación promedio de los benchmarks de 33.2 (línea base de SpinQuant ternario) a 35.3, superando a las líneas base de 2 bits en siete de nueve tareas. Para Llama-3.2 3B, el método logró una precisión promedio de 38.3, superando la línea base de SpinQuant de 2 bits (32.6) y la de 1.58 bits (31.9) en todos los nueve benchmarks.
Perplejidad (PPL): El método redujo significativamente la perplejidad en comparación con la línea base de SpinQuant ternario (por ejemplo, de 86.5 a 44.6 para Llama-1B) y superó a QLoRA cuando este fue fusionado y recuantizado a 1.58 bits.
Adaptación de Tareas Downstream: Al ajustar finamente modelos ternarios preentrenados (Falcon-E, BitNet) en GSM8K, el método mejoró la precisión de coincidencia exacta en +1.0 a +3.1 puntos sobre los backbones ternarios congelados.
Visión (ViT-B/16): En ImageNet-100, el ViT ternario fusionado alcanzó un 83.0% de precisión Top-1, superando la línea base de QLoRA recuantizado (78.9%) y reduciendo la brecha con el ajuste fino ternario completo (85.7%).
Análisis de Pesos: El análisis de transición reveló que las ganancias de precisión se derivan principalmente de la redistribución de signos entre los pesos no nulos existentes. El método no puede reactivar los pesos que fueron cuantizados a cero, ya que la actualización multiplicativa no puede cambiar un valor cero a uno distinto de cero.

Significancia y Reivindicaciones

El artículo afirma que este trabajo aborda una brecha crítica en la adaptación eficiente de modelos: permitir el ajuste fino de modelos de extrema baja cuantización (ternarios) sin sacrificar los beneficios de memoria y cómputo del formato ternario. Al evitar la descuantización y la recuantización, el método previene la degradación de la precisión asociada con estos pasos en precisiones sub-2-bit.

Los autores enfatizan que su enfoque es el primero en producir un modelo fusionado que permanece estrictamente ternario mientras utiliza una estrategia de adaptación eficiente en parámetros. Esto permite el despliegue de modelos altamente comprimidos y ajustados finamente en hardware con recursos limitados sin la sobrecarga de inferencia de módulos adaptadores separados o la pérdida de precisión de la recuantización. El trabajo demuestra que los modelos ternarios pueden adaptarse eficazmente a tareas de dominio específico, recuperando gran parte del rendimiento perdido durante el proceso de cuantización inicial.