Resumen Técnico: ¿Qué es lo que importa en la linealización de los modelos de lenguaje?

Declaración del Problema

La linealización ha surgido como una estrategia primordial para el desarrollo de modelos de lenguaje (LM) eficientes, reemplazando el mecanismo de autoatención $O(L^2)$ de los Transformers por mezcladores de tokens subcuadráticos (por ejemplo, atención lineal, recurrencias con compuertas/gating). Si bien este enfoque busca retener el rendimiento de los Transformers a gran escala ofreciendo al mismo tiempo inferencia de tiempo lineal y una sobrecarga de memoria constante, persisten brechas significativas en la comprensión del campo.

La literatura actual sufre de condiciones de evaluación heterogéneas, que varían en tamaño de modelo, presupuestos de entrenamiento y objetivos de destilación. En consecuencia, no está claro qué sesgos inductivos específicos (como el gating, el decaimiento o las reglas de actualización delta) son los más adecuados para heredar las capacidades de un Transformer. Además, el comportamiento de escalado de estos modelos linealizados con respecto al conteo de parámetros y al presupuesto de tokens, así como su viabilidad para tareas de seguimiento de instrucciones y recuperación de contexto largo, sigue siendo un área de investigación abierta.

Metodología

Para abordar estas brechas, los autores proponen un marco empírico unificado para comparar siete arquitecturas subcuadráticas representativas: xLSTM, GLA, Gated DeltaNet, DeltaNet, RetNet, Kimi (KDA) y Linear Attention.

Configuración Experimental

El estudio aísla el mezclador de tokens como la variable principal empleando un pipeline de destilación de tres etapas que alinea los modelos estudiantes con un Transformer preentrenado (familia SmolLM2), manteniendo constantes el profesor, la distribución de datos y la receta de entrenamiento.

1. Alineación del Mezclador de Tokens (Salida de Atención): El mezclador de tokens del estudiante se alinea con la salida de atención del profesor utilizando una pérdida de error cuadrático medio (MSE). Esto proporciona una señal de supervisión densa a través de toda la vía de mezcla.
2. Alineación del Estado Oculto: Las representaciones ocultas intermedias del profesor y del estudiante se alinean mediante pérdida MSE.
3. Destilación de Conocimiento de Extremo a Extremo: El estudiante se entrena de extremo a extremo utilizando destilación de conocimiento estándar (Predicción del Siguiente Token + Divergencia KL).

Dimensiones de Evaluación

El estudio evalúa los modelos a través de tres ejes experimentales distintos:

1. Leyes de Escala (Scaling Laws): Los modelos se entrenan en tres escalas de parámetros (140M, 360M y 1.7B) con un presupuesto fijo de 3B de tokens para observar las jerarquías de rendimiento.
2. Madurez Asintótica: Los modelos se fijan en aproximadamente 1.7B de parámetros y se entrenan con un presupuesto extendido de 10B de tokens para determinar si las brechas de rendimiento se deben a un entrenamiento insuficiente o a límites arquitectónicos fundamentales.
3. Adaptación a Tareas de Instrucción (Downstream Adaptation): Los estudiantes destilados se someten a ajuste de instrucciones (SFT post-entrenamiento) y destilación consciente de instrucciones para evaluar su capacidad para seguir instrucciones y realizar tareas de recuperación de contexto largo (tareas de Needle-In-A-Haystack).

Contribuciones Clave y Resultados

1. Estabilidad de las Jerarquías de Rendimiento y Exponentes de Escala

El estudio encuentra que las jerarquías de rendimiento entre arquitecturas se mantienen notablemente estables a través de las escalas (140M a 1.7B).

• Arquitecturas con Compuertas (Gated Architectures): Los modelos con mecanismos de gating (xLSTM, Gated DeltaNet) superan consistentemente a las bases sin compuertas (Linear Attention, RetNet).
• El Punto de Cruce (Crossover Point): Un hallazgo crítico es un "cruce" en la escala de 1.7B. Mientras que xLSTM lidera en escalas menores, Gated DeltaNet emerge como el mejor performer en 1.7B (94.2% de recuperación del rendimiento del profesor). Esto sugiere que las reglas de actualización de corrección de errores (regla Delta) poseen exponentes de escala superiores en comparación con las alternativas puramente aditivas a medida que aumenta la capacidad del modelo.
• Deficiencias Intrínsecas: La brecha de rendimiento entre la Atención Lineal y los modelos con compuertas se amplía con la escala (de ~14% en 140M a ~20% en 1.7B), lo que indica que las deficiencias de la atención lineal aditiva son intrínsecas a la arquitectura y no pueden superarse simplemente aumentando el conteo de parámetros.

2. La Resolución del Estado como un Cuello de Botella Fundamental

Extender el entrenamiento a 10B de tokens revela que las brechas de rendimiento relativo se establecen tempranamente y persisten incluso cuando los modelos se acercan a los límites asintóticos.

• Madurez: El rendimiento se estanca para los modelos con compuertas después de 6–7B de tokens, mientras que los modelos sin compuertas se saturan antes y en niveles más bajos. Esto confirma que las brechas no se deben a un entrenamiento insuficiente, sino que representan límites fundamentales en cómo los diferentes mezcladores comprimen la información.
• Capacidades de Recuperación: En las tareas de Needle-In-A-Haystack (NIAH), la mayoría de las arquitecturas sufren un colapso en la resolución del estado a medida que aumenta la longitud de la secuencia. Linear Attention y RetNet fallan casi por completo más allá de los 512 tokens.
• Superioridad de la Regla Delta con Compuerta (Gated Delta-Rule): Gated DeltaNet es la única arquitectura que mantiene una precisión de recuperación significativa en contextos extendidos (por ejemplo, 81.8% de precisión a 2k tokens), demostiendo que la regla delta con compuerta proporciona un mecanismo más efectivo para actualizaciones de estado dirigidas y para prevenir la saturación del estado.

3. Adaptación de Instrucciones y Destilación

El estudio evalúa si el ajuste de instrucciones puede compensar las debilidades arquitectónicas.

• Amplificación de Diferencias: El ajuste de instrucciones post-entrenamiento mejora el rendimiento en todas las arquitecturas, pero amplifica las diferencias existentes. Los modelos más fuertes (Gated DeltaNet, xLSTM) se benefician sustancialmente, mientras que los modelos más débiles muestran mejoras limitadas.
• Limitaciones de la Destilación: La destilación consciente de instrucciones (entrenar con un profesor ajustado a instrucciones) no proporciona una ventaja consistente sobre el ajuste post-entrenamiento estándar y, en algunos casos, degrada el rendimiento de recuperación de contexto largo.
• Conclusión sobre la Adaptación: La adaptación de instrucciones no altera las restricciones arquitectónicas fundamentales impuestas durante la linealización. La capacidad de retener y sobrescribir información de manera selectiva sigue siendo el factor dominante que gobierna el rendimiento en tareas posteriores.

Significado y Reivindicaciones

El artículo argumenta que, para una linealización exitosa, los sesgos inductivos arquitectónicos son la restricción primaria que no puede superarse simplemente escalando el cómputo de entrenamiento o aumentando el presupuesto de tokens de destilación.

• Jerarquía de Diseño: El estudio establece una jerarquía clara para el diseño subcuadrático, identificando que las reglas de actualización de corrección de errores (regla Delta) combinadas con compuertas/gating (específicamente gating por cabeza o escalar) son más decisivas para el éxito que la acumulación aditiva o el gating por canal.
• Resolución del Estado: La investigación postula que la resolución del estado es un cuello de botella más fundamental que el presupuesto de destilación. Los modelos que no pueden gestionar la precisión de su estado interno (evitando la saturación) fallan al escalar eficazmente o al manejar contextos largos, independientemente de la duración del entrenamiento.
• Reproducibilidad: Para facilitar la investigación posterior, los autores liberan públicamente todos los modelos base, ajustados a instrucciones y destilados con instrucciones, asegurando la reproducibilidad de estos hallazgos.

Los autores conclizan que, si bien los modelos subcuadráticos pueden entrenarse de forma estable, la elección del mezclador de tokens dicta el techo del rendimiento, siendo las formulaciones de regla delta con compuerta las que actualmente ofrecen la vía más robusta hacia modelos de lenguaje eficientes y capaces de manejar contextos largos.