Resumen Técnico: Sobre Arquitecturas Subcuadráticas: De las Aplicaciones a los Principios

Planteamiento del Problema

Los Transformers dominan actualmente el modelado de secuencias, pero sufren costos de atención cuadráticos, lo que motiva el desarrollo de alternativas subcuadráticas basadas en mecanismos recurrentes, de espacio de estados y de atención lineal. Aunque los modelos fundacionales híbridos reemplazan cada vez más las capas de atención con operadores subcuadráticos (por ejemplo, Samba, Nemotron Nano, Kimi Linear), sigue sin estar claro qué diseños arquitectónicos específicos producen los modelos de secuencia más efectivos para tareas complejas. Las comparaciones previas se han limitado en gran medida a benchmarks de modelado de lenguaje estándar y razonamiento de sentido común, donde las diferencias de rendimiento suelen ser marginales. El artículo aborda la falta de comparaciones directas en dominios de datos con dependencias estructuradas de largo alcance, específicamente código y series temporales, donde se hipotetiza que los sesgos inductivos arquitectónicos divergen significamente.

Metodología

Los autores emplean una metodología de tres vertientes: evaluación empírica en dominios complejos, una formulación teórica unificada y experimentos sintéticos controlados.

1. Evaluación Empírica en Dominios Complejos

El estudio compara tres arquitecturas subcuadráticas líderes: xLSTM (Beck et al., 2024), Mamba-2 (Dao y Gu, 2024) y Gated DeltaNet (Yang et al., 2024b). Las evaluaciones se realizan en tres entornos:

• Preentrenamiento enfocado en Código: Modelos híbridos inter-capa de 400 millones de parámetros se preentrenan en corpora de código (Nemotron-CC-Code-v1). El rendimiento se mide mediante HumanEval pass@k y benchmarks de razonamiento (HellaSwag, PIQA, etc.).
• Destilación enfocada en Código: Estudiantes subcuadráticos son destilados de un profesor Transformer fuerte (Qwen3-4B-Instruct) utilizando un pipeline de linealización. El estudio compara reemplazos de matriz-estado plug-in (xLSTM [1:0] vs. Gated DeltaNet) bajo idénticas recetas de inicialización y optimización.
• Preentrenamiento de Modelo Fundacional de Series Temporales (TSFM): Los modelos se entrenan en un benchmark de pronóstico heterogéneo (GIFT-Eval) a través de cinco escalas de parámetros (1M a 80M), aislando el backbone del mezclador de secuencias mientras se mantiene fijo el pipeline de pronóstico.

2. Formulación Teórica Unificada

Para explicar las diferencias empíricas, los autores derivan un marco unificado que expresa las tres arquitecturas en términos de atención lineal con mecanismos de compuerta (gating). Esta formulación estandariza la notación para la escritura, el olvido, la sobreescritura y la lectura del estado. El análisis se centra en dos capacidades primitivas:

• Acumulación: La capacidad de sumar o contar sobre longitudes ilimitadas.
• Seguimiento de Estado (State Tracking): La capacidad de realizar actualizaciones de estado finito ordenadas (por ejemplo, paridad, composición de permutaciones).

3. Experimentos Sintéticos Controlados

Los autores prueban la hipótesis de que las diferencias arquitectónicas surgen de las capacidades de acumulación y seguimiento de estado utilizando tareas de generalización de longitud. Los modelos se entrenan con una longitud de secuencia de 128 y se evalúan en 128, 512 y 2048.

• Tareas de Acumulación: Conteo de mayoría, AnBn, AnBnCn.
• Tareas de Seguimiento de Estado: Paridad, Aritmética Modular (Z5) y problemas de palabras del grupo simétrico (S3).

Resultados Clave

Rendimiento Empírico

• Preentrenamiento de Código: xLSTM [7:1] supera consistentemente a Mamba-2 y Gated DeltaNet en todas las configuraciones de entrenamiento (20B y 100B tokens) y presupuestos de muestreo (pass@k). El margen es más pronunciado en la generación de código (HumanEval), donde xLSTM mejora sobre el siguiente mejor backbone hasta en 1.81 puntos.
• Destilación de Código: En el entorno de destilación, xLSTM [1:0] (mLSTM) logra el mayor promedio de puntuación pass@1 a través de cuatro benchmarks de código, superando tanto al Gated DeltaNet por defecto como a su variante de autovalor negativo.
• Preentrenamiento de Series Temporales: xLSTM [3:1] demuestra un rendimiento superior en pronósticos zero-shot (MASE y CRPS) de 1M a 40M de parámetros. A 80M de parámetros, la brecha se reduce, con Mamba-2 liderando ligeramente en CRPS, pero xLSTM se mantiene competitivo.

Hallazgos Teóricos y Sintéticos

• Análisis Unificado: Los autores identifican que Mamba-2 vincula sus compuertas de entrada y olvido (similar a un GRU), lo que limita su expresividad. Gated DeltaNet sobreescribe explícitamente los valores antiguos, lo que ayuda a la recuperación pero dificulta la acumulación. xLSTM separa la atención lineal de matriz-estado de las actualizaciones recurrentes, permitiendo una corrección de memoria flexible mediante una compuerta de entrada exponencial.
• Tareas Sintéticas:
  • Mamba-2: Falla en la generalización tanto en tareas de acumulación como de seguimiento de estado más allá de la longitud de entrenamiento.
  • Gated DeltaNet: La variante por defecto falla en el seguimiento de estado; la variante de autovalor negativo [−1, 1] resuelve el seguimiento de estado dentro de la distribución pero falla al generalizar a secuencias más largas (por ejemplo, la precisión de Paridad cae de 1.00 a 0.47 en la longitud 2048).
  • xLSTM: xLSTM [1:0] sobresale en la acumulación (conteo) pero falla en el seguimiento de estado. El híbrido xLSTM [1:1] combina con éxito ambos, logrando un seguimiento de estado perfecto y una fuerte extrapolación de conteo.

Significancia y Reivindicaciones

El artículo sostiene que la ventaja de xLSTM en tareas de secuencias complejas proviene de su capacidad para combinar un robusto seguimiento de estado con una acumulación tipo conteo.

• Mecanismo Arquitectónico: Los autores argumentan que el esquema de compuertas de xLSTM permite una corrección de memoria más flexible y estable en comparación con las compuertas vinculadas de Mamba-2 o la sobreescritura explícita de Gated DeltaNet.
• Principio de Diseño: Los resultados sugieren que, para dominios complejos como el código y las series temporales, la arquitectura óptima es un híbrido que retiene bloques de acumulación eficientes (atención lineal) como el componente dominante mientras incorpora un número menor de capas recurrentes para soportar el seguimiento de estado. Esto explica el éxito de configuraciones como xLSTM [7:1] y xLSTM [3:1].
• Alcance: Los hallazgos se presentan como la primera comparación directa de estos operadores específicos a través de los dominios de código y series temporales, yendo más allá de los benchmarks estándar de modelado de lenguaje para revelar separaciones arquitectónicas más claras.

Los autores mantienen la modestia respecto a las limitaciones, señalando que sus experimentos de código se encuentran en una escala de 400 millones de parámetros y que los experimentos de series temporales son los únicos que incluyen un barrido completo de escalado. Sugieren que extender estas comparaciones a escalas mayores y dominios de datos adicionales es un siguiente paso necesario.