Resumen Técnico: Los modelos de lenguaje de frontera luchan por copiar: El texto puede verse mejor en 2D

Declaración del problema

A pesar de alcanzar un rendimiento de vanguardia en tareas de razonamiento complejo, los modelos de lenguaje extensos (LLM) de frontera exhiben un fallo fundamental al realizar la copia exacta de cadenas. Los autores demuestran que incluso los modelos con ventanas de contexto significativamente más grandes que las cadenas de entrada fallan al reproducir secuencias de entrada con precisión, particularmente cuando las entradas contienen subcadenas repetidas o cuando la longitud de la secuencia excede la distribución de entrenamiento.

El artículo identifica dos modos principales de fallo:

1. Fallo de generalización de longitud: La precisión de la copia se degrada a medida que aumenta la longitud de la entrada, cayendo a menudo por debajo del 50% para longitudes que están muy dentro de la ventana de contexto del modelo.
2. Sensibilidad a la repetición: Los modelos tienen dificultades significativas con entradas que contienen patrones repetidos (por ejemplo, señales periódicas o estructuras recursivas), lo que sugiere que dependen del emparejamiento de contexto local en lugar de una recuperación posicional precisa.

Los autores hipotetizan que este fallo proviene del sesgo inductivo de las codificaciones posicionales estándar (como RoPE). En lugar de recuperar el $k$-ésimo token basado en su índice absoluto o relativo, los modelos parecen utilizar un atajo "basado en el contexto", buscando subcadenas locales similares en la entrada. Cuando existen subcadenas repetidas, este mecanismo se vuelve ambiguo, lo que conduce a errores.

Metodología

1. Análisis de diagnóstico

Los autores primero establecen la existencia del problema mediante exhaustivos benchmarks:

• Copia binaria: Se les pide a los modelos que copien cadenas binarias generadas mediante distribuciones uniformes, desequilibradas o de giro recursivo (recursive-flip).
• Conversión de listas de Python: Los modelos deben convertir datos de sensores físicos separados por comas en listas de Python.
• Interpretabilidad mecánica: El análisis de los mapas de atención revela que los modelos RoPE estándar no aprenden un alineamiento limpio basado en la posición. En su lugar, exhiben una mezcla de:
  • Patrones horizontales: Atender a delimitadores fijos (por ejemplo, <\n>, <I:>), un atajo basado en la posición que falla en longitudes no vistas.
  • Patrones diagonales: Comportamiento de cabeza de inducción que empareja contextos locales, el cual falla cuando las subcadenas se repiten.

2. Solución propuesta: 2D-RoPE

Motivados por la observación de que copiar una cadena de entrada $x_1, \dots, x_n$ a una salida $y_1, \dots, y_n$ es estructuralmente una operación 2D (dos filas), los autores proponen 2D-RoPE.

• Concepto: El texto se organiza en una cuadrícula 2D en lugar de una secuencia 1D. El token de nueva línea <\n> actúa como un separador de filas.
• IDs de posición: A cada token se le asigna un par $(r_i, c_i)$, donde $r_i$ es el índice de la fila y $c_i$ es el índice de la columna dentro de esa fila.
• Mecanismo: La atención RoPE se aplica por separado a las coordenadas de fila y columna. En una tarea de copia, el token de origen $x_k$ y el token de destino $y_k$ comparten el mismo índice de columna. Por lo tanto, la copia se reduce a recuperar un token de la misma columna en la fila anterior, una operación de desplazamiento fijo que es geométricamente más simple de aprender para una sola capa de atención que un desplazamiento 1D dependiente de la longitud.

3. Variante adaptativa: Auto-2D-RoPE

Reconociendo que el texto natural puede no contener siempre saltos de línea explícitos para definir las filas, los autores introducen Auto-2D-RoPE.

• En lugar de depender de un token separador fijo, esta variante aprende una transformación dependiente de los datos.
• En cada capa, el modelo predice coeficientes de actualización basados en los estados ocultos de los tokens para determinar cómo evolucionan las coordenadas 2D (incrementando la columna frente a reiniciar la columna e incrementar la fila).
• Esto permite al modelo inferir la estructura 2D de forma adaptativa, manteniendo la generalización de longitud incluso sin separadores de nueva línea explícitos.

Contribuciones clave

1. Evidencia empírica del fallo de copia: El artículo proporciona benchmarks rigurosos que muestran que los LLM de frontera (incluyendo GPT-5.5, Gemini 3.1 Pro y DeepSeek V4 Pro) fallan en tareas de copia exacta, particularmente en secuencias largas o repetitivas, contradiciendo la suposición de que las capacidades algorítmicas básicas son dominadas por los modelos grandes.
2. Diagnóstico teórico y mecánico:
   • Teoría de expresividad: Los autores demuestran que los Transformers de una sola capa con codificaciones posicionales invariantes al desplazamiento no pueden resolver la copia binaria para secuencias cortas ($n \le 5$), mientras que los modelos RoPE de dos capas sí pueden. Esto sugiere que el fallo no se debe a límites de expresividad, sino al sesgo inductivo del entrenamiento.
   • Análisis de atención: Demuestran que los modelos entrenados dependen de una mezcla frágil de heurísticas basadas en la posición y el contexto, en lugar de un algoritmo robusto.
3. Arquitectura 2D-RoPE: La introducción de 2D-RoPE, que reformula el texto como una cuadrícula 2D, proporcionando un fuerte sesgo inductivo para la recuperación basada en la posición.
4. Garantías teóricas:
   • Expresividad: Se demuestra que un Transformer 2D-RoPE de una sola capa puede representar la tarea de copia binaria con parámetros acotados.
   • Generalización: Bajo restricciones de regularización $\ell_\infty$ (que imitan la optimización AdamW), los mínimos globales de 2D-RoPE entrenados en una longitud $L$ generalizan de forma demostrable a longitudes polinómicas en $L$.
5. Validación a gran escala: El método se valida mediante el preentrenamiento desde cero (de 350M a 1.4B de parámetros) en el conjunto de datos DCLM. Los modelos 2D-RoPE logran una generalización de longitud casi perfecta en tareas de copia, manteniendo un rendimiento comparable en benchmarks de razonamiento de sentido común.

Resultados

• Experimentos sintéticos:
  • Modelos de 1 capa: 2D-RoPE logra una copia perfecta con una generalización de longitud de hasta 1000$\times$ (entrenando en longitud 100, probando en longitud 100,000), mientras que las codificaciones estándar fallan inmediatamente.
  • Modelos de 12 capas: 2D-RoPE mantiene un rendimiento perfecto hasta una generalización de longitud de 100$\times$.
• Preentrenamiento de LLM a gran escala:
  • Los modelos preentrenados en DCLM y ajustados en tareas de copia muestran que 2D-RoPE supera significativamente a RoPE estándar y a Hybrid-RoPE (H-RoPE) tanto en tareas de copia de dominio interno (Desequilibrada) como de dominio externo (Giro Recursivo).
  • Por ejemplo, un modelo 2D-RoPE de 1.4B de parámetros logra un 100% de precisión en cadenas de giro recursivo de 8K de longitud, mientras que el baseline de RoPE estándar cae al 0%.
  • El rendimiento del razonamiento de sentido común permanece comparable a los baselines de RoPE, lo que indica que aprender la tarea de copia no degrada las capacidades generales de modelado de lenguaje.
• Auto-2D-RoPE: Logra mantener con éxito la generalización de longitud en tareas de copia incluso cuando el separador de nueva línea es reemplazado por un carácter genérico, demostrando la capacidad de aprender la estructura 2D sin pistas de formato explícitas.

Significancia y afirmaciones

El artículo afirma que la representación de la información posicional moldea fundamentalmente los comportamientos algorítmicos de los modelos de lenguaje. La incapacidad de los LLM actuales para copiar no es una falta de inteligencia, sino una consecuencia del sesgo inductivo introducido por las codificaciones posicionales 1D, que favorecen el emparejamiento de contexto sobre la recuperación posicional precisa.

Al ver el texto en 2D, los autores argumentan que la tarea de copia se vuelve geométricamente simple (recuperación de columna fija), permitiendo que los modelos aprendan algoritmos robustos que generalizan la longitud. El trabajo sugiere que la investigación futura debería explorar las codificaciones posicionales 2D para capturar mejor la estructura latente del texto y mejorar la fiabilidad del razonamiento algorítmico en los LLM. Los autores mantienen la modestia, señalando que la comprensión teórica de por qué los Transformers RoPE de múltiples capas fallan al copiar y la escalabilidad de Auto-2D-RoPE hacia regímenes más prácticos siguen siendo direcciones abiertas de estudio.