Resumen Técnico: ¿Cuántas Salidas Diferentes Puede Generar un Transformador?

Enunciado del Problema

A pesar del éxito empírico de los Transformadores en el procesamiento del lenguaje natural y la visión por computadora, estos modelos exhiben fallos fundamentales en tareas algorítmicas simples, como copiar o repetir secuencias, una vez que la longitud de la entrada supera cierto umbral. Mientras que trabajos anteriores han atribuido estos fallos a problemas de datos de entrenamiento o de optimización, este artículo postula que surgen de restricciones arquitectónicas intrínsecas. Específicamente, los autores investigan la accesibilidad de las secuencias de salida: el conjunto de todas las secuencias de tokens que un Transformador puede generar dada cualquier posible instrucción (incluyendo instrucciones suaves optimizadas) y una longitud de contexto arbitraria. La pregunta central es: ¿Cuántas secuencias distintas puede generar realmente un Transformador y cómo escala esta capacidad con la longitud de la instrucción y la arquitectura del modelo?

Metodología

Los autores abordan el problema analizando las restricciones geométricas impuestas por la precisión numérica finita y la naturaleza acotada de las representaciones internas dentro de la arquitectura del Transformador.

1. Formulación de Campo Medio: Para manejar longitudes de instrucción arbitrarias, los autores interpretan los Transformadores como mapeos entre medidas de probabilidad (extensión de campo medio) en lugar de secuencias finitas. Esto aprovecha la equivarianza a permutaciones de las capas de atención.
2. Particionamiento del Espacio de Incrustaciones: El espacio de incrustaciones se divide en regiones ($E_t$) que corresponden al siguiente token más probable (o secuencia de tokens) basándose en la proyección de salida del decodificador.
3. Análisis de Números de Empaquetamiento: Los autores utilizan el concepto de números de empaquetamiento (el número máximo de bolas disjuntas de un radio dado que pueden caber en un espacio) para cuantificar el número de entradas distintas que un Transformador puede distinguir.
   • Supuesto de Precisión Finita: Asumen que el Transformador tiene una precisión finita $\epsilon$, lo que significa que no puede distinguir entre entradas más cercanas que $\epsilon$ (modeladas como cubos o bolas alineadas con los ejes).
   • Soporte Acotado: Asumen que el soporte de las incrustaciones está contenido dentro de una región acotada (por ejemplo, una bola de radio $r$).
4. Derivación Teórica: Al acotar el número de empaquetamiento del espacio de entrada en relación con el volumen del soporte de las incrustaciones, derivan cotas superiores para el número de secuencias accesibles.
5. Validación Empírica: Las predicciones teóricas se prueban utilizando la tarea de "Aplastamiento" (Cramming) (Kuratov et al., 2025), donde un Transformador congelado se condiciona con instrucciones suaves optimizadas para generar secuencias objetivo específicas. También evalúan tareas de copia para observar fallos de generalización dependientes de la longitud.

Contribuciones Clave

1. Accesibilidad Finita de Secuencias

El artículo demuestra que un Transformador puede generar solo un conjunto finito de secuencias distintas, independientemente de la longitud de la instrucción o la estrategia de inferencia.

• Teorema 4.5: Para un Transformador con precisión $\epsilon$, radio de incrustación $r$ y longitud de instrucción $m$, el número de secuencias accesibles distintas está acotado superiormente por $(1 + 2r/\epsilon)^{dm}$.
• Implicación: La mayoría de las secuencias son fundamentalmente inaccesibles; ninguna elección de instrucción puede hacer que el modelo las genere.

2. Escalamiento Lineal y Decaimiento Exponencial

Los autores establecen una relación precisa entre la longitud de la instrucción y la longitud máxima de las secuencias accesibles:

• Crecimiento Lineal: La longitud máxima $n$ de las secuencias accesibles crece linealmente con la longitud de la instrucción $m$ ($n \propto m$).
• Decaimiento Exponencial: Más allá de un umbral crítico $N$, la proporción de secuencias accesibles de longitud $n$ decae exponencialmente con $n$.
• Umbral Teórico: Derivan una fórmula explícita para este umbral: $n^* \approx C \cdot m$, donde $C$ depende de la dimensión de la incrustación $d$, el tamaño del vocabulario $|V|$, la precisión $\epsilon$ y el radio del soporte $r$.

3. Explicación de los Fallos Empíricos

El análisis proporciona una explicación teórica para el "fallo abrupto" observado en la práctica (por ejemplo, copia perfecta hasta la longitud $L$, luego fallo total). El artículo argumenta que esto no es una degradación gradual, sino una consecuencia del decaimiento exponencial de las secuencias accesibles más allá del umbral crítico.

4. Cotas Refinadas mediante Geometría

Los autores refinan sus cotas superiores teóricas relajando el supuesto de un soporte de incrustación uniforme con forma de bola. Proponen:

• Soportes Anisotrópicos: Modelar el soporte como conos o elipsoides para capturar mejor la distribución real de las incrustaciones.
• Volúmenes de Celda No Uniformes: Tener en cuenta el hecho de que los tokens comunes ocupan regiones más grandes en el espacio de incrustaciones que los tokens raros.
  Estas refinaciones reducen la brecha entre las cotas superiores teóricas y las observaciones empíricas (de un factor de ~10 a ~5–6).

Resultados

Predicciones Teóricas

• Corolario 4.6: Para un presupuesto de instrucción fijo $m$, la accesibilidad se mantiene alta hasta una longitud $n^*(m)$ y luego cae exponencialmente. La pendiente de esta relación lineal está acotada por $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$.
• Corolario 4.10: Incluso con contexto y computación ilimitados, existe un umbral $N$ más allá del cual casi todas las secuencias son inaccesibles.

Validación Empírica

• Tarea de Aplastamiento: Los experimentos en modelos (Pythia, Qwen-2.5, Llama-3.2, Gemma-3) muestran que la longitud $n_{50}$ (donde la accesibilidad cae al 50%) escala linealmente con el número de vectores de memoria entrenables $m$ ($R^2 > 0.99$).
• Comparación de Pendientes: Las pendientes observadas empíricamente son consistentemente más bajas que las cotas superiores teóricas, con una relación entre teoría y experimento que oscila entre 4.5 y 20.4 dependiendo del modelo y de las suposiciones geométricas utilizadas.
• Tarea de Copia: Los modelos entrenados para copiar secuencias hasta la longitud 50 fallan abruptamente cuando se prueban en secuencias más largas, confirmando la existencia de un umbral de accesibilidad agudo independiente de la longitud de la instrucción.
• Distribución de Volúmenes de Celda: El análisis revela que los volúmenes de celda del decodificador están altamente sesgados; un pequeño conjunto de tokens frecuentes (por ejemplo, espacios en blanco, puntuación) ocupa una fracción desproporcionada del espacio de incrustaciones, lo que estrecha las cotas de accesibilidad en comparación con los supuestos uniformes.

Significado y Afirmaciones

El artículo afirma proporcionar la primera explicación teórica rigurosa de las limitaciones intrínsecas de los Transformadores en tareas de generación de secuencias. Su significado radica en:

1. Límites Arquitectónicos: Demostrar que la incapacidad de copiar secuencias largas es una propiedad fundamental de la precisión finita y las representaciones acotadas de la arquitectura, y no meramente un artefacto de entrenamiento.
2. Poder Predictivo: Ofrecer una fórmula para predecir los límites de rendimiento de un Transformador basándose únicamente en la geometría de su espacio de incrustaciones (dimensión, tamaño del vocabulario, precisión y forma del soporte), sin necesidad de inspeccionar el conjunto completo de parámetros.
3. Generalizabilidad: Los resultados se extienden más allá de los Transformadores a cualquier arquitectura con representaciones internas acotadas y precisión finita (por ejemplo, Modelos de Espacio de Estado como Mamba, aunque los estados ocultos divergentes presentan desafíos).

Los autores concluyen que el espacio de incrustaciones, a pesar de representar solo una fracción de los parámetros del modelo, porta información significativa sobre las capacidades y limitaciones fundamentales del modelo.