Resumen Técnico: Una Teoría Estructural del Sesgo Posicional en Transformadores

Enunciado del Problema

Los modelos transformadores exhiben sesgos posicionales sistemáticos, incluidos el sesgo de primacía (preferencia por los tokens iniciales), el sesgo de recencia (preferencia por los tokens recientes) y el fenómeno "Perdido en el Medio" (LiM), donde la información en el centro de contextos largos se subutiliza. Aunque la evidencia empírica sugiere que estos sesgos son arquitectónicos y no semánticos, los orígenes teóricos permanecen poco comprendidos.

Existe una brecha crítica entre los análisis teóricos existentes y el comportamiento práctico de los transformadores. Un trabajo reciente de Wu et al. [2025] demostró que en transformadores causales solo de atención, la atención acumulada debe colapsar sobre el primer token a medida que aumenta la profundidad. Sin embargo, esta predicción contradice las observaciones empíricas en transformadores modernos y profundos, los cuales no exhiben tal colapso. El artículo atribuye esta discrepancia a la omisión de conexiones residuales en marcos teóricos anteriores, a pesar de su papel central en las arquitecturas reales.

Metodología

Los autores desarrollan una teoría estructural del sesgo posicional basada en un despliegue de atención acumulada consciente de las residuales. El marco analiza la propagación de información a través de las capas independientemente de los objetivos de entrenamiento, los datos o la dinámica de optimización.

Marco Central

1. Transición Consciente de Residuales: A diferencia de modelos anteriores que tratan las residuales como combinaciones convexas fijas (por ejemplo, $0.5I + 0.5A$), los autores modelan las conexiones residuales como discretizaciones de dinámicas de tiempo continuo. Definen un coeficiente de mezcla dependiente de la capa y la entrada $\lambda_t(x)$ que representa la fuerza relativa de la actualización de atención frente a la trayectoria de identidad:
   $$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$$
   La matriz de transición se define como $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$, donde $A^{(t)}$ es el kernel de atención promediado sobre el conjunto de datos.

2. Despliegue Acumulado: La propagación de información hasta la profundidad $T$ se captura mediante la matriz de despliegue $P^{(T)} = R^{(T)} \cdots R^{(1)}$. La distribución de la última fila, $p^{(T)}(j)$, cuantifica la influencia acumulada del token de entrada $j$ sobre la salida final.

3. Cuatro Fuerzas Arquitectónicas: El análisis de profundidad finita aísla cuatro fuerzas que moldean la distribución de despliegue bajo una suposición de "kernel de atención estocásticamente monótona":

   • Máscara Causal: Induce una deriva de primacía (la masa se desplaza hacia posiciones anteriores).
   • Conexiones Residuales: Inducen una deriva de recencia (la masa se desplaza hacia posiciones recientes) al preservar las trayectorias de identidad.
   • Codificaciones Posicionales: Los sesgos que favorecen claves recientes (por ejemplo, ALiBi) se combinan para inducir deriva de recencia.
   • Contribuciones de Contenido: Modeladas como un fondo constante más un término de autoatención diagonal, estas modulan la deriva (un contenido diagonal positivo aumenta la recencia; uno negativo aumenta la primacía).

4. Análisis de Profundidad Infinita: Los autores extienden el análisis al límite de profundidad infinita, estableciendo una dicotomía basada en la sumabilidad de los coeficientes de mezcla $\sum \lambda_t$.

Contribuciones Clave

1. Despliegue de Atención Consciente de Residuales

El artículo introduce una formulación que modela explícitamente las conexiones residuales como trayectorias de identidad persistentes. Esto alinea el modelo de propagación con las arquitecturas modernas de transformadores, superando la restrictiva suposición de "solo atención".

2. Origen Estructural del Sesgo Posicional

Los autores demuestran que la arquitectura del transformador por sí sola induce perfiles de influencia amplios, a menudo en forma de U. La interacción entre la máscara causal (primacía) y las conexiones residuales (recencia) crea un prior estructural donde tanto los tokens iniciales como los recientes reciben una influencia elevada en relación con las posiciones intermedias. Esto proporciona una explicación teórica para el fenómeno "Perdido en el Medio" incluso en ausencia de contenido semántico.

3. Resolución de la Discrepancia del Colapso de Atención

El artículo resuelve la discrepancia entre Wu et al. [2025] y la realidad empírica. Demuestra que el colapso de atención no es inevitable bajo la máscara causal por sí sola. En cambio, el colapso depende de la fuerza acumulada de mezcla de atención ($\sum \lambda_t$):

• Mezcla Total Finita ($\sum \lambda_t < \infty$): La atención no colapsa al primer token; las entradas diagonales de la matriz de despliegue permanecen estrictamente positivas.
• Mezcla Total Infinita ($\sum \lambda_t = \infty$): Ocurre el colapso y la masa de atención se concentra en el primer token.

4. Validación Empírica

La teoría se valida frente a la influencia medida de tokens de entrada en modelos de lenguaje preentrenados (BLOOM, MPT, Falcon).

• Despliegue Controlado: Las simulaciones muestran que el despliegue "solo de atención" colapsa al primer token, mientras que el despliegue "consciente de residuales" produce el perfil en forma de U observado.
• Correspondencia Cuantitativa: Los perfiles de influencia predichos por el modelo consciente de residuales coinciden estrechamente con las distribuciones estimadas empíricamente (medidas mediante atribución basada en gradientes), con distancias de Wasserstein significativamente menores en comparación con los modelos solo de atención.

Resultados

• Profundidad Finita: La combinación de máscara causal y conexiones residuales produce un perfil de influencia en forma de U. Este perfil es robusto a través de diferentes modelos y conjuntos de datos.
• Profundidad Infinita: El análisis teórico demuestra que las conexiones residuales alteran fundamentalmente la dinámica de atención profunda. El colapso es condicional a la acumulación de fuerza de mezcla, no solo a la presencia de máscara causal.
• Alineación Empírica:
  • En modelos como bloom-176b y mpt-7b, el despliegue teórico (sin contenido) reproduce la estructura dominante en forma de U de la influencia medida.
  • Añadir una abstracción de contenido gruesa (constante + diagonal) refina aún más el ajuste, desplazando la masa hacia posiciones recientes y alineándose estrechamente con los datos empíricos.
  • La variante "solo de atención" falla al reproducir los perfiles empíricos, confirmando la necesidad de modelar las residuales.

Significado y Afirmaciones

El artículo afirma proporcionar un marco fiel a la arquitectura para comprender el sesgo posicional. Su significado principal radica en:

1. Puente entre Teoría y Práctica: Resuelve el problema abierto identificado por Wu et al. [2025] al mostrar que las conexiones residuales previenen el colapso inevitable predicho por las teorías de solo atención.
2. Explicación de "Perdido en el Medio": Establece que el perfil de influencia en forma de U (y por tanto el efecto LiM) surge de un prior estructural inherente a la arquitectura del transformador, en lugar de derivar únicamente de dinámicas semánticas o de entrenamiento.
3. Poder Predictivo: La teoría predice con precisión la forma de las distribuciones de influencia en modelos preentrenados utilizando únicamente parámetros arquitectónicos (enmascaramiento, residuales, sesgos de codificación posicional) y coeficientes de mezcla medidos, sin requerir acceso a datos de entrenamiento específicos o semántica de tokens.

Los autores mantienen un alcance modesto, caracterizando su trabajo como la descripción de priors arquitectónicos en la propagación de información en lugar del aprendizaje de representaciones de extremo a extremo. Señalan que, aunque el prior en forma de U subyace plausible al fenómeno de rendimiento en tareas "Perdido en el Medio", cerrar el ciclo sobre la degradación específica de tareas de estilo recuperación queda para trabajos futuros.