Technische Zusammenfassung: Eine strukturelle Theorie der Positionsverzerrung in Transformern

Problemstellung

Transformer-Modelle zeigen systematische Positionsverzerrungen, einschließlich Primacy-Bias (Präferenz für frühe Tokens), Recency-Bias (Präferenz für aktuelle Tokens) und des Phänomens „Lost-in-the-Middle" (LiM), bei dem Informationen im Zentrum langer Kontexte untergenutzt werden. Obwohl empirische Belege nahelegen, dass diese Verzerrungen architektonischer und nicht semantischer Natur sind, bleiben die theoretischen Ursprünge weitgehend unverstanden.

Es besteht eine kritische Lücke zwischen bestehenden theoretischen Analysen und dem praktischen Verhalten von Transformern. Jüngste Arbeiten von Wu et al. [2025] zeigten, dass in reinen Attention-only-kausalen Transformern die kumulative Aufmerksamkeit mit zunehmender Tiefe auf den ersten Token kollabieren muss. Diese Vorhersage steht jedoch im Widerspruch zu empirischen Beobachtungen in modernen, tiefen Transformern, die einen solchen Kollaps nicht aufweisen. Der Artikel führt diese Diskrepanz auf das Fehlen residualer Verbindungen in früheren theoretischen Rahmenwerken zurück, obwohl diese in tatsächlichen Architekturen eine zentrale Rolle spielen.

Methodik

Die Autoren entwickeln eine strukturelle Theorie der Positionsverzerrung auf Basis eines residualbewussten kumulativen Attention-Rollouts. Der Rahmen analysiert die Informationsausbreitung über die Schichten hinweg unabhängig von Trainingszielen, Daten oder Optimierungsdynamiken.

Kernrahmen

1. Residualbewusster Übergang: Im Gegensatz zu früheren Modellen, die Residuen als feste konvexe Kombinationen behandeln (z. B. $0.5I + 0.5A$), modellieren die Autoren residuale Verbindungen als Diskretisierungen kontinuierlicher Zeitdynamiken. Sie definieren einen schicht- und eingangsabhängigen Mischkoeffizienten $\lambda_t(x)$, der die relative Stärke der Attention-Aktualisierung gegenüber dem Identitätspfad darstellt:
   $$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$$
   Die Übergangsmatrix ist definiert als $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$, wobei $A^{(t)}$ der datensatzgemittelte Attention-Kernel ist.

2. Kumulatives Rollout: Die Informationsausbreitung bis zur Tiefe $T$ wird durch die Rollout-Matrix $P^{(T)} = R^{(T)} \cdots R^{(1)}$ erfasst. Die Verteilung der letzten Zeile, $p^{(T)}(j)$, quantifiziert den kumulativen Einfluss des Eingabetokens $j$ auf die endgültige Ausgabe.

3. Vier architektonische Kräfte: Die Analyse endlicher Tiefe isoliert vier Kräfte, die die Rollout-Verteilung unter der Annahme eines „stochastisch monotonen Attention-Kernels" formen:

   • Kausale Maskierung: Verursacht eine Primacy-Drift (Massenverschiebung zu früheren Positionen).
   • Residuale Verbindungen: Verursachen eine Recency-Drift (Massenverschiebung zu aktuellen Positionen) durch den Erhalt von Identitätspfaden.
   • Positionscodierungen: Verzerrungen, die aktuelle Schlüssel bevorzugen (z. B. ALiBi), summieren sich auf und verursachen eine Recency-Drift.
   • Inhaltsbeiträge: Modelliert als konstanter Hintergrund plus ein diagonaler Self-Attention-Term, modulieren diese die Drift (positive diagonale Inhalte erhöhen die Recency; negative erhöhen die Primacy).

4. Analyse unendlicher Tiefe: Die Autoren erweitern die Analyse auf den Grenzfall unendlicher Tiefe und stellen eine Dichotomie basierend auf der Summierbarkeit der Mischkoeffizienten $\sum \lambda_t$ fest.

Hauptbeiträge

1. Residualbewusstes Attention-Rollout

Der Artikel führt eine Formulierung ein, die residuale Verbindungen explizit als persistente Identitätspfade modelliert. Dies bringt das Ausbreitungsmodell mit modernen Transformer-Architekturen in Einklang und geht über die restriktive „Attention-only"-Annahme hinaus.

2. Struktureller Ursprung der Positionsverzerrung

Die Autoren beweisen, dass die Transformer-Architektur allein breite, oft U-förmige Einflussprofile induziert. Die Interaktion zwischen kausaler Maskierung (Primacy) und residualen Verbindungen (Recency) erzeugt einen strukturellen Prior, bei dem sowohl frühe als auch aktuelle Tokens im Vergleich zu intermediären Positionen einen erhöhten Einfluss erhalten. Dies liefert eine theoretische Erklärung für das Lost-in-the-Middle-Phänomen, selbst in Abwesenheit semantischen Inhalts.

3. Auflösung der Diskrepanz beim Attention-Kollaps

Der Artikel löst die Diskrepanz zwischen Wu et al. [2025] und der empirischen Realität. Er zeigt, dass ein Attention-Kollaps unter alleiniger kausaler Maskierung nicht unvermeidlich ist. Stattdessen hängt der Kollaps von der kumulativen Attention-Mischstärke ($\sum \lambda_t$) ab:

• Endliche Gesamtmischung ($\sum \lambda_t < \infty$): Die Attention kollabiert nicht auf den ersten Token; die Diagonaleinträge der Rollout-Matrix bleiben strikt positiv.
• Unendliche Gesamtmischung ($\sum \lambda_t = \infty$): Kollaps tritt ein, und die Attention-Masse konzentriert sich auf den ersten Token.

4. Empirische Validierung

Die Theorie wird gegen gemessene Eingabetoken-Einflüsse in vortrainierten Sprachmodellen (BLOOM, MPT, Falcon) validiert.

• Kontrolliertes Rollout: Simulationen zeigen, dass ein „Attention-only"-Rollout auf den ersten Token kollabiert, während ein „residualbewusstes" Rollout das beobachtete U-förmige Profil erzeugt.
• Quantitative Übereinstimmung: Die vorhergesagten Einflussprofile des residualbewussten Modells stimmen eng mit empirisch geschätzten Verteilungen (gemessen über gradientenbasierte Attribution) überein, mit deutlich geringeren Wasserstein-Abständen im Vergleich zu Attention-only-Modellen.

Ergebnisse

• Endliche Tiefe: Die Kombination aus kausaler Maskierung und residualen Verbindungen ergibt ein U-förmiges Einflussprofil. Dieses Profil ist über verschiedene Modelle und Datensätze hinweg robust.
• Unendliche Tiefe: Die theoretische Analyse beweist, dass residuale Verbindungen die Dynamik tiefer Attention grundlegend verändern. Der Kollaps ist abhängig von der Akkumulation der Mischstärke und nicht nur vom Vorhandensein kausaler Maskierung.
• Empirische Übereinstimmung:
  • In Modellen wie bloom-176b und mpt-7b reproduziert das theoretische Rollout (ohne Inhalt) die dominante U-förmige Struktur des gemessenen Einflusses.
  • Das Hinzufügen einer groben Inhaltsabstraktion (konstant + diagonal) verfeinert die Anpassung weiter, verschiebt die Masse zu aktuellen Positionen und stimmt eng mit empirischen Daten überein.
  • Die „Attention-only"-Variante scheitert daran, empirische Profile wiederherzustellen, was die Notwendigkeit der Modellierung von Residuen bestätigt.

Bedeutung und Behauptungen

Der Artikel beansprucht, einen architekturgetreuen Rahmen zum Verständnis von Positionsverzerrungen zu liefern. Seine primäre Bedeutung liegt in:

1. Überbrückung von Theorie und Praxis: Er löst das von Wu et al. [2025] identifizierte offene Problem, indem er zeigt, dass residuale Verbindungen den von Attention-only-Theorien vorhergesagten unvermeidlichen Kollaps verhindern.
2. Erklärung von Lost-in-the-Middle: Er stellt fest, dass das U-förmige Einflussprofil (und somit der LiM-Effekt) aus einem strukturellen Prior resultiert, der der Transformer-Architektur inhärent ist, und nicht ausschließlich aus semantischen oder Trainingsdynamiken.
3. Vorhersagekraft: Die Theorie sagt die Form von Einflussverteilungen in vortrainierten Modellen genau voraus, indem sie nur architektonische Parameter (Maskierung, Residuen, Verzerrungen der Positionscodierung) und gemessene Mischkoeffizienten verwendet, ohne Zugriff auf spezifische Trainingsdaten oder Token-Semantik zu benötigen.

Die Autoren halten einen bescheidenen Umfang bei und charakterisieren ihre Arbeit als Beschreibung von architektonischen Priors in der Informationsausbreitung und nicht als End-to-End-Repräsentationslernen. Sie stellen fest, dass, obwohl der U-förmige Prior plausibel dem Lost-in-the-Middle-Phänomen der Aufgabenleistung zugrunde liegt, das Schließen des Kreises zu spezifischen Verschlechterungen bei retrieval-ähnlichen Aufgaben zukünftiger Arbeit vorbehalten bleibt.