Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V

Titel: Position-Agnostische Vor-Projektion für Transformer-Aufmerksamkeit: Nichtlineare Merkmalskonstruktion und Content-Skip vor Q/K/V

Autor: Chirag Shinde (Independent Researcher)

---

1. Problemstellung

Moderne Transformer-Blöcke folgen einem starren Verarbeitungspfad: Nach der Normalisierung (Layer Norm) erfolgen lineare Projektionen für Query (Q), Key (K) und Value (V), gefolgt von einer Positions-Kodierung (z. B. RoPE) und der Attention-Berechnung. Der Autor identifiziert zwei wesentliche Einschränkungen dieses Designs:

1. Lineare Feature-Engpässe: Die Q/K/V-Projektionen sind rein linear. Wenn nützliche Aufmerksamkeitsmuster von nichtlinearen Merkmalskombinationen abhängen, muss das Modell darauf hoffen, dass diese bereits durch die Feed-Forward-Netze (FFN) vorheriger Schichten konstruiert wurden. Dies erfordert mehrere Schichten für Operationen, die theoretisch in einer einzigen Schicht effizienter wären.
2. Obligatorische Positions-Filterung: Alle Informationen, die das Attention-Mechanismus verlassen, müssen durch die positionsabhängige Aufmerksamkeit laufen. Dies zwingt auch inhaltsbezogene Informationen (semantischer Typ, syntaktische Kategorie, Entitätsidentität), die unabhängig von der Position relevant sind, durch denselben positionsabhängigen Routing-Mechanismus wie positionsabhängige Informationen.

2. Methodik

Der Autor schlägt zwei komplementäre Modifikationen vor, die in den Transformer-Block integriert werden (siehe Abbildung 1 im Paper):

A. Nichtlineare Vor-Projektion (Pre-Projection)

Zwischen der Layer-Normalisierung und den Q/K/V-Projektionen wird ein kleiner, nichtlinearer MLP (Multi-Layer Perceptron) eingefügt.

• Struktur: x̃ = x̂ + W_down · σ(W_up · x̂)
  • x̂: Eingabe nach RMS-Normalisierung.
  • σ: SiLU-Aktivierungsfunktion.
  • W_up, W_down: Gewichtsmatrizen mit einer Erweiterungsfaktor e = 1.25.
  • Ein Residual-Verbindung sorgt für eine nahezu identische Initialisierung.
• Zweck: Konstruktion reichhaltigerer, positionsagnostischer Merkmale, bevor die Positions-Kodierung (RoPE) auf Q und K angewendet wird.

B. Content-Skip-Verbindung (Content Skip)

Die durch die Vor-Projektion angereicherten Merkmale x̃ werden zusätzlich durch eine gelernte lineare Abbildung W_skip projiziert und direkt zum Ausgang des Blocks addiert, wodurch sie die Attention-Schicht umgehen.

• Formel: out = x + attn_out + W_skip · x̃
• Initialisierung: W_skip wird nahe Null initialisiert (Normalverteilung $N(0, 10^{-4})$), sodass das Modell am Anfang identisch zum Baseline-Modell ist.
• Lernmechanismus: Das Modell lernt pro Schicht, wie viel informationsgehalt (Content) die positionsabhängige Aufmerksamkeit umgehen soll. Es wird kein separater Mischparameter ($\alpha$) benötigt; die Gewichtsgröße von W_skip übernimmt diese Rolle.

Wichtige Erkenntnis: Die Vor-Projektion erfüllt eine Doppelfunktion: Sie bereichert die Eingaben für die Attention (positionsabhängiger Pfad) und liefert gleichzeitig Merkmale, die die Attention umgehen können (positionsagnostischer Pfad). Das Modell entscheidet selbstständig, welcher Pfad in welcher Schicht nützlicher ist.

3. Experimentelles Setup

• Modelle: Pythia-160M (12 Schichten) und Pythia-410M (24 Schichten).
• Daten: WikiText-103 zum Training.
• Protokoll: Frozen Probe. Die vortrainierten Parameter des Baseline-Modells bleiben eingefroren. Nur die neu eingefügten Parameter (Pre-Projektion, Skip, oder LoRA als Vergleich) werden trainiert.
• Benchmarks: LAMBADA (Diskursverständnis), HellaSwag (Commonsense-Reasoning), ARC-Easy (Wissenschaftliche Fragen) und Perplexität auf WikiText-103.

4. Ergebnisse

Die Kombination aus Vor-Projektion und Content-Skip erzielte die besten Gesamtergebnisse in allen getesteten Szenarien:

• Pythia-160M:
  • LAMBADA: +40,6% Verbesserung gegenüber dem Baseline (0,180 vs. 0,128).
  • Perplexität: -38,9% Verbesserung (47,9 vs. 78,4).
  • HellaSwag: Einzigartige Verbesserung (+3,7%), während andere Methoden (wie LoRA) hier stagnierten oder leicht verschlechterten.
• Pythia-410M:
  • Perplexität: Erzielte den besten Wert (17,0), sogar besser als ein reines LoRA-Modell mit 94,4M trainierbaren Parametern (17,7).
  • LAMBADA: 0,484 (nur knapp hinter LoRA mit 0,488, aber mit weniger effektiven Parametern).

Schichtweise Analyse (Layer-Wise Analysis):
Die Analyse der gelernten W_skip-Gewichte zeigt ein konsistentes Muster:

• In den frühen Schichten ist die Skip-Verbindung schwach aktiviert. Hier ist die positionsabhängige Aufmerksamkeit notwendig, um Informationen zwischen Tokens basierend auf ihrer Position zu routen (Syntax-Ebene).
• In den späteren Schichten (besonders den letzten 25%) nimmt die Aktivierung der Content-Skip-Verbindung signifikant zu (bis zu 2,3-fach bei 160M).
• Interpretation: In tieferen Schichten sind semantische Repräsentationen bereits ausgereift. Zusätzliche positionsabhängige Routings würden hier das Signal nur verwässern. Das Modell lernt automatisch, dass reiner Inhalt (Content) in diesen Schichten ohne Positionsfilterung besser funktioniert.

5. Key Contributions & Signifikanz

1. Drei Dimensionen der Verbesserung: Das Paper zeigt, dass Attention auf drei orthogonale Weisen verbessert werden kann:
   • Nichtlineare Merkmalskonstruktion (Pre-Projektion) verbessert das Verständnis (LAMBADA).
   • Lineare Projektionsanreicherung (LoRA) verbessert die Perplexität.
   • Content-Bypass (Skip) verbessert beides, indem es die Vorteile der ersten beiden kombiniert.
2. Architektonische Einsicht: Die Entdeckung, dass Content-Skips in späteren Schichten bevorzugt werden, bestätigt und quantifiziert die Hypothese, dass frühe Transformer-Schichten Syntax (positionsabhängig) und spätere Schichten Semantik (inhaltlich) verarbeiten.
3. Effizienz:
   • Kein K/V-Cache-Overhead: Da die Modifikationen vor und nach der Attention stattfinden, aber keine zusätzlichen Keys oder Values erzeugen, gibt es keine zusätzlichen Speicherkosten für das Inferenz-Caching.
   • Positionsagnostisches Design: Die Vor-Projektion und der Skip enthalten keine Positions-Kodierung. Dies macht sie ideal für multimodale Architekturen (Text, Bilder, Video), wo Positionen unterschiedlich definiert sind (1D, 2D, 3D). Ein gemeinsamer, modality-unabhängiger Feature-Extractor könnte vor der spezifischen Positions-Kodierung für jede Modalität eingesetzt werden.
4. Leistung bei kleinen Parametern: Die Methode erreicht bei 160M Parametern Ergebnisse, die mit deutlich größeren Modellen oder komplexeren Anpassungen (wie LoRA mit mehr Parametern) konkurrieren oder diese übertreffen.

Fazit

Das Paper stellt eine elegante und effiziente Modifikation für Transformer vor, die die linearen Beschränkungen der Q/K/V-Projektionen durch nichtlineare Vorverarbeitung aufhebt und gleichzeitig einen intelligenten Bypass für inhaltsbezogene Informationen einführt. Die Ergebnisse belegen, dass das Trennen von Inhaltsvorbereitung und Positionsverarbeitung zu signifikanten Verbesserungen in Sprachverständnis und Perplexität führt, ohne die Inferenzkosten (Cache) zu erhöhen.