🤖 machine learning

Contribution Weights: A Geometrical Analysis of Self-Attention Transformers

Dieses Paper führt „Contribution Weights“ ein, eine projektionsbasierte Metrik, die herkömmliche Attention-Gewichte durch die Einbeziehung der Geometrie von Value-Vektoren verbessert, um semantisch kritische Token präziser zu identifizieren, und zeigt auf, dass Attention Sinks Informationen aktiv unterdrücken, um die Repräsentationen des Modells zu stabilisieren.

Ursprüngliche Autoren: Harry Jake Cunningham, Nicola Muca Cirone

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Harry Jake Cunningham, Nicola Muca Cirone

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „laute Stimme“ vs. der „reale Einfluss“

Stellen Sie sich eine große Gruppe von Menschen vor, die versuchen, eine endgültige Entscheidung zu treffen (das Ergebnis der KI). In einem Standard-Large Language Model (LLM) gibt es einen Mechanismus namens Self-Attention. Man kann sich das wie ein Abstimmungssystem vorstellen, bei dem jeder Teilnehmer (Token) in dem Gespräch lautstark mitteilen kann, wie sehr er die endgültige Entscheidung beeinflussen möchte.

Lange Zeit dachten Forscher, dass derjenige, der am lautesten schreit (die höchste Attention Weight bzw. Aufmerksamkeitsgewichtung hat), die wichtigste Person ist. Wenn ein Token 90 % des „Schallvolumens“ erhielt, nahmen alle an, dass dieses Token auch 90 % der Arbeit leistet.

Die Arbeit argumentiert, dass dies falsch ist.

Die Autoren sagen, dass nur weil jemand sehr laut schreit, das noch lange nicht bedeutet, dass er auch wirklich etwas bewegt. Stellen Sie sich eine Person vor, die sehr laut schreit, aber in der falschen Richtung schreit oder ein sehr leichtes Objekt hält. Selbst wenn sie am lautesten schreit, könnte sie die Gruppe tatsächlich in die entgegengeste Richtung ziehen, in die die Gruppe eigentlich steuern möchte, oder ihr Beitrag könnte so schwach sein, dass er kaum ins Gewicht fällt.

Die neue Lösung: „Contribution Weights“ (Beitragsgewichte)

Um dies zu korrigieren, haben die Autoren eine neue Metrik namens Contribution Weights erfunden.

Denken Sie an Folgendes: Anstatt nur zu messen, wie laut eine Person schreit, messen Contribution Weights drei Dinge gleichzeitig:

Volumen: Wie viel Aufmerksamkeit hat sie bekommen? (Das Schreien).
Stärke: Wie schwer ist das Objekt, das sie hält? (Die Magnitude des Value-Vektors).
Richtung: Drücken sie die Gruppe in die richtige Richtung oder drücken sie gegen den Fluss? (Die gerichtete Ausrichtung/Alignment).

Die Analogie des Ruderboots:
Stellen Sie sich ein Team von Menschen vor, die ein Boot rudern.

Alte Methode (Attention Weights): Sie schauen darauf, wer am härtesten rudert (höchster Aufwand). Sie nehmen an, dass der härteste Ruderer der wichtigste ist.
Neue Methode (Contribution Weights): Sie schauen darauf, wer das Boot tatsächlich vorwärts bewegt.
- Wenn Person A hart rudert (hohe Attention), aber in die Rückwärtsrichtung rudert (negatives Alignment), bremst sie das Boot tatsächlich ab.
- Wenn Person B moderat rudert, aber perfekt im Einklang mit der Richtung des Bootes rudert, leistet sie die eigentliche Arbeit.

Die Arbeit zeigt, dass die Metrik „Contribution Weight“ viel besser darin ist, zu identifizieren, wer tatsächlich hilft, das Boot vorwärts zu bewegen.

Die große Entdeckung: Die „Sink“-Token

Die Arbeit konzentriert sich stark auf ein seltsames Phänomen namens Attention Sinks.

In vielen KI-Modellen erhält das allererste Token eines Satzes (wie ein „Start“-Knopf oder ein spezielles Symbol) eine massive Menge an Aufmerksamkeit. Es bekommt das gesamte „Schallvolumen“. Jahrelang dachten Forscher, dieses Token sei nur ein passiver Schwamm, der die überschüssige Aufmerksamkeit aufsaugt, damit die anderen Token sich auf ihre Aufgaben konzentrieren können. Sie dachten, es sei ein „Mülleimer“ für die Aufmerksamkeit.

Die Arbeit stellt diese Geschichte auf den Kopf.

Mit ihrem neuen Werkzeug „Contribution Weight“ haben die Autoren entdeckt, dass diese „Sink“-Token keine passiven Schwämme sind. Sie sind aktive Saboteure (im positiven Sinne!).

Die Geometrie: Das erste Token hält ein sehr leichtes Objekt (geringe Magnitude) und blickt in die entgegengesetzte Richtung zu allen anderen (negatives Alignment).
Der Effekt: Da es in die entgegengesetzte Richtung blickt, wirkt es wie eine Bremse. Es neutralisiert das „Rauschen“, das durch schwache, verwirrte Signale aus anderen Teilen des Satzes entsteht.
Das Ergebnis: Oh ohne dieses „Sink“-Token würde das Boot (die KI) aufgrund der angesammelten Störungen vieler kleiner, schwacher Ruderer vom Kurs abtreiben. Das Sink-Token unterdrückt dieses Abdriften aktiv, um das Boot stabil zu halten.

Die Autoren fanden heraus, dass, wenn man dieses „Sink“-Token entfernt, das Boot (die KI) tatsächlich schlechter darin wird, den Sinn des Satzes zu erfassen, obwohl das Sink-Token laut den alten Metriken scheinweise „nichts“ getan hat.

Was sie getestet haben

Um dies zu beweisen, führten die Autoren eine „Operation“ an den KI-Modellen durch:

Sie nahmen verschiedene Modelle (wie LLaMA, Mistral usw.).
Sie versuchten, die „wichtigsten“ Token basierend auf der alten Methode (Attention) und der neuen Methode (Contribution) zu entfernen.
Das Ergebnis: Als sie Token basierend auf der alten Methode entfernten, brach die Leistung der KI sofort ein. Als sie Token basierend auf der neuen Methode entfernten, arbeitete die KI noch viel länger perfekt weiter.

Dies bewies, dass die neue Methode korrekt identifizierte, welche Token tatsächlich die schwere Arbeit leisten und welche nur „laut“, aber nutzlos sind.

Zusammenfassung

Der Fehler: Wir dachten früher: „Laute Aufmerksamkeit = Wichtig.“
Die Korrektur: Wir wissen nun: „Wichtig = Laute Aufmerksamkeit + Starkes Objekt + Richtige Richtung.“
Die Überrasch Überraschung: Das „Start“-Token, das die ganze Aufmerksamkeit erhält, ist nicht nur ein passiver Platzhalter. Es ist ein aktiver Stabilisator, der gegen das Rauschen drückt, um das Denken der KI klar zu halten.

Die Arbeit kommt zu dem Schluss, dass wir, um wirklich zu verstehen, wie eine KI denkt, nicht nur darauf schauen können, wer am lautesten schreit; wir müssen die Geometrie betrachten, wie sie das Gespräch vorantreiben.

Technisches Resümee: Beitragsgewichte: Eine geometrische Analyse von Self-Attention-Transformern

1. Problemstellung

Die Analyse von Attention-Gewichten ( $\alpha_{ij}$ ) ist zu einem Standardansatz für die Interpretation des Informationsflusses in Large Language Models (LLMs) geworden. Dieser Ansatz beruht jedoch auf der impliziten Annahme, dass eine große Attention-Masse gleichbedeutend mit funktionaler Bedeutung ist. Die Autoren argumentieren, dass diese Sichtweise unvollständig ist, da sie die geometrischen Eigenschaften der aggregierten Value-Vektoren vernachlässigt. Speziell berücksichtigt die Betrachtung von Attention-Gewichten allein nicht:

Die Magnitude (Norm) der Value-Vektoren.
Die Richtungsausrichtung (Alignment) zwischen den Value-Vektoren und dem Output der finalen Schicht.

Das Vernachlässigen dieser Faktoren führt zu irreführenden Schlussfolgerungen, wie etwa der Fehlinterpretation von „Attention Sinks“ (frühe Token, die viel Attention erhalten, aber wenig zum Output beitragen) und einer Überschätzung der Wichtigkeit von High-Attention-Token. Bestehende, wert-bewusste Maße beziehen zwar Normen oder Distanzen ein, verpassen aber oft den kritischen Effekt der Inter-Token-Interferenz (konstruktive oder destruktive Interferenz), die durch die Richtungsausrichtung verursacht wird.

2. Methodik

2.1. Theoretischer Rahmen

Das Paper formuliert Multi-Head Attention (MHA) nicht bloß als gewichtete Summe von Roh-Tokenen um, sondern als gewichtete Summe von projizierten Value-Vektoren.
Gegeben eine Eingabesequenz, wird der Output einer Schicht $l$ an Position $i$ wie folgt ausgedrückt:
$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$
wobei $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ den projizierten Value-Vektor darstellt. Die Autoren postulieren, dass der Einfluss eines Tokens von drei Faktoren abhängt:

Selektionsstärke: Das Attention-Gewicht $\alpha_{ij}$ .
Magnitude: Die Norm des projizierten Value-Vektors $\|\tilde{v}_j\|$ .
Richtungsausrichtung: Die Kosinus-Ähnlichkeit zwischen dem projizierten Value und der Output-Richtung, $\cos(o_i, \tilde{v}_j)$ .

2.2. Beitragsgewichte (Contribution Weights)

Um die Wichtigkeit eines Tokens treffsicher zu quantifizieren, führen die Autoren Beitragsgewichte ( $c_{ij}$ ) ein, ein projektionsbasiertes Maß, das als normalisiertes Skalarprodukt des gewichteten Value-Vektors und der Output-Richtung definiert ist:
$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$
Dieses Maß zerlegt den Einfluss eines Tokens in das Produkt aus Attention-Gewicht, relativer Magnitude und Richtungsausrichtung.

Intra-Head: Misst den Beitrag innerhalb eines einzelnen Heads.
Inter-Head: Misst den Beitrag über alle Heads hinweg, indem head-spezifische gewichtete Vektoren auf den kombinierten Multi-Head-Output projiziert werden.
Eigenschaften: Im Gegensatz zu Attention-Gewichten (die nicht-negativ sind und sich zu 1 aufsummieren) können Beitragsgewichte negativ sein (was auf destruktive Interferenz hindeutet) und summieren sich über die Sequenzdimension zu 1 auf.

2.3. Experimentelle Evaluierung

Die Autoren evaluieren die Treue (Faithfulness) der Beitragsgewichte gegenüber bestehenden Metriken (Roh-Attention, wert-gewichtete Attention, wert-gewichtete output-normalisierte Attention) mittels:

Kausaler Intervention: Maskierung der projizierten Werte von Tokens, die nach Wichtigkeit sortiert sind, und Messung der Änderung der Perplexität ( $\Delta$ PPL) bei Sprachmodellierungsaufgaben (GSM8K, FineWeb-Edu) und Downstream-Aufgaben (MMLU, Winogrande, BoolQ).
Metriken:
- Komprehensivität (Comprehensiveness): Leistungsabfall beim Entfernen hoch-wichtiger Tokens (höherer Abfall = besseres Maß).
- Suffizienz (Sufficiency): Leistungsabfall beim Entfernen niedrig-wichtiger Tokens (geringerer Abfall = besseres Maß).
Modelle: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B und Deepseek-7B.

3. Zentrale Erkenntnisse und Beiträge

3.1. Treue der Beitragsgewichte

Beitragsgewichte übertreffen konsistent attention-basierte Metriken bei der Identifizierung semantisch kritischer Tokens.

Komprehensiveness: Das Entfernen von Tokens, die durch Beitragsgewichte als wichtig identifiziert wurden, verursacht einen signifikant größeren Abfall der Modellleistung (höheres $\Delta$ PPL) im Vergleich zum Entfernen von Tokens, die durch Roh-Attention oder wert-gewichtete Attention identifiziert wurden.
Sufficiency: Modelle behalten eine höhere Genauigkeit bei, wenn niedrig-wichtige Tokens (definiert durch Beitragsgewichte) entfernt werden, wobei die Baseline-Leistung bei höheren Entfernungsraten stabil bleibt.
Geometrische Progression: Die Studie zeigt eine klare Hierarchie der Treue: Roh-Attention < Wert-gewichtete Attention < Wert-gewichtete Output-normalisierte Attention < Beitragsgewichte. Dies bestätigt, dass die Einbeziehung der Richtungsausrichtung (Kosinus-Ähnlichkeit) der bedeutendste Faktor zur Verbesserung der Metrik-Genauigkeit ist.

3.2. Mechanistische Rolle der Value-Geometrie

Das Paper zerlegt die Beiträge der Tokens, um distinkte Verhaltensweisen für verschiedene Token-Typen offenzulegen:

Sink-Tokens (Anfangs-Token): Ihr Beitrag wird nicht durch Attention-Gewichte getrieben. Stattdessen wird er von der Value-Geometrie (relative Norm und Kosinus-Ähnlichkeit) dominiert. Initial-Tokens weisen eine Anti-Ausrichtung (negative Kosinus-Ähnlichkeit) mit nachfolgenden semantischen Tokens auf.
Tail-Tokens: Ihr Beitrag wird gemeinsam durch Attention-Gewichte und Richtungsausrichtung bestimmt.

3.3. Neuinterpretation von Attention Sinks

Die Autoren stellen die Sichtweise von Attention Sinks als passive „Speicherorte“ für überschüssige Attention infrage. Stattdessen zeigen sie auf, dass Sinks aktive Informations-Suppressoren sind:

Destruktive Interferenz: Sink-Tokens besitzen Value-Vektoren, die systematisch gegenläufig (anti-aligned) zu semantischen Tokens ausgerichtet sind. Dies erzeugt destruktive Interferenz, welche den Output-Norm aktiv unterdrückt.
Konvexe Beziehung: Die Beziehung zwischen der Sink-Rate (Attention-Masse auf dem ersten Token) und dem Output-Norm ist konvex, nicht monoton. Der minimale Output-Norm tritt bei einer mittleren Sink-Rate ( $\alpha < 1$ ) auf, nicht wenn der Sink die gesamte Attention absorbiert.
Gegenmaßnahme gegen semantischen Drift: Indem sie der semantischen Richtung von Nicht-Sink-Tokens entgegenwirken, neutralisieren Sinks den semantischen Drift, der durch die Akkumulation vieler kleiner, schwacher Attention-Gewichte von Nicht-kritischen Tokens entsteht. Interventionen, die den Vektor-Norm des Sinks entfernen, führen zum Kollaps der Low-Norm-Heads in den semantischen Konus, was Rauschen und Perplexität erhöht.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass Beitragsgewichte ein trefflicheres Maß für die funktionale Wichtigkeit von Tokens liefern, da sie die vollständige Geometrie der Attention-Vektor-Summe berücksichtigen.

Mechanistischer Einblick: Die Arbeit verschiebt das Verständnis von Attention Sinks von passiven Absorbern hin zu aktiven Suppressoren, die Repräsentationen durch Richtungs-Opposition stabilisieren, um semantischen Drift entgegenzuwirken.
Generalisierbarkeit: Obwohl sich die Experimente auf Decoder-only-Modelle konzentrieren, geben die Autoren an, dass Beitragsgewichte nur von der Struktur des Attention-Mechanismus abhängen und auf jede Attention-basierte Architektur (z. B. Encoder-only-Modelle, ViTs) anwendbar sind.
Limitierungen: Die Studie konzentriert sich auf Decoder-only Transformer und spezifische Datensätze (GSM8K, FineWeb-Edu). Die Autoren merken an, dass das Metrik-Maß zwar über Domänen hinweg robust ist, die spezifischen geometrischen Verhaltensweisen (wie die Anti-Ausrichtung der Sinks) jedoch in den evaluierten Modellen beobachtet wurden.

Die Autoren kommen zu dem Schluss, dass die Analyse der Value-Geometrie essenziell für ein treues mechanistisches Verständnis von Transformern ist und über das Paradigma der „Attention als Erklärung“ hinaus zu einer „geometrie-bewussten“ Interpretation führt.