💬 NLP

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

Dieser Artikel identifiziert eine spezifische „Massive Emergence Layer" in großen Sprachmodellen, in der massive Aktivierungen entstehen und sich ausbreiten, wodurch die Repräsentationsvielfalt verringert wird, und schlägt eine Methode vor, um diese Starrheit und Attention Sinks zu mildern, um die Leistung bei verschiedenen Aufgaben zu verbessern.

Ursprüngliche Autoren: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeru Shi, Zhenting Wang, Fan Yang, Qifan Wang, Ruixiang Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Eine Schicht verursacht einen „Volumen-Spike"

Stellen Sie sich ein großes Sprachmodell (LLM) als eine riesige, mehrstöckige Fabrik vor. Rohstoffe (Wörter) gehen unten hinein, werden auf jedem Stockwerk verarbeitet und kommen oben als fertiges Produkt (eine Antwort) heraus.

Die Forscher entdeckten etwas Seltsames, das in dieser Fabrik passiert. In fast jedem getesteten Modell gibt es eine bestimmte Etage (die sie ME-Schicht oder „Massive Emergence Layer" nennen), auf der ein plötzlicher, massiver Spike auftritt.

Auf dieser speziellen Etage wird das „Signal" für das allererste Wort eines Satzes plötzlich 100- bis 1.000-mal lauter als alle anderen Wörter gedreht. Es ist so, als würde in einem Chor die Person, die die erste Note singt, plötzlich so laut schreien, dass sie alle anderen übertönt, und diese schreiende Stimme bleibt dann die ganze Zeit über so laut bis zum Dach des Gebäudes.

Wie es passiert: Das „Megafon" und der „Verstärker"

Das Paper untersucht, warum dies auf genau dieser einen Etage passiert. Sie fanden heraus, dass es eine Teamarbeit zwischen zwei Teilen der Maschine ist:

Das Megafon (RMSNorm): Bevor das Signal den Hauptprozessor erreicht, durchläuft es einen Normalisierungsschritt. Auf dieser speziellen Etage sind die Einstellungen für das erste Wort versehentlich so abgestimmt, dass sie zu einem riesigen Megafon werden, das seine Lautstärke deutlich stärker boostet als die der anderen.
Der Verstärker (FFN): Das Signal trifft dann auf das „Feed-Forward Network" (den Hauptdenkteil). Hier wirken die internen Gewichte der Maschine wie ein Super-Verstärker, der speziell dieses bereits laute erste Wort ins Visier nimmt und es noch lauter macht.

Sobald diese „Massive Aktivierung" erzeugt ist, verblasst sie nicht. Da die Fabrik „residuelle Verbindungen" verwendet (denken Sie daran als Expressaufzüge, die die Verarbeitungsschritte überspringen), reist dieses superlaute Signal einfach im Aufzug nach oben und bleibt die ganze Zeit über laut und unverändert.

Das Problem: Eine starre, unveränderliche Stimme

Hier liegt das Problem, das dies verursacht: Da dieses erste Wort so laut ist und seine Richtung so festgelegt ist, beginnt es die Entscheidungsfindung der Fabrik zu dominieren.

Stellen Sie sich eine Gruppe von Menschen vor, die versuchen, eine Reise zu planen. Wenn eine Person so laut schreit, dass niemand sonst gehört werden kann, hört die Gruppe auf, neue Ideen zu hören. Sie folgen einfach dem Schreier.

In der KI erzeugt dieses schreiende „erste Wort" eine starre Richtung. Es macht die KI weniger flexibel. Wenn die KI versucht, auf verschiedene Teile eines Satzes zu achten (wie ein Mensch, der auf verschiedene Hinweise schaut), zwingt dieses laute, unveränderliche Signal die KI, jedes Mal auf die gleiche Weise zu schauen, unabhängig vom tatsächlichen Kontext. Dies verringert die Fähigkeit der KI, Nuancen zu verstehen und sich an neue Fragen anzupassen.

Die Lösung: Der „Stummschaltknopf" (WeMask)

Die Forscher schlugen eine einfache Lösung namens WeMask vor.

Anstatt zu versuchen, die ganze Fabrik neu zu bauen, fanden sie einen Weg, die spezifischen „Kanäle" (Dimensionen), die dafür sorgen, dass das erste Wort so laut schreit, sanft stummzuschalten.

Wie es funktioniert: Sie schauen sich die Einstellungen an, die das erste Wort laut machen (die „Gewichte"), und drehen die Lautstärke auf diesen spezifischen Kanälen selektiv herunter, kurz bevor die KI versucht, auf andere Wörter zu achten.
Die Analogie: Es ist so, als würde man ein kleines, strategisch platziertes Stück Klebeband über den lautesten Lautsprecher in einem Raum kleben. Der Lautsprecher ist immer noch da, und der Raum funktioniert immer noch, aber jetzt können die anderen Stimmen deutlich gehört werden. Die KI kann endlich das ganze Gespräch hören, nicht nur das erste Wort.

Das Ergebnis: Besseres Denken und weniger „Attention Sinks"

Als sie diesen „Stummschaltknopf" anwendeten, wurde die KI bei allem, was sie testeten, besser:

Befolgen von Anweisungen: Sie befolgte komplexe Prompts genauer.
Mathematisches Schlussfolgern: Sie löste Matheprobleme besser.
Sicherheit: Sie lehnte harmlose Fragen weniger häufig ab (ein Problem, das als „Over-Refusal" bekannt ist).

Das Paper verbindet dies auch mit einem Phänomen namens „Attention Sinks". Früher stellten Wissenschaftler fest, dass KI-Modelle oft obsessiv auf das allererste Token (den Anfang des Satzes) fokussieren und den Rest ignorieren. Dieses Paper erklärt warum: Das erste Token wird zu einer „Massiven Aktivierung", die die anderen physisch übertönt.

Durch die Anwendung ihrer Methode eliminierten sie den Fokus auf das erste Wort nicht vollständig (was sich als schlecht herausstellte, da das erste Wort immer noch gehört werden muss), aber sie milderten seine Dominanz. Dies ermöglichte der KI, das Zuhören am Anfang des Satzes mit dem Zuhören für den Rest der Geschichte auszugleichen, was zu intelligenterem und flexiblerem Verhalten führte.

Zusammenfassung

Die Entdeckung: Eine bestimmte Schicht in KI-Modellen erzeugt ein „superlautes" Signal für das erste Wort, das bis zum Ende anhält.
Die Ursache: Eine Kombination aus Normalisierung und Verarbeitungsgewichten auf dieser spezifischen Schicht.
Das Problem: Dieses laute Signal macht die KI starr und weniger in der Lage, sich an neue Kontexte anzupassen.
Die Lösung: Eine einfache Methode, um die lautesten Teile dieses Signals selektiv stummzuschalten, wodurch das Gleichgewicht wiederhergestellt und die Leistung insgesamt verbessert wird.

Technische Zusammenfassung: Eine einzelne Schicht, um sie alle zu erklären: Verständnis massiver Aktivierungen in großen Sprachmodellen

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen ein Phänomen, das als massive Aktivierungen bekannt ist, bei dem die Embeddings weniger spezifischer Token Werte erreichen, die um mehrere Größenordnungen höher sind als der Rest in den intermediären Repräsentationen. Während neuere Studien nahelegen, dass diese Aktivierungen wie dominante Bias-Terme wirken, die kontextuelle Verarbeitung beeinflussen und die Aufmerksamkeitsdynamik verändern, fehlt es in der bestehenden Literatur an einer einheitlichen, End-to-End-Erklärung für:

Wo und wie diese massiven Aktivierungen innerhalb der Modellarchitektur entstehen.
Welche funktionale Rolle sie in nachgelagerten Verhaltensweisen spielen, insbesondere ihre Verbindung zum Phänomen der „Aufmerksamkeits-Senken" (Attention Sinks), bei denen Modelle unverhältnismäßig stark auf eine kleine Teilmenge von Token, typischerweise den ersten Token, achten.
Wie potenzielle negative Effekte (wie eine verringerte Repräsentationsvielfalt) gemildert werden können, ohne die Aktivierungen vollständig zu eliminieren, was früheren Arbeiten zufolge funktionale Rollen erfüllen könnten.

2. Methodik und Analyse

2.1. Identifikation der ME-Schicht

Die Autoren führen eine systematische Analyse über mehrere Modellfamilien (einschließlich Qwen, Llama, Mistral und DeepSeek) durch, um den Ursprung massiver Aktivierungen nachzuverfolgen. Sie identifizieren eine spezifische Schicht, die als Massive Emergence Layer (ME-Schicht) bezeichnet wird, in der massive Aktivierungen erstmals auftreten.

Beobachtung: Im Gegensatz zu einer graduellen Akkumulation treten massive Aktivierungen abrupt in einer einzigen Schicht auf (z. B. Schicht 7 in Qwen3-4B) und breiten sich anschließend über residuelle Verbindungen auf tiefere Schichten aus.
Mechanismus: Das Entstehen wird gemeinsam durch zwei Komponenten innerhalb der ME-Schicht angetrieben:
1. RMSNorm: Die vor dem FFN liegende RMSNorm verstärkt den spezifischen Token (oft den ersten Token) unverhältnismäßig, indem sie Skalierungseffekte auf Dimensionen mit großen Gewichten konzentriert.
2. FFN (Feed-Forward Network): Die FFN-Schicht verstärkt dieses Signal weiter und wirkt als Haupttreiber für die Erzeugung und Aufrechterhaltung der Größe der massiven Aktivierung.
Stabilität: Sobald sie gebildet ist, zeigt der verborgene Zustand des massiv aktivierten Tokens eine hohe Richtungsinvarianz. Seine Richtung bleibt über verschiedene Eingaben und nachfolgende Schichten hinweg stabil, was die Vielfalt der verborgenen Repräsentationen, die an das Aufmerksamkeitsmodul weitergegeben werden, verringert.

2.2. Vorgeschlagene Intervention: WeMask

Motiviert durch die Erkenntnis, dass massive Aktivierungen „Richtungssteifheit" hervorrufen (die Fähigkeit des Aufmerksamkeitsmechanismus, sich an diverse Eingaben anzupassen, einschränken), schlagen die Autoren WeMask (Weight-guided Masking) vor.

Mechanismus: Ausgehend von der ME-Schicht maskiert die Methode selektiv Dimensionen im Eingabevektor der Aufmerksamkeit, die den größten RMSNorm-Gewichten entsprechen. Diese Gewichte werden als primäre Verstärker dominanter Richtungen identifiziert.
Operation:
1. Identifizierung der Top- $k$ -Dimensionen basierend auf der Größe der RMSNorm-Gewichte ( $S(l) = \text{TopK}(|w^{(l)}|)$ ).
2. Konstruktion einer binären Maske $m^{(l)}$ für diese Dimensionen.
3. Anwendung der Maske auf den Eingabevektor des verborgenen Zustands des Aufmerksamkeitsmoduls: $\tilde{h}^{(l)}_0 = h^{(l)}_0 \odot (1 - m^{(l)})$ .
Ziel: Dieser Vorgang lockert die Richtungssteifheit des massiv aktivierten Tokens auf, während die Gesamtstruktur der Repräsentation erhalten bleibt, wodurch die Richtungsdiversität für die Aufmerksamkeitsberechnung wiederhergestellt wird. Er wird entweder als trainingsfreie Intervention zur Inferenzzeit oder während des Fine-Tunings angewendet.

2.3. Verbindung zu Aufmerksamkeits-Senken

Die Autoren evaluieren das Phänomen der Aufmerksamkeits-Senken neu. Sie gehen davon aus, dass Aufmerksamkeits-Senken nicht bloß Artefakte der Softmax-Operation sind, sondern eine nachgelagerte Folge des durch massive Aktivierungen verursachten Zusammenbruchs der Repräsentation in der ME-Schicht.

Die massive Aktivierung erzeugt eine niedrigrangige, richtungsstarre Repräsentation, die als fester Referenzpunkt im Ähnlichkeitsraum der Aufmerksamkeit fungiert.
Die vorgeschlagene Methode eliminiert Aufmerksamkeits-Senken nicht vollständig, sondern schwächt ihren Einfluss selektiv ab, was darauf hindeutet, dass ein moderates Vorhandensein von Senken funktional ist, während eine übermäßige Dominanz schädlich ist.

3. Hauptbeiträge

Identifikation der Ursache: Das Papier führt massive Aktivierungen auf eine einzelne, konsistente Schicht (die ME-Schicht) über diverse Modellfamilien hinweg zurück und identifiziert die gemeinsame Rolle von RMSNorm- und FFN-Parametern bei ihrem Entstehen.
Charakterisierung der Invarianz: Es wird gezeigt, dass massiv aktivierte Token nach der ME-Schicht eine hohe eingabeinvariante Richtungsabhängigkeit aufweisen, was die Flexibilität von Selbst-Aufmerksamkeitsmechanismen einschränkt.
Minderungsstrategie (WeMask): Es wird eine einfache, effektive Methode vorgeschlagen, um die Richtungssteifheit durch gewichtsgesteuertes Dimension-Masking zu lockern. Dieser Ansatz verbessert die Leistung, ohne die Modellarchitektur zu verändern oder zusätzliche Rechenkosten zu verursachen.
Neue Perspektive auf Aufmerksamkeits-Senken: Die Arbeit bietet eine Erklärung auf Ebene des verborgenen Zustands für Aufmerksamkeits-Senken, verknüpft diese mit massiven Aktivierungen und schlägt vor, dass eine partielle Abschwächung (anstatt einer vollständigen Eliminierung) optimale Leistung ergibt.

4. Experimentelle Ergebnisse

Die Methode wurde auf Qwen3-4B, Llama-3.1-8B-Instruct und Qwen3-8B über mehrere Aufgaben und Einstellungen hinweg evaluiert (Trainingsfreie Inferenz und überwachtes Fine-Tuning).

Instruktionsbefolgung: Auf Benchmarks wie MMLU, PIQA, ARC-C und StrategyQA verbesserte WeMask die Leistung im Vergleich zu Standard-SFT-Baselines sowohl in trainingsfreien als auch in Fine-Tuning-Szenarien konsistent. Beispielsweise stieg der Durchschnittswert bei Qwen3-4B von 64,43 (SFT) auf 64,91 (SFT + WeMask TF).
Mathematisches Schlussfolgern: Auf GSM8K, AIME22-24 und Math500 zeigte die Methode konsistente Gewinne, insbesondere in Fine-Tuning-Szenarien.
Sicherheitsausrichtung: Bei Sicherheitsaufgaben (XSTest, AdvBench) führte Standard-SFT oft zu übermäßig konservativen Ablehnungsverhalten. WeMask milderte dies und balancierte Sicherheit und Hilfsbereitschaft aus. Beispielsweise verbesserte sich die Leistung bei XSTest von 72,30 (DPO) auf 74,96 (DPO + WeMask TF).
Verstärkungslernen: Die Methode generalisierte auf RL-trainierte Modelle (unter Verwendung von DPO und GRPO) und zeigte Robustheit über verschiedene Trainingsparadigmen hinweg.
Ablationsstudien: Vergleiche mit zufälligem Masking und auf der Magnitude basierendem Masking bestätigten, dass die gewichtsgesteuerte Natur der Maske entscheidend ist; unselektives Masking verschlechterte die Leistung, während WeMask sie verbesserte.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass ihre Arbeit eine prinzipielle Intervention auf Repräsentationsebene bietet, die eine fundamentale strukturelle Einschränkung in LLMs adressiert.

Einheitliche Erklärung: Durch die Verknüpfung massiver Aktivierungen, der ME-Schicht und Aufmerksamkeits-Senken bietet das Papier einen kohärenten Blick darauf, wie interne Dynamiken das Modellverhalten prägen.
Praktischer Nutzen: Die Methode ist leichtgewichtig, architekturagnostisch und sowohl in trainingsfreien als auch in trainingsbewussten Einstellungen effektiv und bietet sofortige Leistungsgewinne.
Theoretische Einsicht: Das Papier stellt die Sichtweise von Aufmerksamkeits-Senken als rein pathologisch in Frage und schlägt vor, dass sie nützliche Signale kodieren, die erst dann schädlich werden, wenn ihre Repräsentationssteifheit nicht kontrolliert wird. Die vorgeschlagene Minderungsstrategie balanciert strukturelle Regularisierung mit Repräsentationsflexibilität.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass ihre Analyse sich auf das Entstehen in mittleren Schichten konzentriert und noch keine mechanistische Erklärung für massive Aktivierungen liefert, die in den letzten Schichten beobachtet werden, noch untersucht sie die Effekte der Integration der Methode in die Pre-Training-Phase.