💬 NLP

Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

Diese Arbeit zeigt auf, dass Sprachmodelle bei Aufgaben mit ausgewogenen Klammern scheitern, da fehlerhafte Mechanismen fundierte Prozesse überlagern, und führt RASteer ein, eine Steuerungsmethode, welche die Genauigkeit durch die Verstärkung zuverlässiger Komponenten auf nahezu 100 % steigert, ohne die allgemeinen Programmierfähigkeiten zu beeinträchtigen.

Ursprüngliche Autoren: Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von 100 Experten, die zusammenarbeiten, um ein Rätsel zu lösen. Das Rätsel ist einfach: stellen Sie sicher, dass alle Klammern in einer Zeile Code ausgeglichen sind. Zum Beispiel: Wenn Sie eine Klammer ( öffnen, müssen Sie sie mit einer ) schließen.

Man würde denken, dass eine superintelligente KI (ein Large Language Model) perfekt dafür geeignet wäre. Aber überraschenderweise scheitern selbst die klügsten KIs, besonders wenn die Klammern wie ((())) gestapelt sind.

Dieses Paper mit dem Titel „Failure by Interference“ untersucht, warum das passiert und wie man es behebt, ohne die KI neu zu trainieren.

Das Problem: Ein verrauschter Raum voller Experten

Die Forscher entdeckten, dass eine KI sich nicht auf nur ein „Gehirn“ verlässt, um eine Entscheidung zu treffen. Stattdessen nutzt sie Tausende von winzigen internen Teilen (genannt Attention Heads und Neuronen), die alle gleichzeitig ihre eigenen Vorschläge herausbrüllen.

Stellen Sie sich das wie einen überfüllten Raum vor, in dem alle versuchen, über das nächste Wort abzustimmen:

Die Mechaniken des Klangs: Ein paar Experten im Raum sind tatsächlich sehr gut darin, Klammern zu zählen. Sie wissen genau, wann sie eine Klammer schließen müssen.
Die fehlerhaften Mechaniken: Der Rest des Raums ist laut und unruhig. Einige Experten sind verwirrt, einige raten nur, und einige schreien die falsche Antwort sehr laut heraus.

Das Scheitern: Die KI scheitert nicht deshalb, weil sie keine klugen Experten besitzt, sondern weil die lautstarken, verwirrten Experten lauter schreien als die klugen Experten. Der kluge Rat wird durch den Lärm übertönt. Das Paper nennt dies „Failure by Interference“ (Versagen durch Interferenz).

Die Entdeckung: Die „Super-Experten“ finden

Die Forscher untersuchten das Innere von sieben verschiedenen KI-Modellen (von klein bis groß) und fanden etwas Interessantes heraus:

Die meisten Teile sind Spezialisten: Viele interne Teile funktionieren nur gut bei einfachen Aufgaben (wie einem Paar Klammern), versagen aber, wenn die Aufgabe schwieriger wird (wie vier Paaren).
Einige Teile sind Generalisten: Eine Handvoll Teile ist unglaublich zuverlässig. Sie funktionieren perfekt, egal wie viele Klammern vorhanden sind.
- Beispiel: In einem Modell (CodeLlama-7b) war ein einziger winziger Teil (ein Attention Head) tatsächlich besser darin, das Rätsel zu lösen, als das gesamte Modell es allein könnte!

Die Lösung: RASTEER (Der Lautstärkeregler)

Da die klugen Teile existieren, aber einfach ignoriert werden, erfanden die Forscher eine Methode namens RASTEER.

Stellen Sie sich die internen Teile der KI wie Lautsprecher in einer Soundanlage vor.

Vorher: Die „verwirrten“ Lautsprecher sind auf Lautstärke 10 gestellt, und die „klugen“ Lautsprecher sind auf Lautstärke 1. Das Ergebnis ist ein Chaos aus Lärm.
RASTEER: Diese Methode fungiert wie ein Lautstärkeregler. Sie identifiziert die klugen, zuverlässigen Lautsprecher und dreht deren Lautstärke leicht auf. Sie schaltet die anderen nicht stumm; sie sorgt nur dafür, dass die klugen Stimmen laut genug sind, um über den Lärm gehört zu werden.

Die Ergebnisse:

Wunderbare Korrekturen: Bei einigen Modellen, die 0 % der Antworten richtig bekamen, steigerte das Aufdrehen der Lautstärke der obersten 10 klugen Teile die Genauigkeit auf fast 100 %.
Keine Nebenwirkungen: Entscheidend war, dass dies nicht die Fähigkeit der KI beeinträchtigte, Code für andere Dinge zu schreiben. Tatsächlich verbesserten sich bei einigen Modellen ihre allgemeinen Programmierfähigkeiten sogar leicht.
Es funktioniert auch woanders: Sie testeten dies bei mathematischen Problemen (arithmetisches Denken) und sahen ähnliche Verbesserungen (bis zu 20 % besser).

Was sie nicht getan haben (und was man vermeiden sollte)

Sie haben die KI nicht neu trainiert: Sie haben der KI keine neuen Daten gegeben oder ihre Gehirnstruktur verändert. Sie haben lediglich angepasst, wie sie ihre vorhandenen Teile im Moment des Denkens nutzt.
Sie haben keinen „Schaltkreis“ gefunden: Frühere Forschungen versuchten, den exakten logischen Pfad (wie einen Schaltplan) abzubilden, um Fehler zu beheben. Die Forscher fanden heraus, dass dies zu kompliziert war und bei kleineren Modellen nicht gut funktionierte. Ihr „Lautstärkeregler“-Ansatz war einfacher und effektiver.
Sie haben nicht behauptet, dass dies alle KI-Fehler behebt: Dies zielt speziell auf einfache syntaktische Aufgaben ab (wie Klammern und Mathematik), bei denen die KI das Wissen besitzt, aber durch internen Lärm verwirrt wird.

Das wichtigste Fazle

Das Paper kommt zu dem Schluss, dass KI-Modelle oft überqualifiziert, aber untergenutzt sind. Sie besitzen die richtigen Werkzeuge, um einfache Probleme zu lösen, aber diese Werkzeuge werden unter einem Berg aus internem Lärm begraben. Indem man einfach nur „die Lautstärke“ der zuverlässigen Werkzeuge aufdreht, kann man die KI bei spezifischen Aufgaben signifikant intelligenter machen, ohne sie von Grund auf neu bauen zu müssen.

Technische Zusammenfassung: Versagen durch Interferenz in Sprachmodellen

Problemstellung
Trotz signifikanter Fortschritte in den Fähigkeiten zur Codegenerierung, die durch größere Modellgrößen und mehr Trainingsdaten vorangetrieben wurden, kämpfen Large Language Models (LMs) weiterhin mit grundlegenden syntaktischen Aufgaben, insbesondere der Generierung ausgewogener Klammern. Dieses Versagen hält selbst in modernsten Modellen wie GPT-4 und Phi-3 an. Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, ist das Verständnis der internen Mechanismen, die diese Fehler verursachen. Während die bisherige Forschung versucht hat, die vollständigen computationalen Schaltkreise (Circuits) von LMs zu reverse-engineeren, argumentieren die Autoren, dass selbst einfache Aufgaben komplexe „Bags“ (Säcke) an Berechnungen beinhalten, was ein Bottom-up-Reverse-Engineering schwierig macht. Die Arbeit postuliert, dass das Versagen nicht auf einen Mangel an korrekten Mechanismen zurückzuführen ist, sondern auf ein Versagen durch Interferenz, bei dem fehlerhafte Mechanismen die korrekten überlagern.

Methodik
Die Studie verwendet einen Top-Down-Interpretierbarkeitsansatz, um sieben LMs mit einer Größe von 124M bis 7B Parametern (einschließlich GPT-2-Varianten, CodeLlama-7b, Llama2-7b und Pythia-6.9b) zu analysieren. Die Methodik umfasst drei primäre Phasen:

Aufgabenzerlegung und Identifizierung von Mechanismen:
Die Aufgabe der ausgewogenen Klammern wird basierend auf der Anzahl der benötigten schließenden Klammern ( $N=1, 2, 3, 4$ ) zerlegt, wie durch das Tokenizer-Verhalten bestimmt. Die Autoren nutzen die „Logit Lens“-Technik, um die Aktivierungen einzelner Komponenten (Attention Heads und Feed-Forward-Neuronen) in den Vokabularraum zu projizieren.
- Algorithmus 1 misst die Korrektheit der Aufgabe, indem geprüft wird, ob die Logit-Projektion einer Komponente den höchsten Wert für das Ground-Truth-Token im Vergleich zu Distraktoren liefert.
- Algorithmus 2 identifiziert die Token-Promotion, indem geprüft wird, ob eine Komponente ein Ziel-Token über einen bestimmten Schwellenwert hinaus fördert.
Charakterisierung von Mechanismen:
Die Autoren kategorisieren Komponenten in „solide Mechanismen“ (zuverlässig, über Sub-Aufgaben hinweg generalisierbar) und „fehlerhafte Mechanismen“ (unzuverlässig, rauschbehaftet). Sie analysieren die Präzision und den Recall dieser Komponenten und beobachten, dass LMs stark auf „verrauschte Promotion“ angewiesen sind, bei der Komponenten sowohl für korrekte als auch für inkorrekte Tokens aktivieren, anstatt sich auf hochselektive, präzise Mechanismen zu verlassen.
RASTEER (Ranking and Steering):
Motiviert durch die Erkenntnis, dass Fehler durch die Überlagerung solider Mechanismen durch fehlerhafte Mechanismen entstehen, schlagen die Autoren RASTEER vor. Diese Methode:
- Rankt LM-Komponenten basierend auf ihrer Zuverlässigkeit (unter Verwendung von Metriken wie Recall, Precision und F1-Score) und Generalisierbarkeit über Sub-Aufgaben hinweg.
- Steuert das Modell, indem sie die Aktivierung der am besten bewerteten Komponenten (Attention Heads oder FF-Neuronen) mit einem Multiplikator $\alpha \in [1.1, 2.0]$ skaliert, bevor diese zum Residual Stream hinzugefügt werden. Dies verstärkt den Beitrag zuverlässiger Komponenten zu den finalen Logits.

Wesentliche Beiträge

Mechanistischer Einblick: Die Arbeit zeigt auf, dass LMs sich bei syntaktischen Aufgaben nicht auf einen einzelnen Mechanismus verlassen, sondern auf eine vielfältige Menge von Komponenten mit unterschiedlicher Zuverlässigkeit. Entscheidend ist, dass LMs nicht deshalb scheitern, weil solide Mechanismen fehlen, sondern weil fehlerhafte Mechanismen Rauschen einführen, das die soliden Mechanismen überlagert.
Verraute Promotion (Noisy Promotion): Die Studie charakterisiert eine Strategie der „verrauschten Promotion“, bei der Komponenten oft sowohl korrekte als auch Distraktor-Tokens fördern, wobei das korrekte Token einen stärkeren, aber nicht exklusiven Boost erhält.
RASTEER-Framework: Die Autoren führen eine Steering-Methode ein, die systematisch zuverlässige Komponenten identifiziert und verstärkt, ohne die Rekonstruktion vollständiger kausaler Schaltkreise zu erfordern.
Vergleich mit Circuit-Baseline: Die Arbeit kontrastiert RASTEER mit einer aus der mechanistischen Interpretierbarkeit abgeleiteten „Circuit-Baseline“ (Activation Patching). Sie zeigt, dass während die Entdeckung von Schaltkreisen für größere Modelle effektiv ist, sie für kleinere Modelle keine konsistenten Steering-Strategien liefert, während RASTEER über alle Größen hinweg erfolgreich ist.

Ergebnisse

Leistung bei ausgewogenen Klammern: RASTEER verbessert die Leistung bei der Aufgabe der ausgewogenen Klammern erheblich. Für mehrere Modelle (z. B. GPT-2 XL) wurde die Genauigkeit bei den Drei-Klammer- und Vier-Klammer-Sub-Aufgaben durch das Steuern nur der Top-10 bis Top-60 Attention Heads von 0 % auf etwa 100 % gesteigert.
Effektivität der Komponenten: Das Steuern von Attention Heads erwies sich als signifikant effektiver als das Steuern von FF-Neuronen. Die Förderung der am besten bewerteten Attention Heads erzielte Ergebnisse, die mit der gemeinsamen Förderung vergleichbar waren, während die alleinige Förderung von FF-Neuronen kaum oder gar keine Verbesserung brachte, insbesondere bei kleineren Modellen.
Generalisierbarkeit:
- Codegenerierung: Das Steuern für die Klammer-Aufgabe verschlechterte die allgemeinen Coding-Fähigkeiten im HumanEval-Benchmark nicht. Tatsächlich verzeichnete Llama2-7b sogar eine moderate Verbesserung von 5,49 %.
- Arithmetisches Denken: Die Methode generalisierte auf eine arithmetische Denkaufgabe mit zwei Operanden und erzielte Leistungssteigerungen von bis zu 20,25 % (z. B. für Pythia-6.9b bei der Multiplikation).
Versagen der Circuit-Baseline: Die Circuit-Baseline konnte die Leistung bei kleineren Modellen (GPT-2-Varianten) nicht verbessern und führte in einigen Fällen sogar zu einem Leistungsabfall, wenn mehr Heads gefördert wurden. Dies deutet darauf darauf hin, dass Komponenten, die als kausal wichtig für Zwischenschritte identifiziert wurden, bei der Steuerung Instabilitäten verursachen können.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Persistenz syntaktischer Fehler in LMs das Ergebnis einer Interferenz zwischen konkurrierenden internen Mechanismen ist und nicht eine fundamentale Unfähigkeit zum Erlernen der Aufgabe. Durch die Identifizierung, dass eine kleine Teilmenge hochzuverlässiger, generalisierbarer Komponenten innerhalb des Modells existiert, zeigen die Autoren, dass die Leistung wiederhergestellt werden kann, indem diese spezifischen Signale verstärkt werden.

Die Bedeutung dieser Arbeit liegt in ihrem Wechsel vom Versuch, komplexe Schaltkreise vollständig zu reverse-engineeren, hin zu einem funktionalen Ansatz des „Steerings“ basierend auf der Zuverlässigkeit der Komponenten. Die Autoren merken an, dass RASTEER zwar effektiv ist, die Studie jedoch auf synthetischen Daten basiert und ein einfaches additives Motiv für die Modellberechnung voraussetzt (bei dem der finale Logit die Summe der Komponentenbeiträge ist). Sie räumen ein, dass diese Annahme möglicherweise nicht-additive Mechanismen wie die aktive Rauschunterdrückung übersieht, was ein offener Forschungsbereich bleibt. Die Arbeit legt nahe, dass funktionale Interpretierbarkeit – der Fokus auf hochwirksame Komponenten für praktische Interventionen – ein gangbarer und unterexplorierter Weg zur Verbesserung der Modellleistung ohne erneutes Training ist.