🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Diese Arbeit zeigt, dass das Versagen großer Sprachmodelle, wiederholte Token zu zählen, nicht auf einer Unfähigkeit beruht, die korrekte Anzahl intern darzustellen, sondern auf einem spezifischen formatgetriggerten MLP-Mechanismus, der während der Generierung der Ausgabe die korrekte Darstellung durch eine feste falsche Antwort überschreibt.

Ursprüngliche Autoren: Sohan Venkatesh

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sohan Venkatesh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut gebildete Bibliothekarin (das KI-Modell). Sie bitten diese Bibliothekarin, zu zählen, wie oft das Wort „Apfel" in einer langen Liste vorkommt. Sie würden erwarten, dass sie es richtig macht, aber stattdessen sagt sie selbstbewusst: „Es gibt 8 Äpfel", obwohl es eindeutig 10 sind.

Lange Zeit glaubten die Menschen, die Bibliothekarin sei einfach schlecht im Zählen. Sie gingen davon aus, dass das Gehirn der Bibliothekarin keinen eingebauten „Zähler" habe und sie daher die Zahlen nicht im Blick behalten könne.

Diese Arbeit besagt, dass diese Annahme falsch ist.

Hier ist die einfache Aufschlüsselung dessen, was die Forscher tatsächlich gefunden haben, unter Verwendung einiger alltäglicher Analogien:

1. Die Bibliothekarin weiß die Antwort

Die Forscher blickten tief in das Gehirn der Bibliothekarin (die internen Schichten des Modells) und untersuchten jeden einzelnen Schritt des Denkprozesses. Sie stellten fest, dass die korrekte Zahl (10) vom allerersten bis zum allerletzten Schritt klar und perfekt festgehalten wurde.

Die Analogie: Stellen Sie sich vor, die Bibliothekarin geht einen Flur entlang und hält eine Whiteboard-Tafel in der Hand. Bei jedem einzelnen Schritt des Gehens steht auf dem Whiteboard klar „10". Die Information ist da, laut und deutlich. Die Bibliothekarin ist nicht verwirrt; sie weiß die Antwort tatsächlich.

2. Der „fehlerhafte" Schild-Schreiber

Wenn die Bibliothekarin also weiß, dass die Antwort 10 ist, warum sagt sie dann „8"?

Die Forscher entdeckten einen spezifischen „Fehler" in der Mitte des Flurs. Etwa 90 % durch den Denkprozess hindurch gibt es einen bestimmten Arbeiter (ein Teil des Computercodes, der als MLP-Block bezeichnet wird), der das Listenformat (Wörter, die durch Leerzeichen getrennt sind) sieht und beschließt, das Whiteboard zu ignorieren.

Die Analogie: Stellen Sie sich vor, die Bibliothekarin geht den Flur entlang und hält das Schild mit „10". Plötzlich springt ein bestimmter Arbeiter (nennen wir ihn „Format-Fred") hervor. Fred sieht, dass die Liste mit Leerzeichen geschrieben ist (wie „Apfel Apfel Apfel"). Er hat eine vorprogrammierte Regel: „Wenn ich eine Liste von Wörtern mit Leerzeichen sehe, muss ich das Schild ändern, damit es '8' sagt."
Fred greift sich das Whiteboard, wischt die „10" aus und schreibt „8" darauf.
Obwohl das Gehirn der Bibliothekarin immer noch weiß, dass es 10 sind (das ursprüngliche Signal ist immer noch im Hintergrund vorhanden), lautet die endgültige Ausgabe nun „8", weil Fred sie überschrieben hat.

3. Es geht nicht um die Wörter, sondern um das Format

Dieser Fehler tritt nur bei Wörtern (wie „Apfel" oder „Katze") auf, nicht bei Zahlen (wie „1" oder „2").

Die Analogie: Wenn Sie der Bibliothekarin eine Liste von Zahlen geben („1 1 1 1..."), kümmert sich Format-Fred nicht darum. Er reagiert nur auf Wörter. Die Bibliothekarin zählt die Zahlen perfekt. Aber wenn Sie ihr Wörter geben, wird Fred ausgelöst.
Außerdem, wenn Sie das Format ändern und Kommas statt Leerzeichen verwenden (z. B. „Apfel, Apfel, Apfel"), springt Fred nicht heraus. Die „8"-Regel wird nicht ausgelöst, und die Bibliothekarin bekommt es richtig. Dies beweist, dass das Problem nicht die Zählfähigkeit ist; es ist eine spezifische Reaktion darauf, wie die Liste aussieht.

4. Das „Routing"-Problem, kein „Repräsentations"-Problem

Die Arbeit trifft eine große Unterscheidung zwischen zwei Arten von Fehlern:

Repräsentationsfehler: Die Bibliothekarin weiß nicht, wie man zählt. (Diese Arbeit besagt, dass dies NICHT passiert).
Routing-Fehler: Die Bibliothekarin weiß, wie man zählt, aber das Signal wird abgefangen, bevor es den Mund erreicht. (Das ist das, was passiert).
Die Analogie: Es ist wie ein Radiosender, der das richtige Lied spielt (die Zählung), aber ein DJ in der Kabine (der MLP-Block) beschließt, die Musik abzuschneiden und kurz bevor sie zu den Lautsprechern geht, ein anderes Lied (die falsche Zahl) zu spielen. Die Musik ist in Ordnung; das Routing ist kaputt.

5. Größere Modelle haben einen anderen Fehler

Die Forscher betrachteten auch größere, intelligentere Modelle. Diese Modelle bekommen die Zählung normalerweise richtig, aber sie versagen, wenn Sie eine „Banane" in die Liste der Äpfel schmuggeln.

Der Fehler: Diese größeren Modelle sehen die Banane. Ihr Aufmerksamkeitsystem bemerkt sie. Aber genau wie bei den kleineren Modellen versagen sie darin, diese Information dazu zu bringen, die endgültige Antwort zu ändern. Sie sehen die Anomalie, können diese neue Information aber nicht zum endgültigen Output „routen".

Das Fazit

Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle nicht „schlecht in Mathe" sind. Sie sind tatsächlich sehr gut darin, die Zahlen intern zu verfolgen. Das Problem ist, dass ein bestimmter Teil ihres Gehirns durch die Art und Weise ausgelöst wird, wie die Liste geschrieben ist (Leerzeichen vs. Kommas, Wörter vs. Zahlen), und eine falsche Antwort auf den endgültigen Output zwingt, die bereits vorhandene korrekte Antwort überschreibend.

Um dies zu beheben, müssen wir der KI nicht beibringen, wie man zählt (sie weiß es bereits). Wir müssen den „Verkehrspolizisten" (den Routing-Mechanismus) reparieren, der derzeit die korrekte Antwort daran hindert, herauszukommen.

Technische Zusammenfassung: Zählen wiederholter Token offenbart eine Dissoziation zwischen Repräsentationen und Ausgaben

Problemstellung
Große Sprachmodelle (LLMs) zeigen systematische und reproduzierbare Fehler beim Zählen wiederholter Token, obwohl sie auf breiteren Reasoning-Benchmarks eine starke Leistung erzielen. Wenn beispielsweise nach dem Zählen von zehn wiederholten Wörtern (z. B. „apple") gefragt wird, geben Modelle oft eine selbstbewusste, deterministische falsche Antwort (z. B. „8" oder „14") mit null Varianz unter greedy decoding aus. Häufige Erklärungen für dieses Versagen deuten auf ein Fehlen interner Zählrepräsentationen oder auf Einschränkungen beim Verfolgen von Anzahlen im Zustand des Modells hin. Diese Arbeit stellt diese Zuschreibung in Frage und schlägt stattdessen vor, dass das Versagen nicht in der Repräsentation, sondern im Routing der Information zur Ausgabe liegt.

Methodik
Die Autoren wenden Techniken der mechanistischen Interpretierbarkeit auf fünf instruktionsfeinabgestimmte Decoder-only-Modelle an: Llama-3.2 (1B, 3B) und Qwen2.5 (1.5B, 3B, 7B). Das experimentelle Setup umfasst drei Bedingungen:

P1 (Basislinie): Zählen von zehn identischen Token.
P2 (Anomalie): Zählen von neun identischen Token mit einem Eindringling (z. B. „banana").
P3 (Kontrolle): Zählen von zehn einzigartigen Token.

Die Studie nutzt:

Lineare Proben: Training von Ridge-Regression-Proben auf dem Residualstream in jeder Schicht, um die Token-Anzahl zu decodieren, und Testen, ob die korrekte Anzahl linear decodierbar ist, selbst wenn die Ausgabe falsch ist.
Logit-Linse: Projektion der versteckten Zustände durch die letzte Layernorm und die Unembedding-Matrix in jeder Schicht, um zu beobachten, wann das Modell sich für einen bestimmten Ziffer-Token „festlegt".
MLP- vs. Attention-Zerlegung: Isolierung der Beiträge von Attention-Subschichten und MLP-Blöcken, um zu bestimmen, welche Komponente spezifische Werte im Residualstream schreibt oder löscht.
Kausale Interventionen: Null-Ablation spezifischer MLP-Blöcke, um die kausale Beteiligung zu testen.
Format- und Token-Variation: Testen von durch Leerzeichen vs. durch Komma getrennten Trennzeichen und Ersetzen von Wort-Token durch Ziffer-Token, um Formatempfindlichkeit und Token-Typ-Spezifität zu analysieren.

Hauptergebnisse

Dissoziation zwischen Repräsentation und Verhalten:
Lineare Proben zeigen, dass die korrekte Anzahl ab der ersten Transformer-Schicht mit nahezu perfekter Genauigkeit ( $R^2 > 0.99$ ) linear decodierbar ist, selbst in Modellen, die falsche Anzahlen ausgeben. Entscheidend ist, dass die Anzahl in der Bedingung, in der das Modell versagt (wiederholte Token), sauberer kodiert ist als in der Bedingung, in der es erfolgreich ist (einzigartige Token). Dies bestätigt, dass das Modell die korrekte interne Repräsentation besitzt, diese aber nicht ausdrückt.
Das Routing-Versagen (MLP-Überschreibung):
Das Versagen wird durch einen spezifischen, formatgetriggerten Multi-Layer-Perceptron (MLP)-Block verursacht, der sich bei etwa 88–93 % der Netzwerktiefe befindet (z. B. Schicht 14 in Llama-1B, Schicht 22/26 in Llama-3B, Schicht 22 in Qwen-1.5B).
- Dieser MLP-Block empfängt einen Residualstream-Zustand, der die Anzahl korrekt kodiert (oder einem Zustand nahe ist), überschreibt ihn jedoch mit einer festen, falschen Ganzzahl (z. B. „8" oder „14").
- Der MLP-Eingang ist anzahlinvariant; er feuert unabhängig von der tatsächlichen Sequenzlänge (z. B. für $n=8$ bis $n=15$ ), was darauf hindeutet, dass er auf ein spezifisches Formatsignatur reagiert und keine Berechnung durchführt.
- Die kausale Ablation dieses MLP-Blocks stellt die korrekte Antwort nicht wieder her; stattdessen verschiebt sie das Versagen auf einen anderen falschen Wert (z. B. von „8" auf „16"), was darauf hindeutet, dass die Priorität teilweise über mehrere Blöcke verteilt ist.
Format- und Token-Spezifität:
- Formatempfindlichkeit: In größeren Modellen (Llama-3B, Qwen-3B) unterdrückt die Änderung des Trennzeichens von Leerzeichen zu Kommas den MLP-Trigger, sodass die korrekte Anzahl durchgelassen wird. In kleineren Modellen (Llama-1B) ist die Priorität formatinvariant.
- Token-Typ: Die Priorität feuert bei wiederholten alphabetischen Token (Wörtern), aber nicht bei wiederholten Ziffer-Token. Modelle, die das Zählen wiederholter Wörter nicht korrekt durchführen, zählen wiederholte Ziffern (z. B. „1", „1", „1") fehlerfrei, was beweist, dass das Versagen eine gelernte Assoziation zwischen dem Format „wiederholte Wortliste" und einer spezifischen falschen Ausgabe ist und keine allgemeine Unfähigkeit, die Sequenzlänge zu schätzen.
Anomalieerkennung vs. Zählen:
Größere Modelle (Qwen-3B, 7B), die die P1-Zähl-Aufgabe lösen, scheitern immer noch an der P2-Anomalieerkennungsaufgabe (Zählen von 9 Äpfeln und 1 Banane). Die mechanistische Analyse zeigt, dass zwar die Attention-Mechanismen die Anomalie erkennen (die Banane erhält hohe Attention), dieses Signal jedoch nicht zur Ausgabe geroutet wird, um die Anzahl zu korrigieren. Dies stellt eine zweite Art von Routing-Versagen dar, bei dem das Erkennungssignal existiert, aber nicht in eine Verhaltenskorrektur umgewandelt wird.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass das Zählversagen in diesen Modellen ein Versagen des Routings und kein Versagen der Repräsentation ist. Die interne Schaltung kodiert die Anzahl korrekt, doch ein spezifischer „Prior"-Schaltkreis fängt diese Information basierend auf oberflächlichen Format-Hinweisen (wiederholte Wort-Token) ab und überschreibt sie.

Die Autoren behaupten, dass die Vermischung von Repräsentationsfehlern mit Routingfehlern zu falschen Interventionen führt (z. B. Neutrainieren für bessere Zählfähigkeiten, obwohl die Fähigkeit bereits existiert). Stattdessen müssen Interventionen die spezifischen Schaltkreise anvisieren, die für die Signalunterdrückung verantwortlich sind. Die Studie zeigt, dass Verhaltensfehler in leistungsfähigen Modellen oft Ausdrucksschwächen sind und dass die Identifizierung des spezifischen Routing-Pfads eine notwendige Voraussetzung für jede erfolgreiche Intervention ist. Diese Arbeit etabliert ein allgemeines Phänomen, bei dem innere Wahrheit und Verhaltensausgabe vollständig voneinander abweichen können, was eine mechanistische Analyse erfordert, um zwischen beiden zu unterscheiden.