From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks
Die Studie zeigt, dass moderne Sprachmodelle bei der Zeichenzählung nicht an fehlenden internen Repräsentationen scheitern, sondern daran, dass spezifische Komponenten in den späteren Schichten die korrekte Information unterdrücken, obwohl sie bereits früh im Netzwerk kodiert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Rätsel: Warum können KI-Modelle nicht einmal Buchstaben zählen?
Stellen Sie sich vor, Sie haben einen extrem intelligenten Bibliothekar, der Millionen von Büchern gelesen hat. Er kann komplexe Gedichte analysieren, Code schreiben und philosophische Debatten führen. Aber wenn Sie ihn fragen: „Wie viele Buchstaben ‚p' sind im Wort ‚Apfel'?", antwortet er oft falsch. Er sagt vielleicht „1" oder rät einfach wild herum, obwohl er das Wort „Apfel" doch eigentlich kennt.
Das ist genau das Problem, das diese Forscher untersucht haben. Moderne KI-Modelle (LLMs) sind in komplexen Aufgaben großartig, scheitern aber an ganz einfachen, symbolischen Aufgaben wie dem Zählen von Buchstaben.
Die Entdeckung: Das Gehirn weiß es, der Mund sagt es nicht
Die Forscher haben sich die „Gedanken" dieser KI-Modelle genauer angesehen (mit einer Art Röntgenblick in die inneren Schichten des Modells). Was sie herausfanden, ist faszinierend und ein wenig beunruhigend:
1. Die Information ist da (Der Bibliothekar liest das Buch)
In den frühen und mittleren Schichten des KI-Modells ist die Antwort bereits perfekt gespeichert. Wenn das Modell das Wort „Apfel" verarbeitet, weiß es in seinen „Gedanken" (den mathematischen Darstellungen) ganz genau: „Da sind zwei ‚p's". Es ist wie ein Bibliothekar, der das Buch tatsächlich in der Hand hält und die Seite liest.
2. Der Verrat am Ende (Der Bibliothekar vergisst es)
Das Problem passiert erst ganz am Ende, kurz bevor das Modell die Antwort laut ausspricht. In den allerletzten Schichten des Modells gibt es eine kleine Gruppe von „Verstärkern", die die korrekte Antwort aktiv unterdrücken.
- Die Metapher: Stellen Sie sich vor, der Bibliothekar hat die richtige Antwort auf einem Zettel geschrieben. Aber kurz bevor er den Zettel an Sie weiterreicht, greift ein nervöser Assistent (die letzten Schichten des Modells) zu, reißt den Zettel weg und schreibt stattdessen „1" oder etwas Zufälliges darauf, weil er denkt, das sei die sicherere oder „beliebtere" Antwort.
Was genau passiert?
Die Forscher haben herausgefunden, dass diese KI-Modelle nicht dumm sind, sondern konfuziert.
- Der „Negative Schaltkreis": Es gibt bestimmte Teile im Modell (sogenannte MLPs und Aufmerksamkeits-Köpfe in den letzten Schichten), die wie ein Bremspedal wirken. Sie drücken die Wahrscheinlichkeit für die richtige Antwort herunter und heben stattdessen falsche, aber „bequeme" Antworten hoch.
- Warum tun sie das? Das Modell hat gelernt, dass es im echten Leben oft besser ist, eine einfache, wahrscheinliche Antwort zu geben, als hart zu rechnen. Wenn es im Training oft gesehen hat, dass Wörter selten viele gleiche Buchstaben haben, lernt es: „Sag einfach ‚1', das ist meistens richtig." Es opfert die genaue Wahrheit für eine schnelle, statistische Schätzung.
Überraschende Fakten
- Größe hilft nicht: Es macht keinen Unterschied, ob das Modell klein (2 Milliarden Parameter) oder riesig (9 Milliarden Parameter) ist. Selbst die größten Modelle machen denselben Fehler. Mehr Wissen bedeutet hier nicht mehr Intelligenz für diese spezielle Aufgabe.
- Training hilft nicht: Auch wenn man die Modelle extra trainiert, um ihnen zu befehlen, „hilfreich" zu sein (Instruction Tuning), ändert sich das Grundproblem nicht. Sie lernen zwar, den Tonfall zu ändern, aber die innere Bremse bleibt.
- Kein spezieller Zähler: Es gibt keine spezielle „Zahl-Abteilung" im Gehirn der KI, die sich nur um das Zählen kümmert. Die Information ist über viele Teile verstreut und wird am Ende von den falschen Teilen unterdrückt.
Die große Lehre
Dieses Papier zeigt uns, dass KI-Modelle nicht wie menschliche Denker funktionieren, die logisch von A nach B schreiten. Stattdessen funktionieren sie wie ein Wettbewerb.
Im Inneren des Modells kämpfen zwei Kräfte:
- Die korrekte Information (die in den frühen Schichten gespeichert ist).
- Die falschen Gewohnheiten (die in den letzten Schichten die korrekte Information unterdrücken, weil sie „wahrscheinlicher" wirken).
Am Ende gewinnt oft die falsche Gewohnheit. Das bedeutet: Um KI wirklich intelligent und zuverlässig zu machen, reicht es nicht, sie nur größer zu machen oder mehr Daten zu geben. Wir müssen die Architektur so ändern, dass die korrekten Informationen am Ende nicht mehr unterdrückt werden, sondern tatsächlich bis zum Mund durchdringen.
Kurz gesagt: Die KI weiß die Antwort, aber sie traut sich nicht, sie zu sagen, weil sie glaubt, dass eine andere Antwort „besser" klingt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.