States Hidden in Hidden States: Implicit Discrete State Representations Emerge in LLMs' Hidden States
Diese Arbeit untersucht, wie Large Language Models ohne explizite Chain-of-Thought-Argumentation durch die Bildung und Nutzung imperfekter impliziter diskreter Zustandsrepräsentationen innerhalb ihrer verborgenen Zustände komplexe Berechnungen durchführen, während sie gleichzeitig deren Entstehung charakterisieren und deren Beitrag zu Rechenfehlern identifizieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Zauberer, der ein Kaninchen aus einem Hut zieht. Sie wissen, dass das Kaninchen nicht einfach aus dem Nichts erschienen ist, aber Sie können den Trick nicht sehen. Lange Zeit waren Wissenschaftler, die Künstliche Intelligenz (KI) untersuchen, in einer ähnlichen Lage. Sie wissen, dass diese riesigen Computergehirne, genannt Large Language Models (LLMs), erstaunliche Dinge tun können, wie Gedichte schreiben, Matheaufgaben lösen oder wie Menschen chatten. Aber wie sie das in ihrem „Verstand“ (der eigentlich nur eine massive Sammlung von Zahlen und Schichten ist) machen, war ein Stück weit eine Blackbox.
Um diesen Papier zu verstehen, müssen Sie zwei einfache Dinge wissen. Erstens arbeiten LLMs, indem sie das nächste Wort in einem Satz vorhersagen, Wort für Wort. Zweitens erstellen sie dabei einen temporären „Notizzettel“ mit Informationen, den man Hidden State nennt. Denken Sie an diesen Hidden State wie an eine mentale Notiz, die die KI macht, während sie nachdenkt. Normalerweise gehen wir davon aus, dass die KI die ganze Frage lift und dann die Antwort rät. Aber was wäre, wenn die KI beim Lesen einer langen Liste von Zahlen im Stillen eine laufende Summe in ihrem Kopf bildet, genau wie Sie, wenn Sie Ihre Einkaufsliste im Kopf zusammenrechnen, ohne etwas aufzuschreiben? Dieses Paper fragt: Betreibt die KI tatsächlich diese mentale Mathematik oder rät sie nur?
Der Zaubertrick der mentalen Mathematik
Stellen Sie sich vor, Sie sind auf einer Party und jemand reicht Ihnen eine lange Liste von Zahlen: 17, 38, 32, 87... und bittet Sie, diese alle sofort zusammenzuzählen, ohne etwas aufzuschreiben oder die einzelnen Schritte laut auszusprechen. Die meisten Menschen würden Schwierigkeiten haben, aber die klügsten KI-Modelle der Welt werden immer besser darin. Sie können eine Kette von bis zu 15 Zahlen betrachten und sofort die korrekte Summe ausspucken, ohne ihren Rechenweg zu zeigen.
Dieses Paper mit dem Titel „States Hidden in Hidden States“ untersucht genau, wie diese KI-Modelle diesen Trick vollziehen. Die Forscher der Tsinghua University stellten die Hypothese auf, dass diese Modelle nicht einfach nur raten, sondern heimlich Implicit Discrete State Representations (IDSRs) aufbauen.
Lassen Sie uns diesen schicken Begriff aufschlüsseln. Stellen Sie sich vor, die KI ist ein Team von Arbeitern, die einen Eimer Wasser eine Reihe entlang weiterreichen:
- Implizit: Sie rufen die Zahl nicht laut heraus (generieren keinen Text).
- Diskret (Discrete State): Sie halten eine spezifische, exakte Zahl in den Händen (wie „37“, nachdem 17 und 20 addiert wurden).
- Repräsentation (Representation): Diese Zahl existiert als Muster innerhalb der internen Schichten der KI.
Die Forscher wollten beweisen, dass die KI diese Zwischenzahlen tatsächlich während des Lesens der Liste festhält, anstatt erst am Ende zu warten, um alles auf einmal zu berechnen.
Die Detektivarbeit: Ein Blick in das Gehirn
Um zu sehen, ob dieser „mentale Notizzettel“ wirklich existiert, spielten die Forscher mit den internen Schichten der KI eine Runde „Wer bin ich?“ (20 Fragen). Sie verwendeten ein Werkzeug namens Probe. Denken Sie an eine Probe wie an einen winzigen, superschnellen Detektiv, der jederzeit in die internen Notizen der KI hineinsehen und fragen kann: „An welche Zahl denkst du gerade?“
Sie testeten dies an einer Vielzahl von Modellen, von kleineren (wie Llama2-7B) bis hin zu den Giganten (wie GPT-4 und Qwen-72B). Sie ließen die Modelle Additionsaufgaben mit etwa 2 bis 14 Zahlen lösen.
Was sie fanden:
- Je größer, desto besser: Die Fähigkeit, diese mentale Mathematik zu betreiben, „emergiert“ (entsteht), wenn die Modelle größer werden. Kleine Modelle können zwei oder drei Zahlen addieren, aber sobald die Liste acht Zahlen erreicht, brechen sie zusammen. Die größten Modelle hingegen können Listen von 11 oder sogar 15 Zahlen mit überraschender Genauigkeit bewältigen.
- Die versteckte Notiz ist real: Als die Forscher ihre „Detektiv-Proben“ auf die verborgenen Schichten der KI anwandten, fanden sie heraus, dass die Modelle tatsächlich die laufenden Summen festhielten. Zum Beispiel: Nachdem die KI „17 + 24“ gelesen hatte, enthielt der interne Zustand des Modells eine Repräsentation von „41“, obwohl die KI das Wort „41“ noch nicht laut ausgesprochen hatte.
- Es ist nicht perfekt: Die schlechte Nachricht ist, dass dieser mentale Notizzettel nicht perfekt ist. Wenn die Liste der Zahlen länger wird, wird die „Notiz“ etwas verschwommen. Die Forscher fanden heraus, dass die KI die Zahl für die ersten Schritte perfekt halten kann, aber bis sie zur 15. Zahl gelangt, beginnt die interne Repräsentation an Details zu verlieren. Diese „verlustbehaftete“ (lossy) Kompression ist der Grund, warum selbst die klügsten Modelle manchmal die endgültige Antwort falsch angeben.
Wie die KI die Zahl aufbaut
Das Paper fand auch heraus, wie die KI diese Zahlen aufbaut, was überraschenderweise der menschlichen Arbeitsweise sehr ähnlich ist.
- Eine Ziffer nach der anderen: Die KI berechnet die ganze Zahl nicht auf einmal. Sie baut die Antwort Ziffer für Ziffer auf, beginnend von rechts (der Einerstelle), dann die Zehner, dann die Hunderter. Es ist wie das Addieren von Spalten auf Papier, nur dass es vollständig im Gehirn der KI geschieht.
- Die „flachen“ vs. „tiefen“ Schichten: Die KI hat viele Verarbeitungsschichten. Die Forscher fanden heraus, dass die ersten 10 Schichten wie der „Taschenrechner-Teil“ des Gehirns sind – sie führen nur die rohe Mathematik aus. Aber wenn die Information in die tieferen Schichten wandert (etwa ab Schicht 10 und darüber hinaus), beginnt die KI, den Kontext des Satzes einzumischen. Es ist, als würde der Taschenrechner durch das Gespräch um ihn herum abgelenkt werden. Dieses Vermischen ist das, was die „Verschwommenheit“ oder Fehler in der Endantwort verursacht.
- Linear, nicht magisch: Die KI berechnet die Mathematik nicht auf eine magische, alles-auf-einmal-Art. Sie verarbeitet die Liste in einer geraden Linie. Wenn Sie die Zahlen A, B, C und D haben, berechnet sie (A+B), nimmt dann dieses Ergebnis und addiert C, dann addiert sie D. Sie berechnet nicht (A+B) und (C+D) separat und kombiniert sie dann.
Das „Brücken“-Experiment
Um zu beweisen, dass die KI diese versteckten Notizen tatsächlich verwendet und nicht nur rät, führten die Forscher einen cleveren Trick durch. Sie bauten eine „Brücke“ in den Attention-Mechanismus der KI. Stellen Sie sich vor, die KI liest einen langen Satz und die Forscher blockieren sie daran, zurück auf den Anfang des Satzes zu schauen, sodass sie gezwungen ist, nur das Letzte zu betrachten, was sie gelesen hat.
Wenn die KI nur basierend auf dem ganzen Satz raten würde, würde diese Blockade sie komplett aus dem Konzept bringen. Aber die KI konnte die Matheaufgabe immer noch lösen, wenn sie die „Brücke“ (das aktuellste Pluszeichen) „sehen“ konnte. Dies bewies, dass die KI die laufende Summe von einem Schritt zum nächsten weiterträgt, genau wie ein Mensch es tun würde.
Das Fazit
Dieses Paper legt nahe, dass riesige KI-Modelle, wenn sie Mathematik betreiben, ohne ihren Rechenweg zu zeigen, tatsächlich die Arbeit leisten. Sie erstellen unsichtbare, interne „Klebezettel“, die die laufende Summe festhalten, während sie lesen.
Es gibt jedoch einen Haken. Diese Klebezettel sind nicht perfekt. Wenn die Liste der Zahlen länger wird, werden die Notizen etwas verschmiert und die KI beginnt Fehler zu machen. Die Forscher glauben, dass wir die KI viel besser in komplexen Denkaufgaben machen können – nicht nur in der Mathematik –, wenn wir herausfinden, wie wir diese internen Notizen klarer und weniger „verlustbehaftet“ gestalten können.
Vorerst wissen wir, dass die KI nicht magisch ist; sie ist nur sehr gut darin, eine mentale Bilanz zu ziehen, auch wenn diese Bilanz am Ende einer langen Liste manchmal etwas verschwommen wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.