💬 NLP

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

Diese Arbeit führt den „Intention Collapse“ als Rahmenwerk zur Analyse der Schlussfolgerungsfähigkeit von Sprachmodellen ein, indem sie interne Zustände vor der Generierung mittels Entropie, effektiver Dimensionalität und Wiederherstellbarkeitsmetriken misst, und zeigt auf, dass Chain-of-Thought-Prompting heterogene interne Unsicherheitsregime induziert und dass latentes Wissen auch dann wiederherstellbar bleiben kann, wenn die endgültige verhaltensbezogene Genauigkeit nachlässt, insbesondere bei Multiple-Choice-Formaten.

Ursprüngliche Autoren: Patricio Vera

Veröffentlicht 2026-01-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Patricio Vera

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stehen kurz davor, eine Rede zu halten. Bevor Sie den Mund öffnen, summt Ihr Gehirn vor einer chaotischen Stürme aus Erinnerungen, halbfertigen Argumenten, Emotionen und potenziellen Wortwahlmöglichkeiten. Es ist eine reiche, unordentliche, hochdimensionale Wolke aus „Absicht“.

Aber wenn Sie schließlich sprechen, lassen Sie nicht die ganze Wolke frei. Sie wählen einen spezifischen Satz. Sie reduzieren diesen riesigen inneren Sturm auf eine einzelne, lineare Abfolge von Wörtern.

Diese Arbeit argumentiert, dass Large Language Models (LLMs) genau dasselbe tun. Die Autoren nennen diesen Prozess „Intention Collapse“ (Absichtszusammenbruch).

Hier ist eine Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien.

1. Die Kernidee: Der Moment „vor der Rede“

Die meisten Menschen betrachten die Antwort einer KI und urteilen anhand der endgültigen Wörter. Aber diese Arbeit sagt, dass wir darauf achten sollten, was innerhalb des „Gehirns“ der KI passiert, genau bevor sie das allererste Wort auswählt.

Stellen Sie es sich vor wie einen Fotografen, der ein Bild macht.

Die Szene: Die komplexe, 3D-Welt (der interne Zustand der KI).
Das Foto: Das flache, 2D-Bild (die Textausgabe).
Der Zusammenbruch: Der Moment, in dem der Verschluss auslöst. Informationen gehen verloren. Die 3D-Tiefe wird in 2D-Pixel abgeflacht.

Die Autoren wollten die „Szene“ (den internen Zustand) messen, um zu sehen, ob wir vorhersagen könnten, ob das „Foto“ (die Antwort) gut oder schlecht sein würde, und wie verschiedene Prompting-Techniken diese Szene verändern.

2. Die drei „Gesundheitschecks“ für den Geist der KI

Um diesen internen Zustand zu messen, entwickelten die Autoren drei einfache Metriken. Betrachten Sie diese als Vitalzeichen für die Absicht der KI:

Intention Entropie (Der „Verwirrungs“-Messgerät):
- Analogie: Stellen Sie sich vor, Sie stehen an einer Kreuzung. Wenn Sie genau wissen, welchen Weg Sie gehen sollen, ist Ihre „Entropie“ niedrig. Wenn Sie keine Ahnung haben und mit gleicher Wahrscheinlichkeit nach links, rechts oder geradeaus gehen könnten, ist Ihre Entropie hoch.
- In der KI: Dies misst, wie stark die Wahrscheinlichkeit der KI für das nächste Wort verteilt ist. Niedrige Entropie bedeutet, dass sie sich sehr sicher ist; hohe Entropie bedeutet, dass sie unsicher ist oder viele Optionen in Betracht zieht.
Effektive Dimensionalität (Der „Reichtums“-Messgerät):
- Analogie: Stellen Sie sich ein Gemälde vor. Ist es eine einfache Strichfigur (niedrige Dimensionalität) oder eine komplexe, detaillierte Landschaft mit vielen Bedeutungsebenen (hohe Dimensionalität)?
- In der KI: Dies misst, wie viel „Raum“ die internen Gedanken der KI einnehmen. Sind ihre Gedanken einfach und eng oder komplex und vielschichtig?
Wiederherstellbarkeit (Der „verstecktes Wissen“-Messgerät):
- Analogie: Stellen Sie sich einen Schüler vor, der die Antwort auf ein Matheproblem kennt, aber die falsche Zahl aufschreibt, weil er nervös wurde. Wenn Sie in seinen Kopf schauen könnten, würden Sie sehen, dass er es gewusst hat.
- In der KI: Die Forscher trainierten eine einfache „Sonde“ (einen Mini-Detektor), um den internen Zustand der KI zu untersuchen und zu erraten, ob die endgültige Antwort korrekt sein würde. Wenn die Sonde richtig erraten kann, bedeutet dies, dass die KI die richtigen Informationen intern hatte, auch wenn sie versagte, sie aufzuschreiben.

3. Das Experiment: Testen von „Chain-of-Thought“

„Chain-of-Thought“ (CoT) ist ein beliebter Trick, bei dem man einer KI sagt: „Denke Schritt für Schritt, bevor du antwortest.“ Alle gehen davon aus, dass dies die KI intelligenter macht. Die Forscher testeten dies an drei verschiedenen KI-Modellen (Mistral, LLaMA, Qwen) über drei Arten von Aufgaben (Mathematik, abstraktes Schlussfolgern und Mathewörterprobleme).

Sie verglichen drei Bedingungen:

Basislinie: Geben Sie einfach die Antwort.
CoT: Denken Sie Schritt für Schritt.
Babble: Schreiben Sie einen langen, umherschwafelnden Strom des Bewusstseins (um zu sehen, ob nur das Schreiben von mehr hilft oder ob das Denken hilft).

4. Die überraschenden Erkenntnisse

Erkenntnis 1: „Schritt-für-Schritt-Denken“ ist nicht immer besser.

Mathematik (Freie Antwort): CoT funktionierte großartig. Die Genauigkeit stieg signifikant an.
Abstraktes Schlussfolgern (Multiple Choice): CoT machte die Dinge tatsächlich schlechter. Die KI schnitt schlechter ab, wenn sie gezwungen wurde, „laut zu denken“, als wenn sie einfach eine direkte Antwort gab.
Die Kernaussage: Das Erzwingen der Verbalisierung der Schlussfolgerungen einer KI kann sie manchmal verwirren, insbesondere wenn sie aus einer Liste von Optionen (A, B, C, D) wählen muss.

Erkenntnis 2: Verschiedene KIs „denken“ unterschiedlich.
Bei Verwendung von CoT änderte sich die interne „Verwirrung“ (Entropie) für verschiedene Modelle unterschiedlich:

Mistral: Wurde sicherer (niedrigere Entropie). Es schränkte seinen Fokus ein.
LLaMA: Wurde unsicherer (höhere Entropie). Es öffnete seine Möglichkeiten.
Die Kernaussage: Es gibt nicht nur eine Art, wie „Schlussfolgern“ innerhalb einer KI aussieht. Das „Denken“ eines Modells sieht aus wie die „Verwirrung“ eines anderen Modells.

Erkenntnis 3: Die KI könnte die Antwort kennen, aber versagt, sie auszusprechen.
Dies ist der interessanteste Teil. In einigen Fällen (wie Qwen bei der Aufgabe zum abstrakten Schlussfolgern) zeigte der interne Zustand der KI eine hohe Wiederherstellbarkeit. Die „Sonde“ konnte leicht sehen, dass die KI die richtige Antwort kannte. Allerdings war die endgültige schriftliche Antwort der KI falsch.

Analogie: Es ist wie ein Fahrer, der die Straße perfekt kennt (hohes internes Wissen), aber versehentlich in der letzten Sekunde die falsche Richtung einschlägt (fehlgeschlagener Zusammenbruch).
Die Kernaussage: Das Problem liegt nicht immer darin, dass der KI Wissen fehlt. Manchmal liegt das Problem im „Zusammenbruch“ – der letzte Schritt, dieses Wissen in ein bestimmtes Format (wie einen Multiple-Choice-Buchstaben) umzuwandeln, ist der Ort, an dem der Fehler passiert.

Erkenntnis 4: Schwafeln ist nicht Denken.
Die „Babble“-Kontrolle (nur das Schreiben von viel Unsinn) erzeugte nicht die gleichen internen Veränderungen wie CoT. Dies beweist, dass CoT nicht nur darum geht, die Ausgabe länger zu machen; es verändert tatsächlich die interne Struktur der Gedanken der KI.

Zusammenfassung

Die Arbeit schlägt vor, dass wir aufhören sollten, KI-Antworten einfach als „richtig“ oder „falsch“ zu betrachten. Stattdessen sollten wir uns den Intention Collapse ansehen – den Moment, in dem die KI entscheidet zu sprechen.

Manchmal hilft es der KI, sich zu konzentrieren, wenn man sie bittet, „laut zu denken“ (niedrigere Entropie).
Manchmal führt es dazu, dass sie zu viel nachdenkt und verwirrt wird (höhere Entropie).
Manchmal kennt die KI die Wahrheit intern, versagt aber dabei, sie korrekt im erforderlichen Format auszudrücken.

Indem wir den „prä-sprachlichen“ Zustand messen, können wir besser verstehen, warum eine KI versagt, anstatt nur zu wissen, dass sie versagt hat.

Technischer Überblick: Intention Collapse: Intention-Level-Metriken für das Reasoning in Sprachmodellen

Problemstellung
Die Arbeit thematisiert die strukturelle Diskrepanz zwischen den reichen, hochdimensionalen internen Zuständen von Large Language Models (LLMs) und den diskreten, linearen Token-Folgen, die sie produzieren. Die Autoren formalisieren diese Viele-zu-Eins-Abbildung als Intention Collapse (Zusammenbruch der Intention): die irreversible Projektion von einem internen Intentionenraum $I$ (dem latenten Zustand vor der Generierung) in einen externen Sprachraum $L. Bestehende Techniken zur Verbesserung des Reasonings (z. B. Chain-of-Thought, Selbstverfeinerung) werden häufig ausschließlich anhand der endgültigen Genauigkeit bewertet, was verschleiert, wie diese Methoden den internen Zustand vor der Generierung umformen. Das Kernproblem ist der Mangel an einem einheitlichen Rahmen zur Messung der informationellen und geometrischen Eigenschaften des Zustands vor dem Collapse $I$ und zur Bestimmung, wann die Umformung von $I$ die Leistung verbessert oder verschlechtert, insbesondere über verschiedene Antwortformate hinweg.

Methodik
Die Autoren operationalisieren den Intention Collapse, indem sie den Intentionenzustand $I$ als die Sammlung der versteckten Repräsentationen an der letzten Prompt-Position definieren, unmittelbar bevor das erste Ausgabetoken ausgewählt wird. Sie schlagen drei modellagnostische, rechnerisch günstige Metriken vor, die auf $I$ berechnet werden:

Intentionen-Entropie ( $H_{int}(I)$ ): Die Shannon-Entropie der Next-Token-Verteilung zum Zeitpunkt vor dem Collapse, die die Konzentration oder Diffusion der unmittelbaren Fortsetzung des Modells misst.
Effektive Dimensionalität ( $d_{eff}(I)$ ): Das Partizipationsverhältnis der PCA-Eigenwerte über die versteckten Zustände vor dem Collapse, das die geometrische Reichhaltigkeit der Intentionsrepräsentation erfasst.
Wiederherstellbarkeit latenter Kenntnisse ($Recov(I; Z)$): Die AUROC (Area Under the Receiver Operating Characteristic Curve) linearer Proben, die auf $I$ trainiert wurden, um Task-Ergebnisse (z. B. Richtigkeit der Antwort) vorherzusagen, was die vor dem Collapse vorhandenen Informationen quantifiziert, die möglicherweise nicht im endgültigen Output ausgedrückt werden.

Experimentelles Design
Der Rahmen wird in einer $3 \times 3$ empirischen Studie evaluiert:

Modelle: Mistral-7B-Instruct, LLaMA-3.1-8B-Instruct und Qwen-2.5-7B-Instruct.
Benchmarks: GSM8K (Mathematik mit freier Antwort), ARC-Challenge (abstraktes Reasoning mit Multiple-Choice) und AQUA-RAT (Mathematik mit Multiple-Choice).
Inferenz-Regime: Baseline (direkte Antwort), Chain-of-Thought (CoT) und Babble (eine Kontrollgröße für die Ausführlichkeit, die einen nicht zusammenhängenden Stream-of-Consciousness-Text generiert).
Protokoll: $n=200$ Items pro Zelle; greedy Decoding ( $T=0$ ), um Effekte der Prompt-Konditionierung zu isolieren; Extraktion von $I$ streng vor der Generierung des ersten Tokens.

Wichtige Ergebnisse

Formatabhängige Wirksamkeit von CoT: CoT ist nicht universell vorteilhaft. Es führt zu großen Genauigkeitsgewinnen bei GSM8K (freie Antwort) über alle Modelle hinweg, verschlechtert die Leistung bei ARC-Challenge (Multiple-Choice) jedoch konsistent und liefert gemischte Ergebnisse bei AQUA-RAT. Dies deutet darauf hin, dass eine Änderung des Zustands vor dem Collapse keine zuverlässige endgültige diskrete Festlegung unter allen Antwortformaten garantiert.
Heterogene Entropie-Regime: CoT induziert im Vergleich zur Baseline unterschiedliche Entropieverschiebungen ( $\Delta H = H_{int}(CoT) - H_{int}(Base)$ ). Mistral weist unter CoT eine niedrigere Entropie vor dem Collapse auf ( $\Delta H < 0$ ), während LLaMA eine höhere Entropie vor dem Collapse aufweist ( $\Delta H > 0$ ). Dies unterstreicht die erhebliche Heterogenität darin, wie verschiedene Modellfamilien interne Unsicherheit während des Reasonings managen.
Dissoziation von Signal und Genauigkeit: Die Wiederherstellbarkeit ($Recov$) kann sich von der verhaltensbezogenen Genauigkeit trennen. In einigen Einstellungen (z. B. Qwen bei ARC-Challenge) bleibt die Probe-AUROC trotz verschlechterter CoT-Genauigkeit signifikant über dem Zufallswert. Dies zeigt, dass informative interne Signale in $I$ vorhanden sein können, aber nicht zuverlässig in korrekte diskrete Entscheidungen umgewandelt werden, insbesondere bei Multiple-Choice-Formaten.
Kontrolle der Ausführlichkeit: Die Babble-Kontrolle bestätigt, dass CoT-Effekte nicht lediglich auf die Ausgabelänge zurückzuführen sind; Babble repliziert nicht die unter CoT beobachteten Zusammenhänge zwischen Metriken und Leistung.

Bedeutung und Beiträge
Die Arbeit behauptet, dass der Intention Collapse eine vereinheitlichende Perspektive für das Reasoning über das Verhalten von LLMs bietet, indem sie diverse Inferenzzeit-Methoden als Interventionen an einem gemeinsamen Objekt ( $I$ ) neu rahmt. Wichtige Beiträge umfassen:

Konzeptionelle Brücke: Verbindung von Literatur zur Elicitation latenten Wissens, zur Angemessenheit vor der Generierung und zur Unsicherheitsschätzung durch die spezifische Grenze des Zustands vor dem Collapse.
Diagnostischer Nutzen: Demonstration, dass interne Trennbarkeit (Wiederherstellbarkeit) und Zuverlässigkeit der endgültigen Festlegung unterschiedliche Phänomene sind. Der Rahmen erklärt, warum Modelle die Antwort „wissen“ können (hohe $Recov$), aber aufgrund von formatbedingten Festlegungsfehlern scheitern, sie korrekt auszugeben (niedrige Genauigkeit).
Forschungsagenda: Vorschlag konkreter Richtungen für adaptives Reasoning, wie zustandsabhängige Decoding-Politiken (Anpassung des Samplings basierend auf $H_{int}$ ) und Early-Exit-Strategien (Verwendung von $Recov$, um unnötige Berechnungen zu vermeiden), wodurch der Intention Collapse zu einem praktischen Werkzeug zur Optimierung der Rechenleistung zur Testzeit wird.

Die Autoren halten einen bescheidenen Umfang ein und stellen fest, dass ihre Erkenntnisse korrelativ sind und auf textbasierte Benchmarks sowie spezifische Modellfamilien beschränkt sind. Sie betonen, dass der Intention Collapse eine strukturelle Analogie und keine Behauptung bewusster Intention in LLMs darstellt.

1. Die Kernidee: Der Moment „vor der Rede“

2. Die drei „Gesundheitschecks“ für den Geist der KI

3. Das Experiment: Testen von „Chain-of-Thought“

4. Die überraschenden Erkenntnisse

Zusammenfassung

Mehr davon