How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

1. Problemstellung

Moderne „Thinking LLMs" (wie DeepSeek-R1, GPT-5, Gemini 3) generieren vor der finalen Antwort einen ausführlichen Reasoning-Trace (Gedankengang). Während die Forschung sich bisher stark darauf konzentrierte, diese Reasoning-Traces durch Activation Steering (Aktivierungssteuerung) zu formen oder zu optimieren, bleibt unklar, wie die eigentlichen Antwort-Token den Reasoning-Trace während der Dekodierung lesen und integrieren.

Die zentrale Frage ist: Wie navigieren Antwort-Token durch den oft tausende Token langen Reasoning-Trace, um ein zuverlässiges Ergebnis zu produzieren? Insbesondere fehlt es an Verständnis dafür, wie das Modell bei der Antwortgenerierung Rauschen filtert und Schlüsselinformationen extrahiert. Dies ist entscheidend, da inkonsistente oder chaotische Lesemuster oft zu falschen Lösungen führen.

2. Methodik

A. Analyse des „Self-Reading"-Verhaltens

Die Autoren analysierten die Aufmerksamkeitsmechanismen (Attention Mechanisms) zwischen Antwort-Token und Reasoning-Token in mehreren Quantitative-Reasoning-Aufgaben (hauptsächlich GSM8K). Sie untersuchten drei fortschrittliche Thinking-LLMs (R1-Distill-Llama-8B, R1-Distill-Qwen-7B, Qwen3-4B-Thinking) in den mittleren bis späten Schichten des Modells.

Sie identifizierten ein benignes Self-Reading-Muster (eine „gute" Selbstleseweise), das stark mit korrekten Lösungen korreliert und durch zwei Hauptmerkmale gekennzeichnet ist:

1. Vorwärtsgleitender Aufmerksamkeits-Schwerpunkt (Forward Drift): Der Fokus der Antwort-Token verschiebt sich synchron mit der Generierung der Antwort progressiv von früheren zu späteren Positionen im Reasoning-Trace. Dies deutet auf eine deterministische Verfolgung eines gültigen Lösungspfads hin.
2. Konzentration auf semantische Anker (Semantic Anchor Concentration): Die Aufmerksamkeit konzentriert sich wiederholt auf Schlüsselstellen im Reasoning, wie Constraints (Randbedingungen), Lösungspläne, Reflexionen und Schlussfolgerungen, anstatt den gesamten Trace gleichmäßig zu scannen.

Im Gegensatz dazu zeigen inkorrekte Lösungen diffuse, unregelmäßige Aufmerksamkeitsmuster ohne klare Vorwärtsbewegung oder Fokussierung auf relevante Anker.

B. Die SRQ-Steuerungsmethode (Self-Reading Quality)

Basierend auf diesen Erkenntnissen entwickelten die Autoren eine training-freie Steuerungsmethode, die auf Self-Reading Quality (SRQ) Scores basiert. Das Ziel ist es, das Modell zu einem benignen Self-Reading-Verhalten zu lenken und unsichere, chaotische Muster zu unterdrücken.

Der SRQ-Score setzt sich aus zwei Dimensionen zusammen:

• Geometrische Dimension (Prozesskontrolle): Misst, wie konsistent der Aufmerksamkeits-Schwerpunkt entlang des Reasoning-Traces fortschreitet.
  • Metriken: Pearson-Korrelation zwischen Antwort- und Reasoning-Positionen, Abweichung von der Diagonalen, lokale Konsistenz des Vorwärtsschritts.
• Semantische Dimension (Inhaltsüberwachung): Misst, ob die Aufmerksamkeit auf hochwertige semantische Anker (korrekte Schritte) und nicht auf Rauschen oder falsche Pfade gerichtet ist.
  • Metriken: Verteilung der Aufmerksamkeit auf „gute" vs. „schlechte" Reasoning-Token, Fokus auf Constraints und Schlussfolgerungen.

C. Implementierung der Steuerung

1. Datenselektion: Aus einem Pool von Lösungen werden basierend auf den SRQ-Scores kontrastive Datensätze ausgewählt:
   • CSRQ+: Korrekte Lösungen mit hohem SRQ (benignes Muster).
   • ISRQ-: Falsche Lösungen mit niedrigem SRQ (chaotisches Muster).
2. Steering Vektoren: Es werden Aktivierungsvektoren (z. B. mittels CAA, Conceptor oder PCA-CAA) berechnet, die die Differenz zwischen diesen beiden Gruppen darstellen.
3. Inferenz: Während der Inferenz werden diese Vektoren zu den Aktivierungen der Antwort-Token (und optional der Reasoning-Token) addiert, um das Modell in Richtung des benignen Self-Reading-Zustands zu lenken.

3. Wichtige Beiträge

• Entdeckung eines neuen Phänomens: Die Identifizierung eines stabilen, strukturierten „Self-Reading"-Musters in Thinking LLMs, das als Verhaltenssignatur für interne Gewissheit (Internal Certainty) dient.
• Theoretische Einbettung: Die Interpretation dieses Musters im Rahmen der Metakognition (Nelson, 1990; Koriat, 1997), wobei Reasoning-Token die Objekt-Ebene und Antwort-Token die Meta-Ebene (Überwachung und Kontrolle) darstellen.
• SRQ-Steuerung: Entwicklung einer ersten training-freien Methode, die explizit die Qualität des Leseverhaltens der Antwort-Token steuert, anstatt nur den Inhalt des Reasonings zu ändern.
• Generalisierung: Nachweis, dass diese Signale über verschiedene Modelle und Datensätze hinweg robust sind.

4. Ergebnisse

Die Methode wurde auf mehreren Quantitative-Reasoning-Benchmarks (GSM8K, MATH500, SVAMP) und mit verschiedenen Modellen getestet:

• Leistungssteigerung: Die SRQ-gesteuerte Methode führte zu konsistenten Genauigkeitssteigerungen. Auf GSM8K wurden Verbesserungen von bis zu 2,6 % gegenüber den Basis-Modellen erzielt (z. B. R1-Distill-Llama-8B von 85,8 % auf 88,4 %).
• Kompatibilität: Die Methode funktioniert synergistisch mit bestehenden Steering-Techniken (CAA, Conceptor, PCA-CAA) und verbessert deren Ergebnisse weiter.
• Transferfähigkeit: Die auf GSM8K trainierten Vektoren transferierten erfolgreich auf SVAMP und AIME24–25, was zeigt, dass die Methode ein allgemeines, intrinsisches Lesemuster lernt und nicht nur überangepasst ist.
• Vertrauenswürdigkeit: Die gesteuerten Modelle zeigten nicht nur höhere Genauigkeit, sondern auch eine höhere Inferenz-Konfidenz, was die Hypothese stützt, dass benignes Self-Reading mit kognitiver Sicherheit korreliert.
• Ablationsstudie: Sowohl die geometrische als auch die semantische Komponente des SRQ-Scores sind notwendig; das Entfernen einer Komponente führt zu Leistungsabfällen.

5. Bedeutung und Fazit

Das Paper liefert einen tiefen Einblick in die interne Funktionsweise von Thinking LLMs. Es zeigt, dass die Art und Weise, wie ein Modell seine eigenen Gedankengänge „liest", ein kritischer Faktor für die Richtigkeit der Antwort ist.

• Neuer Steuerungsansatz: Statt nur den Reasoning-Trace zu optimieren, adressiert die SRQ-Methode direkt den Übergang vom Denken zur Antwort, indem sie sicherstellt, dass das Modell seine eigenen Beweise korrekt und sicher integriert.
• Interpretierbarkeit: Die Visualisierung der Aufmerksamkeitsmuster bietet ein neues Werkzeug zur Diagnose von Unsicherheit und kognitiver Inkonsistenz in LLMs.
• Praktische Anwendung: Da die Methode training-frei ist und auf existierenden Modellen funktioniert, bietet sie einen effizienten Weg, um die Zuverlässigkeit von Reasoning-Modellen in kritischen Anwendungen (Mathematik, Wissenschaft) zu erhöhen, ohne das Modell neu trainieren zu müssen.

Zusammenfassend demonstriert das Werk, dass die Förderung eines „benignen Self-Reading"-Verhaltens ein effektiver Hebel ist, um die interne Gewissheit von LLMs zu erhöhen und damit deren Leistung bei komplexen Quantitative-Reasoning-Aufgaben signifikant zu verbessern.