💬 NLP

Geometric Latent Reasoning Induces Shorter Generations in LLMs

Dieses Paper führt Geometric Latent Reasoning (GLR) ein, eine Methode, die das Schlussfolgern als geometrisches Pfadapproximationsproblem im Embedding-Raum formuliert und es LLMs ermöglicht, korrekte Antworten mit wesentlich kürzeren Generierungen zu erzielen, indem explizite frühe Reasoning-Schritte durch kontinuierliche latente Übergänge ersetzt werden.

Ursprüngliche Autoren: Shashi Kumar, Yacouba Kaloga, Petr Motlicek, Ina Kodrasi, Andrea Cavallaro

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shashi Kumar, Yacouba Kaloga, Petr Motlicek, Ina Kodrasi, Andrea Cavallaro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „übererklärende“ Roboter

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Matheaufgaben löst. Um die richtige Antwort zu finden, spricht der Roboter normalerweise seine Schritte laut durch, so wie ein Mensch, der laut denkt. Das nennt man „Chain-of-Thought“ (Gedankenkette).

Das Problem: Selbst bei einfachen Aufgaben fühlt sich der Roboter gezwungen, jeden einzelnen Schritt in ganzen Sätzen aufzuschreiben.
- Beispiel: Anstatt nur zu denken „5 plus 5 ist 10“, schreibt er: „Zuerst muss ich die Zahlen identifizieren. Die erste Zahl ist 5. Die zweite Zahl ist 5. Nun werde ich sie zusammenaddieren...“
Die Kosten: Das macht den Roboter langsam, teuer im Betrieb und er stößt oft an ein „Wortlimit“, bevor er die Antwort fertigstellen kann. Es ist, als würde man versuchen, ein Land zu durchqueren, aber gezwungen sein, jedes einzelne Bäumchen zu beschreiben, das man passiert, bevor man zur nächsten Meile weiterfahren darf.

Die Lösung: Die „Geheime Abkürzung“ (GLR)

Die Forscher, Shashi Kumar und sein Team, haben einen neuen Weg entwickelt, wie der Roboter denken kann: Geometric Latent Reasoning (GLR).

Anstatt den Roboter zu zwingen, jeden Gedanken in Worten auszudrücken, lassen sie ihn eine „geheime Abkürzung“ durch seinen internen Gehirnraum nehmen.

Die Analogie: Die Karte vs. die geführte Tour

Stellen Sie sich das Wissen des Roboters als eine riesige Stadtkarte vor.

Der alte Weg (Chain-of-Thought): Um von Punkt A (der Frage) zu Punkt B (der Antwort) zu gelangen, muss der Roboter jede einzelne Straße entlanglaufen und dabei jedes Gebäude beschreiben, das er sieht. Er folgt einem strengen, gepflasterten Pfad aus Worten.
Der neue Weg (GLR): Der Roboter lernt, über den ersten Teil der Reise zu „fliegen“ oder zu „teleportieren“. Er bewegt sich durch die Luft (den „Latent Space“) in einer geraden Linie und überspringt die unnötigen Details auf Straßenniveau. Er sagt nicht, was er denkt; er bewegt seinen internen Zustand einfach nur näher an die Antwort heran. Sobald er nah genug dran ist, landet er wieder und beginnt zu laufen (zu schreiben), um den Rest der Aufgabe zu erledigen.

Wie es funktioniert (Der „Magische Kopf“)

Die Forscher fügten dem Roboter einen kleinen, leichtgewichtigen „Navigationskopf“ hinzu.

Training: Sie zeigten dem Roboter tausende Beispiele, in denen er Probleme auf die alte Weise löste (indem er alles ausschrieb).
Lernen: Der Roboter lernte, dass der Pfad von der „Frage“ zur „Antwort“ wie eine spezifische Linie auf einer Karte aussieht. Er lernte, dass er entlang dieser Linie springen kann, ohne an jedem einzelnen Punkt anzuhalten.
Der Trick: Während des Tests macht der Roboter einige „stille Schritte“ (latente Schritte), bei denen er seine interne Position aktualisiert, ohne ein einziges Wort zu schreiben. Dann nimmt er das Schreiben wieder auf.

Das überraschende Ergebnis: Kürzere Antworten, gleiche Genauigkeit

Die spannendste Entdeckung in der Arbeit ist, dass der Roboter nicht angewiesen wurde, kurz zu fassen. Die Forscher haben ihn nicht dafür bestraft, zu viel zu schreiben. Sie haben ihm lediglich erlaubt, diese stillen Schritte zu nutzen.

Das Ergebnis: Als der Roboter diese stillen Schritte nutzte, lieferte er von Natur aus viel kürzere Antworten.
Warum? Weil er das redundante „Geschwafel“ übersprang. Er erkannte, dass er nicht sagen muss „Ich addiere diese Zahlen“, um das Ergebnis zu kennen; er kann einfach im Zustand des „Addiert-Habens“ sein.
Der Kompromiss: Es gibt eine Grenze. Wenn der Roboter zu viele stille Schritte macht, ohne sich durch Worte zu verifizieren, könnte er sich verirren (vom Pfad abkommen). Aber wenn er genau die richtige Anzahl an stillen Schritten macht (z. B. 10), löst er das Problem viel schneller und mit weniger Worten.

Realweltliche Analogie: Das GPS vs. der Reiseleiter

Standard-KI (CoT-SFT): Wie ein Reiseleiter, der darauf besteht, die Geschichte jedes einzelnen Ziegels in einer Mauer zu erklären, bevor man das Schloss sehen darf. Er ist gründlich, aber es dauert ewig.
GLR-KI: Wie ein GPS, das sofort die Route berechnet und einen an den langweiligen Teilen der Stadt vorbeiziehen lässt, um einen direkt vor den Toren des Schlosses abzusetzen. Es spart Zeit und Treibstoff (Rechenleistung), ohne dass man sich verliert.

Was die Arbeit tatsächlich herausgefunden hat

Effizienz: In Mathematiktests erreichten die GLR-Modelle die richtige Antwort mit signifikant weniger Wörtern (Tokens) als die Standardmodelle.
Budget-Ersparnis: Wenn man den Roboter auf eine kleine Anzahl von Wörtern begrenzt (ein „Budget“), löst der GLR-Roboter viel mehr Probleme korrekt, da er sein Wortkontingent nicht für offensichtliche Schritte verschwendet.
Keine magische Strafe: Der Roboter lieferte von Natur aus kürzere Antworten. Die Forscher mussten keine Regel programmieren, die besagt „sei kurz“. Die Geometrie der Abkürzung machte lange Erklärungen schlichtweg unnötig.

Zusammenfassung

Die Arbeit führt eine Methode namens Geometric Latent Reasoning ein. Sie ermöglicht es Large Language Models, für einige Schritte in einem kontinuierlichen, stillen Raum zu „denken“, bevor sie sprechen. Dies wirkt wie eine geometrische Abkürzung, die es dem Modell ermöglicht, redundante Erklärungen zu überspringen und die Antwort schneller und mit weniger Worten zu erreichen, während die hohe Genauigkeit beibehalten wird.

Technisches Resümee: Geometrisches latentes Schließen induziert kürzere Generationen in LLMs

Problemstellung

Große Sprachmodelle (LLMs) lösen komplexe Probleme derzeit durch die Generierung langer Ketten expliziter Reasoning-Token (z. B. Chain-of-Thought oder CoT). Obwohl dieser Ansatz effektiv ist, verursacht er einen erheblichen Rechenaufwand, reagiert empfindlich auf die Generierungslänge und erzwingt, dass Zwischenschritte der Argumentation in diskrete natürliche Sprache überführt werden. Diese Starrheit zwingt Modelle dazu, sich vorzeitig auf bestimmte Vokabular-Token festzulegen, was die eigentliche interne Berechnung potenziell verschleiern kann.

Während „latentes Schließen“ (latent reasoning) eine kontinuierliche Alternative bietet, indem es die Zwischenberechnung in kontinuierliche Repräsentationsräume verlagert, stehen bestehende Methoden vor grundlegenden Herausforderungen. Ansätze, die unbeschränkte verborgene Zustände (hidden states) an das Modell zurückführen, leiden unter Mismatch-Problemen im Embedding-Raum, während jene, die auf Hilfsmodule oder Wissensdestillation setzen, komplexe Trainingsabhängigkeiten und architektonische Reibungen einführen. Eine zentrale offene Herausforderung bleibt: die Bestimmung der optimalen Struktur für kontinuierliche Zwischenzustände, die mit der prätrainierten Geometrie des Modells übereinstimmen.

Methodik: Geometrisches latentes Schließen (GLR)

Die Autoren schlagen Geometrisches latentes Schließen (GLer) vor, welches latentes Schließen als ein geometrisches Pfad-Approximationsproblem innerhalb des prätrainierten Token-Embedding-Raums des Modells umformuliert.

Kernkonzept

Anstatt einen unbeschränkten latenten Raum zu lernen, hypothetisiert GLR, dass nützliche Zwischenzustände in den lokalen Nachbarschaften diskreter, durch Token induzierter Trajektorien existieren. Die Methode behandelt den standardmäßigen textuellen CoT als eine diskrete Trajektorie durch den Embedding-Raum und lernt, diese Übergänge unter Verwendung kontinuierlicher Vektoren zu approximieren.

Architektur und Training

Latenter Transitions-Head: Ein leichtgewichtiger linearer Layer ( $g_\phi$ ) wird dem Sprachmodell hinzugefügt. Er nimmt den aktuellen verborgenen Zustand ( $h_{i-1}$ ) und sagt einen kontinuierlichen Verschiebungsvektor ( $\Delta \hat{e}_i$ ) im Embedding-Raum voraus.
Trainingsziel: Das Modell wird mittels eines Zwei-Pass-Verfahrens auf textuellen CoT-Spuren trainiert:
- Erster Pass: Das Modell verarbeitet die ursprüngliche diskrete Sequenz, um exakte Embedding-Verschiebungen ( $\Delta e_i = e_i - e_{i-1}$ ) zwischen aufeinanderfolgenden Reasoning-Token zu sammeln.
- Zweiter Pass: Die diskreten Reasoning-Token werden durch kontinuierliche latente Zustände ersetzt, die durch Anwendung des Outputs des Transitions-Heads auf den vorherigen latenten Zustand generiert wurden.
- Loss-Funktion: Der Gesamtverlust kombiniert die Standard-Cross-Entropy (CE) auf den finalen Antwort-Token mit einem positionsdiskontierten Mean Squared Error (MSE) auf den latenten Transitionen. Der Diskontierungsfaktor ( $\gamma$ ) reduziert die Strafe für spätere Reasoning-Positionen, wodurch es dem Modell erlaubt, stärker von der ursprünglichen Textspur abzuweichen, während der Denkprozess fortschreitet. Entscheidend ist, dass keine Token-Ebene-CE auf die latent ersetzten Positionen angewendet wird, da diese Zustände nicht unabhängig verbalisierbar sein sollen.
Inferenz: Bei der Inferenz initiiert das Modell das Schließen mit einer festen Anzahl kontinuierlicher latenter Schritte ( $K$ ). Für jeden Schritt sagt der Transitions-Head eine Aktualisierung voraus, und das resultierende kontinuierliche Embedding wird an das Modell zurückgeführt. Nach $K$ Schritten setzt das Modell die standardmäßige autoregressive Token-Dekodierung fort, um die finale Antwort zu generieren.

Wichtige Beiträge

Geometrische Formulierung: Das Paper formuliert latentes Schließen als ein geometrisches Pfad-Approximationsproblem innerhalb des prätrainierten Token-Embedding-Raums des Modells und bietet damit eine strukturierte Alternative zum unbeschränkten Feedback von Hidden States.
GLR-Methode: Einführung einer Methode, die kontinuierliche Updates im Embedding-Raum aus textuellen CoT-Trajektorien unter Verwendung eines einfachen, positionsdiskontierten Transitions-Ziels lernt.
Emergente Längenreduktion: Demonstration, dass GLR ohne expliziten Längenstraf- oder Optimierungsziel wesentlich kürzere Generationen bei mathematischen Reasoning-Benchmarks induziert.
Genauigkeits-Längen-Tradeoff: Identifizierung eines steuerbaren Tradeoffs, der durch die Anzahl der latenten Schritte ( $K$ ) gesteuert wird, was einen neuen Mechanismus zur Ressourcenallokation während der Inferenz offenbart, um Rechenleistung zwischen kontinuierlichen latenten Updates und expliziter Textgenerierung aufzuteilen.

Experimentelle Ergebnisse

Die Autoren evaluierten GLR unter Verwendung von Qwen3-Modellen (0.6B und 1.7B) auf sechs mathematischen Reasoning-Benchmarks (GSM8K, MATH500, MultiArith, AMC23, OlympiadBench und SVAMP) und verglichen dies mit einer Standard-Chain-of-Thought-Supervised-Fine-Tuning (CoT-SFT) Baseline.

Leistung unter begrenztem Budget: Unter streng beschränkten Generierungsbudgets (z. B. $\le$ 256 Schritte) übertrifft GLR CoT-SFT signifikant. Beispielsweise erreichte CoT-SFT auf MATH500 mit einem 512-Schritt-Budget eine Genauigkeit von nahezu Null, während GLR-10 über 40 % der Probleme löste. Dies deutet darauf hin, dass latente Transitionen redundante explizite Reasoning-Präfixe ersetzen, was es dem Modell ermöglicht, die Dekodierung von einem fortgeschritteneren Reasoning-Zustand aus fortzusetzen.
Reduzierte Generierungslänge: Für korrekte Antworten benötigt GLR wesentlich weniger Gesamtschritte der Generierung als CoT-SFT. Auf MATH500 betrug die mediane Generierungslänge für CoT-SFT ~2.000 Token, während moderate latente Budgets (GLR-10, GLR-20) diese auf ~350 Schritte reduzierten. Diese Reduktion ist emergent und wurde nicht explizit über eine Längenstrafe optimiert.
Generalisierung: Die Reduktion redundanter Reasoning-Spuren wurde über verschiedene Benchmarks hinweg beobachtet, einschließlich einfacher Arithmetik (SVAMP), bei der GLR die medianen Generierungslängen von ~500–700 Token auf ~100 Schritte reduzierte.
Latente Dynamik: Eine Ablationsstudie mit $K=0$ (Deaktivierung des latenten Rollouts während der Inferenz bei Beibehaltung des GLR-trainierten Backbones) zeigte, dass das Modell zu langen expliziten Generationen zurückkehrte. Dies bestätigt, dass die Längenreduktion durch die Nutzung gelernter kontinuierlicher Verschiebungen während der Inferenz getrieben wird und nicht bloß durch das Trainingsrezept oder das Loss-Masking.
Nicht-Monotonie: Die Beziehung zwischen den latenten Schritten ( $K$ ) und der Genauigkeit ist nicht-monoton. Moderate Werte von $K$ liefern den besten Tradeoff, während übermäßige latente Schritte (z. B. $K=80$ oder $100$) die Genauigkeit aufgrund akkumulierter geometrischer Drift verringern können, bei der Fehler im Transitions-Head den latenten Zustand von der durch Token induzierten Reasoning-Trajektorie wegführen.

Bedeutung und Behauptungen

Das Paper behauptet, dass prätrainierte Token-Embedding-Räume nützliche Zwischen-Reasoning-Zustände jenseits diskreter Token unterstützen können. Durch das Ersetzen des frühen expliziten Reasonings durch kontinuierliche latente Schritte ermöglicht GLR es Modellen, korrekte Antworten mit wesentlich weniger Gesamtschritten der Generierung zu erreichen.

Die Autoren positionieren GLR als fundierte geometrische Basis für token-effizientes Schließen. Es legt einen neuen Tradeoff zwischen dem kontinuierlichen latenten Rechenbudget, der Ausgabelänge und der Genauigkeit offen und bietet einen einfachen Mechanismus, um die Kosten und die Form des Reasoning zur Testzeit zu steuern. Die Arbeit legt nahe, dass kontinuierliche Trajektorien als kompakte Zwischen-Reasoning-Zustände fungieren, die die oft notwendigen, aber wenig inhaltlichen diskreten Übergänge für lesbaren Text effektiv umgehen.