💬 NLP

Adaptive Latent Agentic Reasoning

Das Papier schlägt Adaptive Latent Agentic Reasoning (ALAR) vor, ein duales Framework, das LLM-Agenten optimiert, indem es kompakte latente Argumentation für Routine-Schritte nutzt und die explizite Chain-of-Thought für komplexe Entscheidungen reserviert, wodurch die Token-Generierung signifikant reduziert wird, während die Aufgaben-Genauigkeit beibehalten oder verbessert wird.

Ursprüngliche Autoren: Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dongwon Jung, Peng Shi, Yi Zhang, Junshan Zhang, Muhao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr klugen, aber übermäßig geschwätzigen persönlichen Assistenten ein, der Ihnen helfen soll, Probleme zu lösen.

Das Problem: Der „Überdenker“-Assistent
Derzeit sind die fortschrittlichsten KI-Assistenten (genannt Large Reasoning Models) wie Assistenten, die das Gefühl haben, vor jeder einzelnen Sache einen langen, detaillierten Tagebucheintrag schreiben zu müssen.

Szenario: Sie fragen: „Wie ist das Wetter?“
Aktuelle KI: „Okay, ich muss nachdenken. Zuerst sollte ich berücksichtigen, dass du nach dem Wetter fragst. Ich sollte bedenken, dass sich das Wetter ändert. Ich sollte mich daran erinnern, dass ich ein Werkzeug aufrufen muss. Ich werde nun einen Plan formulieren, um das Wetter-Werkzeug zu prüfen...“ (Schreibt 500 Wörter inneren Monolog).
Das Problem: Das ist unglaublich langsam und verschwendet viel digitalen Platz (Tokens). Für einfache Aufgaben ist dieses schwere, wortreiche „Laut-Denken“ unnötig. Aber für schwierige Aufgaben muss die KI tiefgründig nachdenken. Das aktuelle Problem ist, dass diese KIs für alles – egal ob eine einfache Frage oder ein komplexes Rätsel – dasselbe schwere, ausladende Denken verwenden.

Die Lösung: ALAR (Adaptive Latent Agentic Reasoning)
Das Paper stellt ein neues System namens ALAR vor. Betrachten Sie ALAR als die Methode, diesem Assistenten eine neue Superkraft beizubringen: Stilles Denken.
ALAR gibt dem Assistenten zwei Modi:

Der „Flüster“-Modus (Latent Reasoning): Für Routineaufgaben (wie das Prüfen des Wetters oder das Öffnen einer Tür) denkt der Assistent leise in seinem eigenen Kopf nach. Er schreibt nichts auf. Er verarbeitet einfach die Informationen und handelt. Dies ist schnell und verbraucht sehr wenig Platz.
Der „Sprach“-Modus (Explicit Reasoning): Wenn die Aufgabe wirklich schwer ist (wie das Lösen eines komplexen mathematischen Problems oder die Planung einer mehrtägigen Reise), wechselt der Assistent in den „Sprach“-Modus. Er schreibt seinen vollständigen, detaillierten Tagebucheintrag auf, um die Logik korrekt zu halten.

Wie es lernt: Der „Aktions“-Trick
Einer KI beizubringen, lautlos zu denken, ist knifflig, weil man ihre „stillen Gedanken“ nicht bewerten kann (da sie unsichtbar sind).

Die Methode des Papers (Action-Anchored Self-Distillation): Stellen Sie sich einen Meisterkoch (den Lehrer) vor, der jeden Schritt eines Rezepts aufschreibt. Dem Schüler (der KI) wird die Aufgabe gestellt, das Gericht zu kochen, aber ohne die Schritte aufzuschreiben.
Anstatt die Notizen des Schülers zu prüfen, kontrollieren die Forscher nur, ob das Endgericht gut schmeckt. Wenn der Schüler das gleiche köstliche Essen wie der Lehrer zubereitet, gehen die Forscher davon aus, dass das stille Denken des Schülers korrekt war.
Indem sie sich nur auf die Aktionen (das Endergebnis) konzentrieren, lernt die KI, das Richtige zu tun, ohne das „Warum“ aufschreiben zu müssen.

Der „Schlaue Wechsel“ (Adaptive Mode Selection)
Das System lernt auch, wann es den Modus wechselt.

Das Training: Die KI wird belohnt, wenn sie den „Stillen Modus“ verwendet, um die Antwort schnell zu finden. Aber wenn sie versucht, den „Stillen Modus“ bei einem schweren Problem anzuwenden und dabei scheitert, wird sie bestraft.
Das Ergebnis: Die KI lernt, ein Chamäleon zu sein. Sie nutzt das stille Denken für 80–90 % der einfachen Schritte (was massiv Zeit und Platz spart), aber wechselt automatisch zu lautem, detailliertem Denken, wenn sie an eine Grenze stößt.

Die Ergebnisse: Schneller und Schlauer
Die Forscher testeten dies bei zwei Hauptaufgaben: Suche (Antworten im Internet finden) und Werkzeugnutzung (Software-Tools ausführen, um Dinge zu erledigen).

Suche: Die KI verwendete 43,6 % weniger Wörter (Tokens), während sie dieselben oder bessere Antworten lieferte.
Werkzeugnutzung: Die KI verwendete sensationelle 84,6 % weniger Wörter, während sie tatsächlich mehr Antworten korrekt lieferte.

In einfachen Worten
Das Paper argumentt, dass wir nicht brauchen, dass unsere KI-Assistenten für jeden einzelnen Schritt „laut mit sich selbst sprechen“. Indem wir ihnen beibringen, für einfache Jobs leise zu denken und erst bei schwierigen Aufgaben laut zu werden, können wir sie viel schneller und effizienter machen, ohne ihre Intelligenz zu verlieren. Es ist, als würde man seinem Assistenten sagen: „Schreib kein Buch für jede kleine Aufgabe; erledige sie einfach. Aber wenn es ein großes Problem ist, nimm dir Zeit und schreib es auf.“

Technisches Resümee: Adaptive Latent Agentic Reasoning (ALAR)

1. Problemstellung

Große Reasoning-Modelle (LRMs) haben gezeigt, dass eine ausgedehnte Chain-of-Thought (CoT)-Argumentation die Leistung bei komplexen Aufgaben signifikant verbessert. Wenn dies jedoch auf LLM-Agenten angewendet wird, die in Multi-Turn-Interaktionsumgebungen (z. B. Suche, Werkzeugnutzung) agieren, führt dieses Verhalten zu erheblicher Ineffizienz. Aktuelle Agenten generieren bei jedem Entscheidungsschritt oft ausführliche textuelle Argumentationen und weisen die Argumentationsleistung gleichmäßig zu, unabhängig von der tatsächlichen Komplexität des jeweiligen Turns.

Dieses „Überdenken“ führt zu:

Token-Ineffizienz: Reasoning-Tokens sammeln sich über mehrere Turns hinweg im Kontextfenster an, was Latenz und Kosten erhöht.
Strukturelle Diskrepanz: Viele Agenten-Turns erfordern lediglich eine leichte interne Berechnung, um die nächste Aktion basierend auf externen Beobachtungen auszuwählen, produzieren jedoch dennoch vollständige explizite CoT-Spuren.
Beschränkungen bestehender Lösungen: Aktuelle Methoden zur Token-Kompression (z. B. Pruning, Längenbudgets) operieren innerhalb der expliziten CoT-Schnittstelle. Sie verkürzen den Text, eliminieren aber nicht die Notwendigkeit von textuellen Reasoning-Tokens, und adressieren somit nicht die strukturelle Ineffizienz, durch die für Routineentscheidungen überhaupt Text generiert werden muss.

2. Methodik: Adaptive Latent Agentic Reasoning (ALAR)

Die Autoren schlagen ALAR vor, ein Dual-Mode-Framework, das es Agenten ermöglicht, für Routine-Turns kompakte latente Argumentation zu nutzen und nur dann zu einer expliziten CoT zu eskalieren, wenn tieferes Nachdenken erforderlich ist.

2.1 Kernarchitektur

Dual-Mode-Policy: In jedem Turn $t$ $t$ sampelt der Agent einen Modus $m_t \in \{<LAT>, <THINK>\}$ $m_{t} \in {< L A T >, < T H I N K >}$ direkt aus seiner Policy.
- Latenter Modus ($$): Der Agent generiert eine Sequenz von $K$ kontinuierlichen Gedanken ( $z_t$ ) im Hidden-State-Raum anstelle von diskreten Tokens. Diese Gedanken werden autoregressiv über eine Projektionsschicht $f_\phi$ verarbeitet, bevor der Agent die Aktion auswählt.
- Expliziter Modus ($$): Der Agent generiert eine standardmäßige, variabel-längige textuelle CoT ( $c_t$ ).
Aktionsorientierte Argumentation: Im Gegensatz zu einstufiger Argumentation, bei der latente Gedanken zu einer finalen Antwort führen, ist die latente Argumentation von ALAR darauf ausgelegt, die Auswahl zwischenzeitlicher Aktionen in einer umgebungsgekoppelten Trajektorie zu unterstützen.

2.2 Trainingspipeline

Das Framework verwendet ein zweistufiges Optimierungsverfahren:

Stufe 1: Action-Anchored Self-Distillation (AASD)

Das Training latenter Argumentation ist schwierig, da kontinuierliche Hidden States nicht direkt durch variabel-längige textuelle CoTs überwacht werden können. AASD adresset dies durch:

Teacher-Student-Setup: Das Basis-LRM fungiert als Lehrer im expliziten Modus und als Schüler im latenten Modus.
Aktions-Verankerung (Action Anchoring): Anstatt die latenten Gedanken mit der textuellen CoT abzugleichen, wird der Student darauf trainiert, die nachfolgende Aktion des Lehrers zu reproduzieren. Die CoT-Spannen des Lehrers werden durch latente Blöcke in der Trajektorie des Studenten ersetzt.
Zielsetzung: Die Verlustfunktion maximiert die Log-Likelihood der nachfolgenden Anchor-Aktionen ( $a_t$ ) des Lehrers gegeben den Zustand ( $s_t$ ) und den latenten Block ( $z_t$ ). Dies ermöglicht es der Projektionsschicht $f_\phi$ , die optimale Trajektorie im Hidden-State-Raum zu entdecken, um die korrekte Aktion zu erzeugen, ohne durch die Struktur des Textes des Lehrers eingeschränkt zu sein.

Stufe 2: Adaptive Reasoning GRPO (AR-GRPO)

Um zu lernen, wann latente versus explizite Argumentation anzuwenden ist, führen die Autoren eine Reinforcement-Learning-Methode ein:

Mode Warmup: Ein kurzes Supervised Fine-Tuning (SFT) initialisiert die Policy, um beide Modi zu explorieren, da AASD die Tendenz hat, den Modell eher zum latenten Reasoning zu bewegen.
Asymmetrische Belohnung: Die Trajektorien-Belohnung $R(\tau)$ $R (τ)$ begünstigt latente Argumentation nur dann, wenn der Erfolg der Aufgabe erhalten bleibt:
- Wenn die Trajektorie korrekt ist ($EM=1$), steigt die Belohnung mit dem Anteil der latenten Turns ( $f(\tau)$ ).
- Wenn die Trajektorie inkorrekt ist, bestraft die Belohnung eine übermäßige Nutzung der latenten Argumentation.
Diversität und Längensteuerung: Ein Diversitäts-Bonus fördert die Exploration verschiedener Modus-Mischungen in der frühen Trainingsphase, während ein Längen-Skalierungsfaktor übermäßig lange explizite Argumentationssegmente bestraft.

3. Kernbeiträge

ALAR-Framework: Eine Dual-Mode-Reasoning-Architektur, die latente Argumentation mit adaptiver Moduswahl kombiniert und es Agenten ermöglicht, unnötige textuelle Argumentation zu umgehen und gleichzeitig komplexe Schritte durch explizite Deliberation beizubehalten.
Action-Anchored Self-Distillation (AASD): Eine neuartige Self-Distillation-Technik, die latente agentische Argumentation trainiert, ohne direkte Überwachung der latenten Zustände zu nutzen, indem sie umweltbezogene Aktionen als Überwachungsanker verwendet.
AR-GRPO: Eine Reinforcement-Learning-Methode, die die pro Turn stattfindende Moduswahl optimiert, indem sie effiziente latente Argumentation belohnt, sofern diese den Projekterfolg nicht gefährdet.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ALAR in den Domänen Agentic Search (6 Open-Domain-QA-Benchmarks) und Tool-Use (BFCL-Benchmark) im Vergleich zu Baselines wie O1-Pruner, ThinkPrune und ShorterBetter.

Search-Domäne (Search-R1 3B/7B):
- ALAR erreichte eine vergleichbare oder leicht verbesserte Exact Match (EM) Genauigkeit bei einer Reduktion der generierten Tokens um 22,1 % bis 43,6 % (Stufe 2).
- Stufe 1 (reine latente Phase) erreichte eine Token-Reduktion von bis zu 52,5 % bei wettbewerbsfähiger Genauigkeit.
- Textbasierte Kompressions-Baselines zeigten nur geringe Gewinne (4–10 % Reduktion), da die Basismodelle bereits relativ kompakte CoTs produzierten.
Tool-Use-Domäne (Qwen3-4B-Thinking):
- ALAR demonstrierte eine überlegene Leistung und verbesserte die durchschnittliche Genauigkeit von 86,1 % auf 89,2 %, während die Tokens um 84,6 % reduziert wurden.
- Dies verdeutlicht, dass das Basismodell übermäßig redundant war und ALAR die unnötige Textproduktion erfolgreich durch latente Berechnungen ersetzte.
Analyse des adaptiven Verhaltens:
- Aufgabenschwierigkeit: Das Modell nutzte explizite Argumentation häufiger bei schwierigeren Benchmarks (z. B. Bamboogle, 2Wiki) und verließ sich bei leichteren Datensätzen (z. B. NQ, TriviaQA) verstärkt auf latente Argumentation.
- Turn-Position: Explizite Argumentation konzentrierte sich auf den ersten Turn (initiale Planung), während nachfolgende Turns überwiegend latent waren.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ALAR den Genauigkeits-Effizienz-Trade-off von LLM-Agenten verbessert, indem es das Substrat der Argumentation grundlegend verändert, anstatt lediglich Text zu komprimieren.

Heterogenität der Argumentation: Die Ergebnisse stützen die Hypothese, dass die Anforderungen an agentische Argumentation heterogen sind; Routine-Turns erfordern oft nur ausreichende interne Berechnungen (latent), um eine Aktion auszuwählen, während nur spezifische Schritte (z. B. initiale Planung oder komplexe Dekomposition) eine explizite CoT benötigen.
Jenseits von Kompression: Durch die Ersetzung der Argumentations-Schnittstelle selbst erreicht ALAR Token-Reduktionen (bis zu 84,6 % im Tool-Use), die durch Methoden, die lediglich textuelle Spuren kürzen, nicht erreichbar sind.
Praktikabilität: Der Ansatz zeigt, dass LLM-Agenten signifikant effizienter gemacht werden können, ohne die Leistung zu opfern, sofern sie in der Lage sind, Ressourcen zwischen latenten und expliziten Modi dynamisch zu verteilen.

6. Limitationen

Die Autoren räumen mehrere Limitationen ein:

Geltungsbereich: Die Arbeit konzentriert sich auf agentische Aufgaben in externen Umgebungen (Suche, Tools) und evaluiert keine Single-Pass-Domänen wie Mathematik oder Programmierung, bei denen zusätzliche Argumentations-Tokens direkt mit der Genauigkeit der finalen Antwort korrelieren könnten.
Teacher-Bias: Die latente Policy erbt die Abdeckung und die Biases der erfolgreichen Teacher-Trajektorien, die in AASD verwendet wurden.
Interpretierbarkeit: Latente Argumentation reduziert die Transparenz der Zwischenschritte, was in Hochrisiko-Szenarien, in denen eine Begründung der Aktion erforderlich ist, unerwünscht sein kann.
Feste Granularität: Die aktuelle Implementierung verwendet eine feste latente Blocklänge ( $K=4$ ) und eine diskrete Moduswahl, was Raum für feinere Kontrolle in zukünftigen Arbeiten lässt.