💬 NLP

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning

InftyThink+ ist ein End-to-End-Reinforcement-Learning-Framework, das iteratives Denken durch strategische Zusammenfassung und modellgesteuerte Iterationsgrenzen optimiert und dadurch die Genauigkeit, Effizienz und Generalisierung im Vergleich zu herkömmlichen Long Chain-of-Thought-Methoden signifikant verbessert.

Ursprüngliche Autoren: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, unglaublich schwieriges Puzzle zu lösen. Sie haben einen brillanten Assistenten (die KI), der sehr klug ist, aber ein sehr kurzes Gedächtnis hat und ermüdet, wenn er versucht, zu viele Teile gleichzeitig im Kopf zu behalten.

Hier ist das Problem, das die Arbeit behandelt:

Der alte Weg (Vanilla Reasoning): Sie bitten den Assistenten, das ganze Puzzle auf einmal zu lösen. Er beginnt nachzudenken: „Schritt 1, Schritt 2, Schritt 3...“ und macht so weiter. Aber da sein Gedächtnis begrenzt ist, vergisst er schließlich, was er in Schritt 1 getan hat, während er gerade an Schritt 100 arbeitet. Außerdem wird es für den Computer immer langsamer und teurer, seine Gedanken zu verarbeiten, je länger er nachdenkt. Er könnte den Speicher erreichen, bevor er fertig ist, oder er könnte durch seine eigene lange Liste von Gedanken verwirrt werden.
Der neue Weg (InftyThink+): Anstatt eines langen, ununterbrochenen Gedankengangs unterteilt der Assistent das Puzzle in kleine Kapitel. Nach jedem paar Schritten hält er inne, schreibt eine Zusammenfassung dessen, was er bisher herausgefunden hat, und wirft dann die unordentlichen, detaillierten Notizen weg. Er beginnt dann das nächste Kapitel ausschließlich mit der Zusammenfassung und dem ursprünglichen Puzzle. Dies hält sein Gedächtnis frisch und den Computer schnell.

Die große Innovation: Dem Assistenten beibringen, wann er aufhören muss

Frühere Versuche dieser „Kapitel“-Methode waren wie ein Lehrer, der den Assistenten zwang, alle 500 Wörter aufzuhören, egal was war. Manchmal wurde der Assistent mitten in einer brillanten Idee unterbrochen; manchmal hörte er zu früh auf. Sie wussten auch nicht, wie man eine gute Zusammenfassung schreibt.

InftyThink+ nutzt Reinforcement Learning (RL), um dem Assistenten drei kritische Fähigkeiten durch Versuch und Irrtum beizubringen, ähnlich wie man einen Hund mit Leckerlis trainiert:

Wann man zusammenfasst: Soll ich jetzt aufhören, um eine Zusammenfassung zu schreiben, oder weitermachen? Die KI lernt, genau dann anzuhalten, wenn sie die wichtigsten Informationen erfasst hat, und nicht nur, wenn ein Timer abläuft.
Was man bewahrt: Welche Details sind wichtig für den nächsten Schritt? Die KI lernt, eine Zusammenfassung zu schreiben, die die entscheidenden Hinweise behält und den unnötigen Ballast wegwirft.
Wie man fortfährt: Wie knüpfe ich an der Zusammenfassung wieder an? Die KI lernt, ihre eigene Zusammenfassung zu lesen und die Logik nahtlos fortzuführen, ohne den Faden zu verlieren.

So funktioniert es (Der Trainingsprozess)

Die Arbeit beschreibt ein zweistufiges Trainingsrezept:

Der „Cold Start“ (Das Format lernen): Zuerlich lehrt man der KI die Grundregeln des Spiels. Man zeigt ihr Beispiele, wie man ein Puzzle erstellt, stoppt, eine Zusammenfassung schreibt und dann wieder fortfährt. Das ist so, als würde man einem Schüler zuerst das Format eines Aufsatzes beibringen, bevor man ihn bittet, ein Meisterwerk zu schreiben.
„Reinforcement Learning“ (Die Strategie lernen): Sobald die KI das Format beherrscht, lässt man sie frei.
- Wenn die KI das Puzzle korrekt löst, bekommt sie ein „Leckerli“ (Belohnung).
- Wenn sie das Problem schnell und effizient löst, bekommt sie ein zusätzliches Leckerli.
- Wenn sie eine schlechte Zusammenfassung schreibt oder zum falschen Zeitpunkt stoppt, bekommt sie kein Leckerli.
- Über tausende Versuche hinweg findet die KI die perfekte Strategie: „Ich sollte hier aufhören, eine Zusammenfassung wie diese schreiben und dann so weiter machen, um die meisten Leckerlis zu bekommen.“

Die Ergebnisse: Schneller, schlauer und stärker

Die Arbeit testete dies an schwierigen mathematischen Problemen (wie dem AIME-Wettbewerb). Hier ist das, was sie fanden:

Schlauer: Die KI wurde signifikant besser darin, Probleme zu lösen. Bei einem schwierigen Test stieg die Genauigkeit im Vergleich zur alten Methode um 21 %. Sie löste Probleme, die die alte Methode gar nicht erst abschließen konnte.
Schneller: Da die KI nicht versuchte, eine 100-seitige Geschichte im Kopf zu behalten, löste sie Probleme viel schneller. In einigen Fällen war sie 30 % bis 40 % schneller als die Standardmethode.
Effizienter: Auch das Training selbst war schneller. Der Computer musste nicht so viel schwere Arbeit leisten, um die KI zu lehren, was bedeutete, dass Forscher bessere Modelle mit weniger Energie und Zeit trainieren konnten.

Das Fazngeschäft (The Bottom Line)

Betrachten Sie InftyThink+ als die Lehre der KI, ein besserer Projektmanager zu werden. Anstatt zu versuchen, die gesamte Geschichte eines Projekts im Kopf zu behalten (was dazu führt, dass sie abstürzt oder Dinge vergisst), lernt sie, innezuhalten, einen klaren „Statusbericht“ (Zusammenfassung) zu schreiben und dann basierend auf diesem Bericht fortzufahren. Indem sie lernt, wann sie diesen Bericht schreibt und was sie hineinschreibt, wird die KI sowohl zu einem genialen Problemlöser als auch zu einem hocheffizienten Arbeiter.

Technisches Resümee: InftyThink+

1. Problemstellung

Große Reasoning-Modelle (LRMs) haben eine überlegene Leistung durch die Skalierung von Inference-Time Chain-of-Thought (CoT)-Reasoning demonstriert. Dieses Paradigma steht jedoch vor drei fundamentalen Barrieren, wenn die Reasoning-Spuren außergewöhnlich lang werden:

Quadratische Kosten: Der Self-Attention-Mechanismus in Transformern verursacht eine Rechenkomplexität von $O(L^2)$ , was sehr lange Reasoning-Spuren prohibitiv teuer macht.
Kontext-Limits: Das Reasoning wird durch das maximale Kontextfenster des Modells hart begrenzt. Wenn ein Problem eine Chain-of-Thought erfordert, die dieses Limit überschreitet, bricht die Generierung vorzeitig ab, wodurch komplexe Probleme unlösbar bleiben.
Lost-in-the-Middle: Mit zunehmender Länge der Reasoning-Spuren leiden Modelle unter einer degradierten Performance, bei der kritische Informationen aus dem frühen Stadium unzugänglich werden, selbst wenn das Kontextlimit nicht überschritten wird.

Bestehende Lösungen, wie iteratives Reasoning mit periodischer Zusammenfassung, versuchen diese Probleme zu mildern. Diese Methoden verlassen sich jedoch auf überwachtes Fine-Tuning (SFT) oder feste Heuristiken, um zu bestimmen, wann zusammengefasst wird, was erhalten bleibt und wie das Reasoning fortgesetzt wird. Diese Ansätze versäumen es, diese sequenziellen Entscheidungen zu optimieren, die langfristige Konsequenzen haben. Eine schlechte Zusammenfassung kann das nachfolgende Reasoning zum Scheitern bringen, während unnötige Iterationen Rechenleistung verschwenden. Die Arbeit argumentiert, dass diese Trade-offs eine Trajektorien-basierte Optimierung erfordern, die SFT nicht bieten kann.

2. Methodik: InftyThink+

Die Autoren schlagen InftyThink+ vor, ein End-to-End Reinforcement Learning (RL) Framework, das die gesamte iterative Reasoning-Trajektorie optimiert. Die Methode baut auf dem InftyThink-Paradigma auf, welches die Reasoning-Tiefe von der Kontextlänge entkoppelt, indem es das Reasoning in mehrere iterative Runden zerlegt, die durch explizite, vom Modell generierte Zusammenfassungen verbunden sind.

2.1 Das InftyThink-Paradigma

Im Gegensatz zum „Vanilla“-Paradigma, bei dem ein Modell eine einzige kontinuierliche lange CoT generiert, arbeitet InftyThink in Runden:

Iteration $i$ : Das Modell konditioniert auf die ursprüngliche Abfrage $q$ und die Zusammenfassung $s_{i-1}$ der vorherigen Iteration.
Generierung: Es generiert ein Reasoning-Segment $r_i$ und eine aktualisierte Zusammenfassung $s_i$ .
Terminierung: Der Prozess wiederholt sich, bis das Modell autonom entscheidet, ein finales Fazit $c$ anstelle einer Zusammenfassung zu generieren.
Begrenzter Kontext: Jede Iteration operiert innerhalb eines begrenzten Kontextfensters (Abfrage + neueste Zusammenfassung), was einen Kontext-Overflow verhindert und die Rechenkosten pro Schritt reduziert.

2.2 Zweistufiges Trainingsschema

InftyThink+ verwendet einen zweistufigen Trainingsprozess, um den Erwerb des Formats von der Strategieoptimierung zu trennen:

Cold-Start (Supervised Fine-Tuning):
- Ziel: Dem Modell das grundlegende InftyThink-Format beibringen (Generierung von Reasoning-Segmenten und Zusammenfassungen).
- Datentransformation: Bestehende Vanilla-Reasoning-Daten $(q, r, c)$ werden in iterative Instanzen transformiert. Die Reasoning-Spur $r$ wird basierend auf einem Token-Limit $\eta$ in Segmente $\{r_1, \dots, r_n\}$ unterteilt. Ein allgemeines LLM generiert Zusammenfassungen $\{s_1, \dots, s_{n-1}\}$ , die auf dem aktuellen Segment und der vorherigen Zusammenfassung konditionieren.
- Training: Das Modell wird auf diesen transformierten Instanzen feinjustiert, um syntaktisch valide iterative Ausgaben zu produzieren. Diese Phase optimiert nicht, wann zusammengefasst wird oder was erhalten bleibt; sie etabliert lediglich das prozedurale Format.
Reinforcement Learning (Trajektorien-basierte Optimierung):
- Ziel: Optimierung strategischer Entscheidungen (Zeitpunkt der Kompression, Inhalt der Zusammenfassungen, Fortsetzungsstrategien) über Trajektorien-basiertes Feedback.
- Rollout: Für eine Abfrage $q$ generiert das Modell eine Trajektorie $O_i = \{o_1, \dots, o_{n_i}\}$ , die aus mehreren Reasoning-Runden besteht. Der Rollout terminiert, wenn das Modell ein Fazit ausgibt, kein gültiges Format produziert oder ein maximales Iterationslimit $\phi$ erreicht.
- Reward-Design:
  - Aufgaben-Reward ( $R_{task}$ ): Binärer Reward basierend auf der Korrektheit der finalen Antwort.
  - Effizienz-Reward ( $R_{eff}$ ): Eine quadratische Decay-Funktion $1 - (\frac{n_i-1}{\phi})^2$ , die übermäßige Iterationen bestraft und das Modell dazu ermutigt, Probleme nach Möglichkeit in weniger Schritten zu lösen.
  - Gesamt-Reward: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$ . Diese multiplikative Formulierung stellt sicher, dass Effizienz nur für korrekte Lösungen belohnt wird.
- Policy-Optimierung: Die Autoren verwenden Group Relative Policy Optimization (GRPO). Entscheidend ist, dass Advantages auf der Trajektorien-Ebene berechnet und über alle Token einer Trajektorie geteilt werden. Dies stellt sicher, dass frühe Iterationen (z. B. eine hochwertige erste Zusammenfassung) ein positives Gradientensignal erhalten, wenn sie zu einer korrekten finalen Antwort beitragen, selbst wenn die Zusammenfassung selbst die Antwort nicht enthält.
- Stabilität: Das Framework nutzt IcePop, eine Token-Level Gradient Masking Technik, um die Trainingsinstabilität zu mildern, die durch Mismatch zwischen Inference- und Training-Engines entsteht.

3. Kernbeiträge

End-to-End RL für iteratives Reasoning: Die Arbeit führt das erste Framework ein, das Reinforcement Learning direkt auf das iterative Reasoning-Paradigma anwendet, was es dem Modell ermöglicht, optimale Strategien für die Zusammenfassung und Fortsetzung zu lernen, anstatt sich auf feste Heuristiken oder Imitation zu verlassen.
InftyThink+ Framework: Ein vollständiges Trainingsrezept bestehend aus:
- Einer Cold-Start-Phase zur Etablierung des iterativen Formats.
- Trajektorien-basierter Optimierung mit geteilten Advantages, um frühen Entscheidungen Credit zu geben.
- Effizienz-bewusstem Reward-Shaping, um die Balance zwischen Genauigkeit und Inference-Kosten zu halten.
Empirische Validierung: Umfangreiche Experimente zeigen, dass InftyThink+ sowohl SFT-basiertes iteratives Reasoning als auch Standard-Long-Context RL-Baselines übertrifft.

4. Experimentelle Ergebnisse

Experimente wurden auf DeepSeek-R1-Distill-Qwen-1.5B und Qwen3-4B-Base durchgeführt.

Verbesserungen der Genauigkeit:
- Auf AIME24 verbesserte InftyThink+ die Genauigkeit im Vergleich zum Baseline um 21% und übertraf konventionelles Long-CoT RL deutlich (ein zusätzlicher Gewinn von 9% gegenüber Standard-RL).
- Auf Out-of-Distribution Benchmarks wie GPQA Diamond erreichte es eine Genauigkeitsverbesserung von 5% gegenüber der Baseline und einen Gewinn von 4% gegenüber Vanilla-Ansätzen.
Effizienzgewinne:
- Inference-Latenz: Auf AIME25 reduzierte InftyThink+ die Reasoning-Latenz um 32,8% im Vergleich zum Vanilla-Ansatz.
- Trainingsgeschwindigkeit: Das Framework lieferte eine 18,2%ige Beschleunigung der RL-Trainingszeit aufgrund des reduzierten Rechenaufwands pro Schritt.
Generalisierung: Die Methode generalisierte gut auf größere Modelle (Qwen3-4B) und Out-of-Distribution-Aufgaben, einschließlich Code und wissenschaftlichem Reasoning.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass Trajektorien-basierte Optimierung essenziell für effektives iteratives Reasoning ist. Die zentrale Erkenntnis ist, dass die Effektivität von iterativem Reasoning nicht aus dem Format selbst resultiert, sondern aus der Fähigkeit des Modells, zu jedem Schritt optimale strategische Entscheidungen zu treffen (wann komprimieren, was bewahren, wie fortfahren).

Durch die Trennung von Format-Lernen (via SFT) und Strategie-Optimierung (via RL) ermöglicht InftyThink+ Modellen das Erlernen adaptiver Verhaltensweisen, die:

Reasoning-Tiefe von der Kontextlänge entkoppeln: Dies erlaubt unbegrenztes Reasoning bei gleichzeitig gebundenen Rechenkosten.
Den Accuracy-Efficiency-Trade-off optimieren: Durch Effizienz-bewusste Rewards lernt das Modell, das Reasoning früher zu terminieren, ohne die Genauigkeit zu opfern.
Training-Stabilität und Geschwindigkeit verbessern: Durch die Reduzierung der quadratischen Komplexität der Attention während der RL-Rollouts.

Die Autoren positionieren InftyThink+ als einen bedeutenden Schritt hin zu skalierbarem, effizientem und effektivem Long-Horizon-Reasoning in großen Sprachmodellen, das über die Grenzen statischer Kontextfenster und heuristikbasierter Kompression hinausgeht.