🤖 AI

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

Dieses Paper stellt AIR vor, ein Framework, das die Fähigkeit von Multimodalen Großen Sprachmodellen zur adaptiven, durch Code ergänzten Interleaved-Argumentation für komplexe numerische Berechnungen durch eine aus drei Komponenten bestehende Lösung verbessert, welche die Konstruktion von Cold-Start-Daten, die Kuratierung von Datensätzen und eine durch gruppenbeschränkte Reinforcement Learning geleitete adaptive Tool-Aufrufstrategie umfasst, was zu signifikanten Leistungssteigerungen bei Evaluationsbenchmarks führt.

Ursprüngliche Autoren: Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Assistenten, der groß darin ist, Bilder anzusehen und Texte zu lesen, aber manchmal bei einem mathematischen Problem, das schwere Berechnungen erfordert, ins Stocken gerät. Wenn Sie diesen Assistenten bitten, ein komplexes Geometrieproblem mit einem Volumen zu lösen, versucht er die Mathematik vielleicht in seinem „Kopf“ (dem neuronalen Netzwerk) zu lösen und macht dabei einen Fehler, genau wie ein Mensch, der versucht, große Zahlen ohne Taschenrechner zu multiplizieren.

Das Paper stellt ein neues System namens AIR (Adaptive Interleaved Reasoning with Code) vor, das diesem Assistenten eine neue Superkraft lehrt: zu wissen, wann er aufhören muss zu denken und anfangen muss, ein Werkzeug zu benutzen.

So funktioniert AIR, aufgeschlüsselt in einfache Konzepte:

1. Die Kernidee: Die Analogie zum „menschlichen Taschenrechner“

Betrachten Sie die KI als einen Schüler, der eine Prüfung ablegt.

Der alte Weg: Der Schüler versucht, jede Aufgabe nur mit seinem Gehirn zu lösen. Wenn die Mathematik zu schwer ist, rät er oder liegt falsch.
Der AIR-Weg: Der Schüler lernt, dass er die Hand heben und nach einem Taschenrechner fragen kann, wenn eine Aufgabe zu knifflig wird. Er schreibt die Zahlen auf, drückt die Tasten, erhält das Ergebnis und schreibt dann die endgültige Antwort.
Der Clou: Die KI benutzt den Taschenrechner nicht für jede Frage. Sie lernt, adaptiv zu sein. Sie weiß: „Diese Frage ist einfach, das mache ich im Kopf“, und „Diese Frage ist schwer, ich muss einen Code schreiben, um sie zu lösen“.

2. Der Trainingsprozess: Eine zweistufig Reise

Das Paper erklärt, dass man einem Modell nicht einfach nur sagen kann, „benutze einen Taschenrechner“, und erwarten kann, dass es sofort funktioniert. Es benötigt einen spezifischen Trainingsplan:

Schritt 1: Der „Cold Start“ (Die Grundlagen lernen)
Bevor die KI lernen kann, eigenständig Werkzeuge zu benutzen, muss sie Beispiele dafür sehen, wie es gemacht wird. Die Forscher haben einen speziellen Datensatz erstellt, in dem sie schwierige mathematische Probleme genommen und der KI manuell gezeigt haben, wie man zwischen „Denken“ (Text) und „Rechnen“ (Schreiben von Python-Code) wechselt.

Analogie: Stellen Sie sich vor, ein Lehrer zeigt einem Schüler einige gelöste Beispiele, bei denen der Schüler für die schwierigen Teile einen Taschenrechner benutzt. Dies gibt dem Schüler eine grundlegende Vorlage, der er folgen kann.

Schritt 2: Reinforcement Learning (Die „Versuch und Irrtum“-Phase)
Sobald die KI die Grundlagen beherrscht, beginnt sie, auf eigene Faust zu üben. Hier geschieht die Magie. Die Forscher verwendeten ein spezielles Bewertungssystem (eine Belohnungsfunktion), um der KI beizubringen, wann sie das Werkzeug benutzen soll.

Das Problem: Wenn die KI den Taschenrechner zu oft benutzt, wird sie verwirrt und das Training bricht zusammen (wie ein Schüler, der sich weigert, selbst nachzudenken). Wenn sie ihn nie benutzt, macht sie weiterhin mathematische Fehler.
Die Lösung: Die Forscher entwickelten eine „Group-Constrained Reward“ (gruppenbeschränkte Belohnung). Stellen Sie sich einen Coach vor, der ein ganzes Team von Spielern beobachtet. Der Coach belohnt nicht nur den Spieler, der ein Tor schießt; er belohnt das Team dafür, dass die richtige Balance der Spieler, die Taschenrechner benutzen, besteht.
- Wenn die KI das Werkzeug zu oft benutzt, erhält sie eine niedrigere Punktzahl.
- Wenn die KI das Werkzeug gerade genug benutzt, um die richtige Antwort zu erhalten, erhält sie eine hohe Punktzahl.
- Dies hält die KI stabil und verhindert, dass sie bei der Werkzeugnutzung „durchdreht“.

3. Das Ergebnis: Schlauer und stabiler

Das Paper behauptet, dass die KI nach diesem Training:

Genauigkeit: Die KI wurde bei mathematischen Problemen signifikant besser, insbesondere bei jenen, die komplexe Berechnungen erforderten. Im Durchschnitt stiegen ihre Werte um etwa 6 Punkte, und für die spezifischen Probleme, bei denen sie das Werkzeug nutzte, verbesserte sie sich um fast 10 Punkte.
Zuverlässigkeit: Die KI nutzte das Werkzeug in über 95 % der Fälle erfolgreich, wenn sie sich entschied, es zu benutzen.
Stabilität: Die „Group-Constrained“-Methode verhinderte, dass die KI während des Trainings instabil wurde oder abstürzte, was ein häufiges Problem beim Lehren von KI zur Werkzeugnutzung ist.

Zusammenfassung

Kurz gesagt ist AIR eine Methode, die Multimodalen Large Language Models (KI, die sieht und liest) beibringt, wie ein menschlicher Problemlöser zu agieren: Sie durchdenkt ein Problem, erkennt, wenn die Mathematik zu schwer ist, schreibt ein kurzes Computerprogramm, um die Berechnung zu lösen, und vervollständigt dann die Antwort. Die entscheidende Innovation besteht darin, der KI beizubringen, dies automatisch und zum richtigen Zeitpunkt zu tun, ohne dass ein Mensch ihr sagen muss, wann sie zum Taschenrechner greifen soll.

Technisches Resümee: AIR: Adaptive Interleaved Reasoning with Code in Multimodal Large Language Models

Problemstellung

Während jüngste Fortschritte bei multimodalen Large Language Models (MLLMs) durch die Integration von Reinforcement Learning from Verifiable Rewards (RLVR) deren Denkfähigkeiten verbessert haben, konzentrieren sich bestehende Paradigmen primär auf die Werkzeugnutzung für visuelle Wahrnehmungsaufgaben (z. B. Rotation, Zoomen). Diese Ansätze stützen sich auf vordefinierte Heuristiken für visuelle Manipulationen und versäumen es, komplexe numerische Rechenprobleme zu adressieren. Aktuelle MLLMs verfügen oft nicht über die Fähigkeit, Python-Skripte während des textuellen Denkprozesses autonom aufzurufen, um komplexe mathematische Aufgaben zu bewältigen – eine Fähigkeit, die essenziell ist, um die Lücke zwischen multimodaler Deliberation und agentischer Ausführung zu schließen. Darüber hinaus führt das Training von Modellen für einen solchen adaptiven Werkzeugaufruf häufig zu Instabilitäten, einschließlich Modellkollaps, wenn die Werkzeugnutzung übermäßig oder unreguliert erfolgt.

Methodik

Das Paper schlägt AIR (Adaptive Interleaved Reasoning with Code) vor, ein Framework, das darauf ausgelegt ist, MLLMs durch ein zweistufiges Trainingsparadigma – Supervised Fine-Tuning (SFT) Cold-Start und Reinforcement Learning (RL) Enhancement – zu adaptiven, verschachtelten Denkfähigkeiten zu befähigen.

1. Zweistufige Cold-Start Datenerstellung

Um die Schwierigkeit der Aktivierung von verschachteltem Denken (interleaved reasoning) in kleineren Open-Source-Modellen zu überwinden, führen die Autoren eine entkoppelte, zweistufige Synthese-Pipeline für Daten ein:

Textuelle CoT-Generierung: Ein MLLM generiert initiale textuelle Chain-of-Thought (CoT) Denkpfade für komplexe Probleme.
Interleaved Rewriting: Ein LLM schreibt diese Pfade um, indem es numerische Berechnungskomponenten durch ausführbare Python-Code-Snippets ersetzt.
Verifizierung: Die resultierenden Daten werden in einer Sandbox-Umgebung streng verifiziert, um die Integrität der Code-Ausführung und die Genauigkeit der Ergebnisse sicherzustellen, bevor sie als Cold-Start-Daten verwendet werden.

2. RL-Datenfilterungsstrategien

Um sicherzustellen, dass die Trainingsdaten für die RL-Phase eine hohe Treue aufweisen, werden zwei unterschiedliche Filterungsstrategien eingesetzt:

Self-Sampled Strategy: Nutzt einen Multi-Turn-Konsensmechanismus, bei dem die eigenen Roll-outs des Kandidatenmodells die Eignung basierend auf der Pass@k-Metrik bestimmen. Dies ermöglicht eine iterative Re-Filterung, während sich das Modell verbessert.
Prior-Filtered Strategy: Nutzt hochkapazitive „Lehrer“-Modelle (z. B. GPT, Gemini), die als extrinsische Qualitätskontrolle fungieren und Datensätze danach labeln, ob sie für eine effektive Lösung den Aufruf eines Werkzeugs erfordern.

3. Adaptiver Werkzeugaufruf via Group-Constrained Reward

Die zentrale Innovation liegt in der RL-Trainingsphase, die den Group Relative Policy Optimization (GRPO) Algorithmus nutzt, welcher durch eine gruppenbeschränkte Belohnungsfunktion (group-constrained reward function) erweitert wurde.

Hybride Belohnungsstruktur: Die Gesamtbelohnung ( $R$ ) kombt eine Format-Belohnung ( $R_f$ ), eine Genauigkeits-Belohnung ( $R_{acc}$ ) und eine Code-integrierte Belohnung ( $R_{code}$ ).
Gruppenbeschränkungen: Im Gegensatz zu Standard-GRPO führt diese Methode Gruppenbeschränkungen bezüglich des Anteils an verschachtelten Denksequenzen ein. Die Belohnung für die Code-Nutzung ( $R_{code}$ ) wird basierend auf dem Anteil der Werkzeugaufruf-Sequenzen innerhalb einer Gruppe angepasst, differenziert danach, ob das Endergebnis korrekt ( $P_r$ ) oder inkorrekt ( $P_w$ ) ist.
Stabilitätsmechanismus: Diese Beschränkung verhindert, dass das Modell Werkzeuge übermäßig aufruft (was zu Entropie-Spitzen und Trainingskollaps führt), während sie gleichzeitig einen adaptiven Aufruf fördert. Sie entkoppelt die Code-Belohnung von der Genauigkeits-Belohnung und erkennt damit an, dass die Werkzeugnutzung ein Bestandteil der Denkungskette und nicht der alleinige Determinant des Erfolgs ist.

Zentrale Beiträge

Zweistufige Datenerstellungsmethodik: Eine Pipeline zur Synthese von Cold-Start-Daten, die code-augmentiertes, verschachteltes Denken unterstützt und somit die Hürde für die Generierung hochwertiger Trainings-Trajektorien senkt.
Datenfilterungsstrategien: Der Vorschlag von Self-Sampled und Prior-Filtered Strategien zur Kuratierung von verschachtelten Denkdaten, um Rauschen zu minimieren und eine stabile Policy-Optimierung zu gewährleisten.
Adaptive Strategie für den Werkzeugaufruf: Die Entwicklung einer GRPO-Variante mit Gruppenbeschränkungen, die es Modellen ermöglicht, die Notwendigkeit und den Zeitpunkt von Werkzeugaufrufen autonom zu bestimmen, während die langfristige Trainingsstabilität gewährleistet bleibt.

Experimentelle Ergebnisse

Experimente wurden unter Verwendung des Qwen2.5-VL-7B Modells über sechs mathematische Denk-Benchmarks (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista) durchgeführt.

Leistungssteigerungen: Nach dem RL-Training mit der gruppenbeschränkten Belohnung erzielte das AIR-Modell eine durchschnittliche Verbesserung von 6,1 Prozentpunkten (pp) über alle Benchmarks im Vergleich zum Baseline-Modell.
Spezifische Verbesserungen: Bemerkenswerte Gewinne umfassen +8,1 pp bei MathVista, +7,7 pp bei MathVerse und +9,9 pp bei WeMath.
Genauigkeit des verschachtelten Denkens: Die Genauigkeit speziell für die Proben mit verschachteltem Denken stieg um 9,9 pp.
Erfolgsrate der Werkzeugnutzung: Die Gesamterfolgsrate der Werkzeugnutzung lag über verschiedene Tool-Call-Ratios hinweg bei über 95 %.
Stabilität: Der Mechanismus der Gruppenbeschränkung verhinderte erfolgreich den Trainingskollaps, ein häufiges Problem in der agentischen RL, bei dem übermäßige Werkzeugnutzung zu Instabilität führt.

Bedeutung und Ansprüche

Das Paper behauptet, dass AIR einen bedeutenden Schritt nach vorn darstellt, um MLLMs zu befähigen, System 2 (langsames Denken)-Prozesse durchzuführen, indem sie spezialisierte Werkzeuge für rechenintensive Aufgaben autonom orchestrieren. Im Gegensatz zu früheren Arbeiten, die sich auf die visuelle Wahrnehmung (System 1) konzentrierten, adressiert AIR die kritische Lücke in der komplexen numerischen Berechnung.

Die Autoren behaupten, dass ihr Ansatz eine robuste Lösung für komplexes multimodales Denken bietet, indem er:

Die Generierung von Denkspuren von der Ausführung des Codes entkoppelt, was eine zuverlässigere Datenproduktion ermöglicht.
Das Langzeit-Agentic-RL-Training durch gruppenbeschränkte Belohnungen stabilisiert und so den Modellkollaps verhindert, der mit unregulierter Werkzeugnutzung einhergeht.
Demonstriert, dass der adaptive Werkzeugaufruf und nicht die fixe oder übermäßige Nutzung der Schlüssel zur Verbesserung der Leistung auf mathematischen Benchmarks ist.

Das Paper schließt bescheiden mit dem Hinweis, dass AIR zwar starke Ergebnisse erzielt, seine Leistung jedoch durch die inhärenten Coding- und Wahrnehmungsfähigkeiten des Basismodells begrenzt bleibt und zukünftige Arbeiten die Evaluierung über das mathematische Denken hinaus auf Bereiche wie Physik und Finanzen ausweiten sollten.