🤖 AI

TMAS: Scaling Test-Time Compute via Multi-Agent Synergy

Dieser Artikel stellt TMAS vor, ein Multi-Agenten-Synergie-Framework, das die Skalierung der Rechenleistung zur Laufzeit für große Sprachmodelle verbessert, indem es hierarchische Speicher für strukturierte kollaborative Zusammenarbeit über verschiedene Trajektorien hinweg sowie ein hybrides Belohnungs-Verstärkungslernschema zur effektiven Balance zwischen Exploration und Exploitation bei推理-Aufgaben nutzt.

Ursprüngliche Autoren: George Wu, Nan Jing, Qing Yi, Chuan Hao, Ming Yang, Feng Chang, Yuan Wei, Jian Yang, Ran Tao, Bryan Dai

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: George Wu, Nan Jing, Qing Yi, Chuan Hao, Ming Yang, Feng Chang, Yuan Wei, Jian Yang, Ran Tao, Bryan Dai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein unglaublich schwieriges Rätsel zu lösen, wie eine komplexe mathematische Aufgabe oder ein kniffliges Logikrätsel. Sie haben einen sehr klugen Assistenten (eine KI), der versuchen kann, es zu lösen.

Der alte Weg: Der einsame Wolf gegen die Masse
Früher, wenn die KI feststeckte, forderten die Forscher sie einfach auf, „intensiver nachzudenken" oder es „noch einmal zu versuchen".

Der einsame Wolf: Die KI würde einfach weiter mit sich selbst sprechen und eine lange Gedankenkette schreiben. Manchmal geriet sie in eine Schleife und wiederholte denselben Fehler immer wieder.
Die Masse: Andere Methoden ließen die KI viele verschiedene Antworten gleichzeitig generieren, die beliebteste auswählen oder eine Version eine andere überprüfen lassen. Doch diese Versionen arbeiteten oft in Silos. Wenn eine Version einen brillanten Trick fand, wussten die anderen nichts davon. Wenn eine Version in eine Sackgasse geriet, wussten die anderen nicht, diesen Weg zu vermeiden. Sie waren wie eine Gruppe von Menschen in einem Raum, die alle verschiedene Ideen riefen, aber niemand hörte wirklich zu oder führte ein gemeinsames Notizbuch.

Der neue Weg: TMAS (Das Team mit einem gemeinsamen Gehirn)
Die Studie stellt TMAS (Test-time Multi-Agent Synergy) vor. Betrachten Sie dies nicht als eine KI, sondern als ein spezialisiertes Team, das mit einem gemeinsamen Speichersystem zusammenarbeitet.

So funktioniert TMAS, anhand einer einfachen Analogie:

1. Das Team von Spezialisten

Anstatt dass eine KI alles erledigt, teilt TMAS die Arbeit unter fünf spezifischen „Agenten" (Teammitgliedern) auf:

Der Löser: Versucht, Antworten zu finden.
Der Prüfer: Überprüft die Arbeit des Löser, um Fehler zu finden.
Der Zusammenfasser: Nimmt die Notizen des Prüfers und verwandelt sie in eine klare „gelernte Lektion".
Der Erfahrungsbewahrer: Dies ist entscheidend. Er betrachtet die Lektionen und schreibt sie in ein „Niedrig-Niveau-Notizbuch". Dieses Notizbuch enthält spezifische, konkrete Fakten wie: „Hey, wir haben versucht, diesen Stein vertikal zu legen, und es ist gescheitert. Mach das nicht noch einmal," oder „Wir haben bewiesen, dass diese spezifische Zahl 3 ist, also können wir diese Tatsache später verwenden."
Der Strategie-Guide: Dieser Agent schreibt in eine „Hoch-Niveau-Karte". Diese Karte listet keine spezifischen Fakten auf; sie listet Ansätze auf. Sie sagt: „Wir haben bereits versucht, dies mit Algebra zu lösen. Wir haben auch versucht, Geometrie zu verwenden. Verschwenden Sie keine Zeit damit, diese erneut zu versuchen; versuchen Sie etwas völlig Neues."

2. Der iterative Prozess (Die Schleife)

Das Team arbeitet in Runden:

Erkunden: Der Löser generiert mehrere verschiedene Versuche für das Problem.
Überprüfen: Die Prüfer bewerten sie.
Lernen: Der Erfahrungsbewahrer und der Strategie-Guide aktualisieren ihre Notizbücher und Karten basierend auf dem, was passiert ist.
Verfeinern: Die nächste Runde von Lösern liest die Notizbücher und Karten. Sie nutzen das „Niedrig-Niveau-Notizbuch", um vergangene spezifische Fehler zu vermeiden, und nutzen die „Hoch-Niveau-Karte", um sicherzustellen, dass sie nicht einfach alte Strategien wiederholen.

3. Die „Hybride Belohnung" (Der Anreiz des Trainers)

Um die KI zu lehren, wie sie dieses Team effektiv nutzt, schufen die Forscher ein spezielles Trainingssystem (Bestärkendes Lernen). Stellen Sie sich einen Trainer vor, der dem Team drei Arten von Belohnungen gibt:

Belohnung 1 (Es richtig machen): Wenn Sie das Rätsel lösen, erhalten Sie einen Punkt. (Grundlegende Fähigkeit).
Belohnung 2 (Das Notizbuch nutzen): Wenn Sie das Rätsel lösen, speziell weil Sie eine Tatsache aus dem „Niedrig-Niveau-Notizbuch" verwendet haben, erhalten Sie einen Bonus. Dies lehrt die KI, das gemeinsame Gedächtnis tatsächlich zu lesen und ihm zu vertrauen, anstatt es einfach zu ignorieren.
Belohnung 3 (Kreativ sein): Wenn Sie das Rätsel mit einer neuen Strategie lösen, die nicht auf der „Hoch-Niveau-Karte" steht, erhalten Sie einen Bonus. Dies verhindert, dass das Team faul wird und einfach dieselben alten Tricks wiederholt. Wenn Sie einfach eine alte Strategie kopieren und einfügen, werden Sie bestraft.

Die Ergebnisse

Die Studie testete dies an sehr schwierigen mathematischen Benchmarks (wie der Internationalen Mathematik-Olympiade).

Die Erkenntnis: Je mehr Zeit das Team zum Nachdenken hat (mehr „Iterationen"), desto intelligenter wird TMAS kontinuierlich. Andere Methoden neigen dazu, an eine Wand zu stoßen, wo sie aufhören, sich zu verbessern, oder sogar beginnen, mehr Fehler zu machen, weil sie durch ihre eigene Geschichte verwirrt werden.
Die Analogie: Es ist wie der Unterschied zwischen einem Schüler, der einfach ein Lehrbuch immer wieder durchliest (und müde und verwirrt wird), und einem Schüler, der einen Tutor, eine Lerngruppe und einen gemeinsamen Satz von Karteikarten hat. Der Schüler mit dem System lernt schneller, vermeidet die Wiederholung von Fehlern und versucht neue Winkel, wenn er feststeckt.

Zusammenfassung:
TMAS verwandelt eine einzelne KI in ein koordiniertes Team mit einem gemeinsamen Gedächtnis. Es zwingt die KI, spezifische Fakten zu merken (Erfahrungsbank) und zu verfolgen, welche großen Ideen bereits gescheitert sind (Leitfadenbank). Indem die KI trainiert wird, die Nutzung dieser Erinnerungen zu schätzen und neue Wege zu versuchen, kann sie viel schwierigere Probleme lösen als zuvor, indem sie ihre „Denkzeit" effektiv hochskaliert.

Technische Zusammenfassung: TMAS – Skalierung von Test-Time Compute durch Multi-Agenten-Synergie

1. Problemstellung

Test-Time Scaling (TTS) hat sich als Paradigma zur Verbesserung der Schlussfolgerungsfähigkeiten von Large Language Models (LLMs) etabliert, indem während der Inferenz zusätzliche Rechenleistung bereitgestellt wird. Während frühe Ansätze sich auf die Erweiterung einzelner Generationspfade (z. B. Chain-of-Thought) oder die Aggregation paralleler, unabhängiger Lösungen (z. B. Self-Consistency) konzentrierten, versuchen neuere strukturierte Methoden, Schlussfolgerungen über mehrere Pfade und Verfeinerungsrunden hinweg zu organisieren.

Bestehende strukturierte TTS-Methoden stoßen jedoch bei der Balance zwischen Exploration (Ausprobieren verschiedener Lösungspfade) und Exploitation (Verfeinerung vielversprechender Richtungen) auf erhebliche Grenzen:

Schwache Koordination: Methoden zur Pfadaggregation verlassen sich oft auf verrauschte historische Informationen, ohne explizit zu filtern, was zu behalten ist, was zu einer suboptimalen Wiederverwendung von Signalen führt.
Unzureichende Zusammenarbeit: Verify-Refine-Systeme führen explizites Feedback ein, lassen jedoch oft verschiedene Pfade schwach gekoppelt, wodurch sie keine wiederverwendbaren Zwischenergebnisse oder lokales Feedback über Versuche hinweg teilen können.
Speichergranularität: Aktuelle Ansätze unterscheiden nicht zwischen zuverlässigen, niedrigstufigen Zwischenergebnissen (lokale Signale) und hochstufigen strategischen Erkenntnissen (globale Muster), was eine effektive Informationsweitergabe einschränkt.

Die Kernherausforderung besteht darin, ein Framework zu entwerfen, das die Zusammenarbeit mehrerer Agenten explizit koordiniert, ein hierarchisches Gedächtnis verwaltet, um lokale Erfahrungen von globaler Strategie zu trennen, und das Modell so ausrichtet, dass es diese Struktur effektiv nutzt, ohne in suboptimalen Mustern stecken zu bleiben.

2. Methodik: Das TMAS-Framework

Die Autoren schlagen TMAS (Test-time compute via Multi-Agent Synergy) vor, ein Framework, das die Inferenz als kollaborativen Prozess spezialisierter Agenten organisiert. Das System arbeitet iterativ und balanciert parallele Exploration mit sequenzieller Exploitation.

2.1. Multi-Agenten-Architektur

TMAS setzt fünf spezialisierte Agenten ein, um die Inferenzpipeline zu verwalten:

Solution Agent ( $A_{sol}$ ): Generiert $N$ Kandidaten-Lösungspfade parallel. Er verwendet eine $\epsilon$ -greedy-Strategie: Mit einer Wahrscheinlichkeit von $1-\epsilon$ nutzt er angesammelte Erfahrungen und vorherige Rollouts aus; mit einer Wahrscheinlichkeit von $\epsilon$ erkundet er unter Anleitung übergeordneter Richtlinien, um Redundanz zu vermeiden.
Verification Agent ( $A_{ver}$ ): Führt $M$ unabhängige Verifizierungsdurchläufe für jeden Kandidaten durch und liefert analytisches Feedback sowie skalare Bewertungen (Korrektheit, teilweise Korrektheit oder Fehler).
Summary Agent ( $A_{sum}$ ): Fasst Verifizierungsergebnisse zu prägnanten Zusammenfassungen auf Rollout-Ebene zusammen und hebt validierte Schritte und logische Mängel hervor.
Experience Agent ( $A_{exp}$ ): Extrahiert niedrigstufige, wiederverwendbare Signale aus den aktuellen Rollouts, um die Experience Bank zu aktualisieren. Dies umfasst verifizierte Zwischenergebnisse, konkrete Fähigkeiten und spezifische Heuristiken zur Fehlervermeidung.
Guideline Agent ( $A_{guide}$ ): Abstrahiert hochstufige strategische Ansätze aus parallelen Rollouts, um die Guideline Bank zu aktualisieren. Dies erfasst globale Lösungsrichtungen und strukturelle Erkenntnisse, um nachfolgende Agenten von zuvor versuchten (und gescheiterten) Mustern fernzuhalten.

2.2. Hierarchisches Speichermanagement

TMAS führt zwei unterschiedliche Speicherbanken ein, um einen strukturierten Informationsfluss zu ermöglichen:

Experience Bank: Speichert konkrete, pfadspezifische Schlussfolgerungssignale (z. B. „verifizierte Anker $T(2)=3$ "). Diese werden genutzt, um lokale Schlussfolgerungen zu verfeinern und die Wiederholung spezifischer Fehler zu vermeiden.
Guideline Bank: Speichert hochstufige strategische Protokolle (z. B. „versuchte Induktion mit Teilungsargument"). Diese dienen dazu, Vielfalt zu erzwingen und sicherzustellen, dass neue Rollouts nicht einfach zuvor erkundete strategische Rahmenwerke wiederholen.

2.3. Hybride Belohnungs-Verstärkungslernung

Um das Modell mit dem TMAS-Kollaborationsprozess in Einklang zu bringen, entwerfen die Autoren ein Hybrides Belohnungssystem basierend auf GRPO (Group Relative Policy Optimization). Im Gegensatz zu herkömmlichem RL, das nur auf endgültige Korrektheit optimiert, umfasst dieses System drei komplementäre Ziele:

Standard-Korrektheits-Belohnung: Erhält die grundlegende Schlussfolgerungsfähigkeit (Belohnung +1 für korrekte Antworten, -1 sonst).
Experience-Nutzung-Belohnung: Ermutigt das Modell, die Experience Bank effektiv zu nutzen. Wenn ein Problem ohne die Bank schwer zu lösen, aber mit ihr lösbar ist, erhält das Modell einen Bonus, der proportional zur Schwierigkeit des Problems ohne die Bank ist. Dies verhindert, dass die Bank als passiver Kontext behandelt wird.
Belohnung für die Exploration neuer Strategien: Ermutigt die Entdeckung neuer hochstufiger Lösungsstrategien. Rollouts, die einer Richtlinie folgen, die nicht von der bestehenden Bank abgedeckt wird, erhalten eine höhere Belohnung, während solche, die bekannte Strategien wiederholen, bestraft werden, selbst wenn sie korrekt sind.

3. Hauptbeiträge

TMAS-Framework: Ein neuartiges Multi-Agenten-System, das den Informationsfluss zwischen Agenten, Pfaden und Iterationen explizit organisiert. Es verwandelt unabhängige Schlussfolgerungsversuche durch spezialisierte Experience- und Guideline-Agenten in einen koordinierten iterativen Prozess.
Hierarchischer Speichermechanismus: Die Einführung separater Banken für niedrigstufige Erfahrung (wiederverwendbare lokale Signale) und hochstufige Richtlinien (strategische Vermeidung), um die Ausnutzung zuverlässiger Erkenntnisse mit der Exploration verschiedener Pfade auszubalancieren.
Hybrides RL-Belohnungsschema: Ein auf TMAS zugeschnittenes Trainingsziel, das gemeinsam auf grundlegende Schlussfolgerungskompetenz, effektive Experience-Nutzung und die Exploration neuer Strategien optimiert und so den Trade-off zwischen Exploration und Exploitation im iterativen Schlussfolgern adressiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TMAS an herausfordernden Schlussfolgerungs-Benchmarks: IMO-AnswerBench-50 und HLE-Math-100, wobei Qwen3-30B und Qwen3-4B als Basismodelle dienten.

Iterative Skalierung: TMAS zeigte eine stärkere iterative Skalierung als bestehende Baselines (Self-Refine, Verify-Refine, PaCoRe, RSE). Während andere Methoden in späteren Iterationen stagnierten oder verschlechterten, verbesserte sich TMAS weiter und erzielte die besten Leistungen in der späten Phase (z. B. 40,50 % auf IMO-AnswerBench-50 mit Qwen3-30B bei Iteration 19).
Auswirkung des hybriden RL: Das Training mit dem hybriden Belohnungssystem verstärkte die Skalierungseffektivität erheblich. Beim Qwen3-4B-Modell erreichte TMAS+Hybrid-RL nicht nur eine höhere Spitzenpräzision, sondern milderte auch die Leistungsverschlechterung ab, die bei Vanilla-RL (Training nur mit Korrektheitsbelohnungen) in späteren Iterationen beobachtet wurde.
Modell-Effizienz: Das hybride RL-Training verengte die Leistungslücke zwischen den 4B- und 30B-Modellen erheblich. Auf IMO-AnswerBench-50 reduzierte sich die Lücke von 23,44 auf 9,62 Punkte, was darauf hindeutet, dass eine effektive iterative Test-Time-Berechnung es kleineren Modellen ermöglichen kann, die Leistung viel größerer Modelle zu erreichen.
Ablationsstudien:
- Das Entfernen entweder des Experience- oder des Guideline-Moduls verschlechterte die Leistung, wobei die gemeinsame Entfernung den schwerwiegendsten Abfall verursachte.
- Ein mittlerer Explorationskoeffizient ( $\epsilon=0,2$ ) führte zu optimalen Ergebnissen und bestätigte die Notwendigkeit eines Gleichgewichts zwischen Entdeckung und Ausnutzung.
- Übermäßige Verifizierungszahlen (z. B. 16) oder parallele Lösungen (z. B. 12) führten nicht zu monotonen Verbesserungen, was auf abnehmende Grenzerträge und potenzielle Rauscheinführung hindeutet.

5. Bedeutung und Grenzen

Die Autoren behaupten, dass TMAS einen bedeutenden Schritt vorwärts in der Organisation von Test-Time Compute darstellt, indem es über eine einfache Pfadaggregation oder Verifizierung hinausgeht. Durch die explizite Strukturierung des Informationsflusses und die Trennung des Speichers in hierarchische Ebenen ermöglicht TMAS eine effektivere Zusammenarbeit zwischen Schlussfolgerungspfaden. Das hybride Belohnungsschema wird als entscheidender Enabler für das Training von Modellen vorgestellt, um diese komplexe Struktur zu nutzen.

Grenzen:

Verifizierungs-Engpass: Die Autoren identifizieren eine „gemeinsame Fähigkeitsgrenze", bei der der Verifizierungsagent (instantiiert aus derselben Modellfamilie) bei den schwierigsten Problemen Schwierigkeiten haben kann, zwischen plausiblen, aber fehlerhaften Lösungen und korrekten zu unterscheiden. Dies kann zu unzuverlässigen Feedback-Signalen für den Verfeinerungsschleife führen.
Rechenbeschränkungen: Die Evaluation wurde nicht an Frontier-Modellen (z. B. GPT-5.5) durchgeführt, aufgrund von Kosten- und API-Beschränkungen.
Datenerstellung: Die aktuelle RL-Pipeline erfordert ein externes Lehrermodell, um Cold-Start-Rollouts und speicherbasierte Trainingsdaten vorzudefinieren. Die Autoren schlagen vor, dass zukünftige Arbeiten Rollouts aus vorherigen Iterationen dynamisch einbeziehen könnten, um die Datenquelle zu erweitern.

Zusammenfassend bietet TMAS einen strukturierten Ansatz zur Skalierung von Test-Time Compute, der durch Multi-Agenten-Synergie und hierarchischen Speicher effektiv zwischen Exploration und Exploitation balanciert und zeigt, dass zusätzliche Rechenleistung in verbesserte Schlussfolgerungsleistung übersetzt werden kann, wenn sie korrekt organisiert ist.