💬 NLP

MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning

Das Papier stellt MARS vor, ein neuartiges Multi-Agenten-Reinforcement-Learning-Framework, das duale kognitive Systeme (schnelle Intuition und deliberatives Denken) koevolviert, um die Token-Ineffizienz und die Wissensbeschränkungen von Large Reasoning Models zu überwinden und so Spitzenleistungen bei wissensintensiven Aufgaben ohne überwachtes Fine-Tuning zu erzielen.

Ursprüngliche Autoren: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Überdenker“ und die „veraltete“ Bibliothek

Stellen Sie sich vor, Sie hätten einen brillanten, superintelligenten Assistenten (eine KI), der großartig darin ist, schwierige Rätsel zu lösen. Dieser Assistent hat jedoch zwei entscheidende Mängel:

Der Überdenker: Wenn Sie ihn bitten, einen einfachen Zeitungsartikel zu lesen oder eine Webseite zusammenzufassen, gerät er manchmal in den „Tief nachdenk“-Modus. Er analysiert jedes einzelne Wort und verschwendet Zeit und Energie für Dinge, die keine tiefe Analyse benötigen. Es ist, als würde man einen Schlagschrauber benutzen, um eine Nuss zu knacken.
Die veraltete Bibliothek: Das Wissen dieses Assistenten endet an dem Tag, an dem er trainiert wurde. Wenn Sie ihn nach etwas fragen, das gestern passiert ist, ist er völlig ahnungslos. Er kann nicht selbstständig Informationen nachschlagen, ohne durch das schiere Volumen an neuen Informationen verwirrt zu werden.

Die Lösung: MARS (Das Zwei-Gehirne-Team)

Die Forscher haben ein neues System namens MARS entwickelt. Anstatt eines einzelnen Gehirns, das alles machen soll, haben sie ein Team aus zwei unterschiedlichen „Persönlichkeiten“ gebaut, die innerhalb derselben KI arbeiten, inspiriert davon, wie menschliche Gehirne funktionieren:

System 1 (Der schnelle Scout): Dies ist das „intuitive“ Gehirn. Es ist schnell, effizient und gut im Scannen. Seine Aufgabe ist es, einen Berg an neuen Informationen (wie 10 verschiedene Webseiten oder Forschungsberichte) zu betrachten und schnell nur die wichtigsten Fakten herauszuziehen. Es ist wie ein Scout, der vorausläuft, die nützlichen Vorräte schnappt und den Müll zurücklässt.
System 2 (Der tiefe Denker): Dies ist das „bewusste“ Gehirn. Es ist langsam, vorsichtig und hervorragend darin, komplexe Logikrätsel zu lösen. Es nimmt die sauberen, destillierten Fakten von System 1 und nutzt sie, um das eigentliche Problem zu lösen.

Der magische Trick:
In früheren Systemen wurden der „Scout“ und der „Denker“ getrennt trainiert. Der Scout wusste nicht, was der Denker brauchte, also fasste er vielleicht Dinge zusammen, die den Denker gar nicht interessierten, oder übersah Details, die der Denker dringend benötigt hätte.

In MARS koevoluieren sie. Sie trainieren gemeinsam. Der Scout lernt genau, welche Art von Informationen dem Denker helfen, das Rätsel zu lösen, und der Denker lernt, wie er den Scout nach den richtigen Dingen fragen kann. Sie teilen sich dieselbe „Punktzahl“ (Belohnung), sodass sie als perfektes Team zusammenarbeiten und nicht wie zwei Fremde.

Wie sie trainieren: Das „Gruppenspiel“

Um diese beiden Systeme beizubringen, ohne einen menschlichen Lehrer zu nutzen (eine Methode namens „Zero RL“, was bedeutet, dass sie von Grund auf ohne vorgefertigte Beispiele starten), nutzten die Forscher ein kluges Trainingsspiel basierend auf Group Relative Policy Optimization (GRPO).

Stellen Sie sich das wie ein Sportteam vor, das für eine Meisterschaft übt:

Die Teambesprechung (Bin-Packing): Wenn das Team loszieht, um Informationen zu sammeln, findet es vielleicht 10 verschiedene Webseiten. Das ist zu viel, um alles auf einmal zu lesen. Das System nutzt eine „Bin-Packing“-Strategie (wie das Packen von Lebensmitteln in Tüten). Es organisiert diese unordentlichen, unterschiedlich großen Seiten in ordentliche, handhabbare Häppchen, damit der Scout sie alle gleichzeitig lesen kann, ohne überfordert zu werden.
Die Anzeigetafel (Gemeinsame Belohnungen): Das Team geht raus und versucht, ein Problem zu lösen. Wenn sie die richtige Antwort finden, bekommt sowohl der Scout als auch der Denker einen Punkt. Wenn sie scheitern, bekommt keiner einen Punkt. Dies erzwingt die Zusammenarbeit.
Fair Play (Entkoppelte Gradienten): Hier liegt der knifflige Teil. Obwohl sie dieselbe Punktzahl teilen, haben die Forscher sichergestellt, dass der Scout die Anerkennung für das gute Zusammenfassen erhält und der Denker die Anerkennung für das gute Schlussfolgern. Es ist wie bei einem Staffellauf: Wenn das Team gewinnt, erhalten beide Läufer eine Medaille, aber der Trainer weiß genau, wer die erste Etappe und wer die zweite Etappe gelaufen ist. Dies stellt sicher, dass der Scout lernt, ein besserer Scout zu sein, und nicht nur ein besserer Denker.
Das Team ausbalancieren (Balanced Sampling): Manchmal muss der Scout 5 Seiten lesen, ein andermal nur eine. Dies führt zu einem Ungleichgewicht in den Trainingsdaten. Das System verwendet eine spezielle Sampling-Methode, um sicherzustellen, dass der Scout und der Denker die gleiche Übungszeit erhalten, damit einer den Lernprozess nicht dominiert.

Die Ergebnisse: Kleines Team, große Siege

Die Forscher testeten MARS auf einer sehr schwierigen Prüfung namens HLE (Humanity's Last Exam), die fortgeschrittene Themen in Wissenschaft, Mathematik und Geschichte abdeckt.

Der Underdog: MARS nutzte ein relativ kleines Modell (8 Milliarden Parameter).
Die Giganten: Sie verglichen es mit viel größeren Modellen (32 Milliarden oder 72 Milliarden Parameter) und sogar mit einigen teuren, proprietären „Superintelligenz“-Modellen großer Tech-Unternehmen.
Das Ergebnis: MARS schlug die größeren Modelle, die mit menschlichen Beispielen vortrainiert worden waren (Supervised Fine-Tuning). Es kam sogar sehr nah an die Leistung der fortschrittlichsten kommerziellen Modelle heran, obwohl es mit null menschlicher Anleitung und einem viel kleineren Gehirn startete.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass das Geheimrezept nicht nur die Anzahl der Werkzeuge (wie Suchmaschinen oder Taschenrechner) ist, sondern die Partnerschaft.

Ohne den „Scout“ (System 1) wird der „Denker“ (System 2) von zu vielen Rohdaten überwältigt und macht Fehler.
Ohne den „Denker“ (System 2) fasst der „Scout“ (System 1) Informationen nur zusammen, ohne das eigentliche Problem zu lösen.
Zusammen erschaffen sie ein System, das eine riesige Menge an aktuellen Informationen lesen und diese effizient nutzen kann, um komplexe, mehrstufige Denkprozesse zu lösen.

Kurz gesagt: MARS lehrt eine KI, wann sie „schnell scannen“ und wann sie „tief nachdenken“ muss und wie sie beides zusammen macht, ohne verwirrt zu werden.

Technisches Resümee: MARS – Ko-evolution von Dual-Systemen für Deep Research mittels Multi-Agent Reinforcement Learning

1. Problemstellung

Große Reasoning-Modelle (LRMs) stehen bei der Bewältigung komplexer, wissensintensiver Aufgaben vor zwei grundlegenden Einschränkungen:

Ineffizienz in der Informationsverarbeitung: Bei einfacheren Informationsverarbeitungsaufgaben (z. B. der Analyse von Webseiten oder der Zusammenfassung von Papern) neigen LRMs dazu, „übermäßig zu analysieren“ (overanalyzing), was zu einem übermäßigen Verbrauch von Reasoning-Token führt. Dies begrenzt ihre Kapazität, große Mengen externer Informationen zu verarbeiten, die für tiefgehende Recherche erforderlich sind.
Statisches Wissen: LRMs sind auf den Wissensstand ihrer Trainingsdaten beschränkt und können ohne externe Werkzeuge nicht auf aktuelle Informationen zugreifen.

Bestehende Ansätze, die Reasoning-Modelle mit externen Werkzeugen kombinieren (z. B. WebThinker, Search-R1), verwenden typischerweise feste oder unabhängig trainierte Informationsprozessoren. Diese Prozessoren sind nicht auf die spezifische nachgelagerte Reasoning-Aufgabe optimiert, was zu einer Diskrepanz führt, bei der der Prozessor entweder zu viele irrelevante Informationen liefert (Überlastung) oder kritische Details übersieht (Verlust). Darüber hinaus verlassen sich diese Systeme oft auf Supervised Fine-Tuning (SFT) auf kuratierten Trajektorien, was sich möglicherweise nicht gut generalisieren lässt oder nicht effizient skaliert.

2. Methodik

Die Autoren schlagen MARS (Multi-Agent System for Deep ReSearch) vor, ein Framework, das die Ko-evolution zweier kognitiver Systeme innerhalb eines einzigen Large Language Models (LLM) mittels Multi-Agent Reinforcement Learning (MARL) ermöglicht.

2.1 Dual-System Collaborative Framework

Inspiriert durch die Dual-Prozess-Theorie der menschlichen Kognition integriert MARS zwei Systeme:

System 1 (Schnell, Intuitiv): Verantwortlich für die Hochdurchsatz-Informationsverarbeitung. Es destilliert Schlüsselinformationen aus rohen Tool-Outputs (z. B. Suchergebnissen, Papern) basierend auf dem spezifischen „Zweck“ (Purpose), den System 2 vorgibt.
System 2 (Langsam, Deliberativ): Verantwortlich für strategisches Reasoning, Planung und den Aufruf von Tools. Es bewahrt den Reasoning-Kontext und entscheidet, wann Tools aufgerufen werden sollen und welche Informationen benötigt werden.

Workflow:

System 2 analysiert den aktuellen Kontext, generiert einen Reasoning-Schritt und fordert optional ein Tool mit einem spezifischen Zweck ( $p_i$ ) an.
Die externe Umgebung führt das Tool aus und gibt Rohoutputs zurück (welche mehrere, variabler Länge Dokumente sein können).
Bin-Packing: Um variable Längen der Outputs effizient zu handhaben, organisiert ein First Fit Decreasing (FFD) Algorithmus diese Outputs in optimal dimensionierte Chunks.
System 1 verarbeitet diese Chunks parallel, konditioniert auf den Zweck $p_i$ , um destillierte Informationen ( $\tilde{o}_i$ ) zu extrahieren.
Die destillierten Informationen werden in den Kontext für die nächste Iteration von System 2 eingefügt.

2.2 Multi-Agent Optimierungsstrategien

Die Autoren erweitern Group Relative Policy Optimization (GRPO) auf das Multi-Agent-Setting mit drei zentralen Innovationen, um ein stabiles und effektives gemeinsames Training zu gewährleisten:

Entkoppelte Gradientenberechnung: Obwohl System 1 und System 2 denselben Trajektorien-basierten Reward teilen, sind ihre Gradienten-Updates entkoppelt.
- Der Loss von System 2 wird nur über die Reasoning- und Planning-Token berechnet, wobei die Output-Token von System 1 maskiert werden.
- Der Loss von System 1 wird nur über seine Destillations-Outputs berechnet, konditioniert auf den Bin-Packed-Input.
- Dies stellt eine korrekte Credit Assignment sicher: System 2 lernt bessere Planungen/Zwecke, während System 1 bessere Extraktionsstrategien spezifisch für diese Zwecke lernt.
Bin-Packing Optimierung: Um die parallele Verarbeitung durch System 1 zu ermöglichen, werden variable Tool-Outputs nach Länge sortiert und in Bins gepackt, die in das Kontextfenster des Modells passen. Dies reduziert die Anzahl der Generierungsschritte, die System 1 benötigt.
Advantage-Weighted Balanced Sampling: In einem Rollout generiert System 2 eine feste Anzahl von Samples (eines pro Trajektorie), während System 1 eine variable Anzahl generiert (abhängig von Tool-Aufrufen und Bin-Anzahl). Um zu verhindern, dass ein System den Lernprozess dominiert:
- Advantages werden für alle Samples innerhalb einer Gruppe vorab berechnet.
- Die Samples von System 1 werden dann herunterskaliert oder (durch zufällige Duplikation) hochskaliert, um die Anzahl der System-2-Samples anzugleichen. Dies gewährleistet eine ausgewogene Optimierung bei gleichzeitiger Wahrung der statistischen Integrität.

2.3 Trainingssetting: „Zero RL“

Ein entscheidender Aspekt von MARS ist das Trainingsregime. Es operiert unter einem „Zero RL“ Setting:

Das Modell wird direkt vom Base-Modell (z. B. Qwen2.5-7B oder Qwen3-8B) aus trainiert.
Es wird kein Supervised Fine-Tuning (SFT) oder Policy-Distillation von stärkeren Modellen verwendet.
Dies steht im Gegensatz zu Baselines wie WebThinker, die SFT-Warmups nutzen, und erlaubt eine direkte Evaluierung der Effektivität des Multi-Agent RL-Frameworks.

3. Zentrale Beiträge

Ko-evolution Framework: Einführung von MARS, einem Dual-System-Framework, in dem System 1 (Informationsverarbeitung) und System 2 (Reasoning) gemeinsam durch geteilte Trajektorien-Rewards optimiert werden. Dies ermöglicht es System 1, auf die Aufgabe bezogene Informationsdestillation statt generischer Zusammenfassungen zu lernen.
Adaptiertes GRPO für Multi-Agent RL: Entwicklung von drei spezifischen Techniken zur Ermöglichung eines stabilen gemeinsamen Trainings: entkoppelte Gradienten für die Credit Assignment, Bin-Packing für die parallele Verarbeitung und Advantage-Weighted Balanced Sampling.
Zero RL Performance: Nachweis, dass ein 8B-Parameter-Modell, das ohne SFT trainiert wurde, leistungsfähigere SFT-trainierte Baselines übertrifft und proprietäre Modelle auf anspruchsvollen Benchmarks erreicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MARS auf mehreren Benchmarks, einschließlich Humanity's Last Exam (HLE) und 7 wissensintensiven QA-Aufgaben.

Humanity's Last Exam (HLE):
- MARS (8B) erreichte eine Genauigkeit von 8,17 %.
- Dies übertrifft WebThinker (32B mit SFT, 6,87 %) und C-3PO (72B mit SFT, 5,79 %).
- Es verringert die Lücke zu proprietären Modellen wie Claude 3.7 Sonnet (7,89 %) und o1 (7,75 %).
- Die Verbesserung ist disziplinübergreifend (Bio/Med, CS/AI, Math, etc.) und nicht auf einen einzelnen Bereich isoliert.
Wissensintensive QA-Aufgaben:
- MARS erzielte eine durchschnittliche Verbesserung von 8,9 % gegenüber der C-3PO Baseline über 7 Aufgaben (einschließlich NQ, TriviaQA, HotpotQA, etc.).
- Die Gewinne waren besonders ausgeprägt bei Multi-Hop-Reasoning (+12,2 % gegenüber C-3PO), was die Fähigkeit des Frameworks unterstreicht, komplexe Reasoning-Ketten zu bewältigen, die mehrere Retrieval-Reasoning-Iterationen erfordern.
Ablationsstudien:
- Entfernung von System 1: Das Entfernen von System 1 (wodurch System 2 gezwungen wird, die rohen Tool-Outputs zu verarbeiten) führte zu einem Rückgang der HLE-Genauigkeit um 1,91 % (7,38 % $\to$ 5,47 %). Dies bestätigt, dass System 1 aktiv mitentwickelt, um aufgabenrelevante Informationen zu extrahieren, anstatt als passiver Zusammenfasser zu fungieren.
- Tool-Nutzung: Das Modell lernt, mehrere Tools (Search, Scholar, Python) effektiv zu nutzen. Das Entfernen eines einzelnen Tools (insbesondere Search oder Python) verschlechterte die Leistung in spezifischen Domänen signifikant.
- Trainingsdynamik: Eine Analyse zeigt, dass sich das Modell im Verlauf des Trainings von einem konservativen „Single-Shot“-Retrieval hin zu iterativer Evidenzgewinnung entwickelt, wobei System 1 effektiv Rauschen filtert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass MARS die Lebensfähigkeit von ko-evolvierenden Dual-System-Architekturen durch Multi-Agent Reinforcement Learning ohne Abhängigkeit von Supervised Fine-Tuning demonstriert.

Effizienz vs. Kapazität: Das Framework adressiert erfolgreich den Trade-off zwischen der Verarbeitung großer Mengen externer Informationen und der Aufrechterhaltung der Reasoning-Qualität. System 1 übernimmt die „Leselast“, sodass System 2 sich auf komplexes Reasoning konzentrieren kann, ohne dass der Kontext verwässert wird.
Gelernte Spezialisierung: Die Ergebnisse legen nahe, dass die „optimale Informationsdestillationsstrategie“ nicht statisch ist, sondern von der jeweiligen Reasoning-Aufgabe abhängt. Durch Ko-Evolution lernt System 1, gezielt Erkenntnisse zu extrahieren, die für System 2 nützlich sind – eine Fähigkeit, die feste Prompts oder unabhängiges Training nicht erreichen können.
Skalierbarkeit: Der Erfolg von „Zero RL“ deutet darauf hin, dass das Multi-Agent RL-Framework selbst ein starker Treiber für die Leistungssteigerung ist, was potenziell die Abhängigkeit von massiven Modellskalen oder teuren SFT-Datensätzen reduziert.

Die Autoren betonen, dass dieser Ansatz die Zuverlässigkeit tiefer Recherche verbessert, indem er es Modellen ermöglicht, aktuelle Informationen zu synthetisieren und gleichzeitig ein starkes Multi-Step-Reasoning beizubehalten, mit potenziellem Einsatz in der Bildung und der wissenschaftlichen Literaturrecherche. Sie weisen zudem auf potenzielle Risiken hinsichtlich Fehlinformationen und die Notwendigkeit menschlicher Aufsicht in Hochrisiko-Umgebungen hin.