💬 NLP

MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning

Het artikel introduceert MARS, een nieuw multi-agent reinforcement learning-framework dat twee cognitieve systemen (snelle intuïtie en weloverwogen redeneren) co-evolueert om de token-inefficiëntie en kennisbeperkingen van Large Reasoning Models te overwinnen, waarmee het de beste prestaties bereikt op kennisintensieve taken zonder supervised fine-tuning.

Oorspronkelijke auteurs: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Overdenker" en de "Verouderde" Bibliotheek

Stel je voor dat je een briljante, superintelligente assistent hebt (een AI) die geweldig is in het oplossen van moeilijke puzzels. Deze assistent heeft echter twee grote gebreken:

De Overdenker: Wanneer je hem vraagt om een simpel nieuwsartikel te lezen of een webpagina samen te vatten, raakt hij soms in een "diepe denkmodus" verstrikt. Hij analyseert elk afzonderlijk woord en verspilt tijd en energie aan zaken die geen diepe analyse nodig hebben. Het is alsof je een sloophamer gebruikt om een noot te kraken.
De Verouderde Bibliotheek: De kennis van deze assistent stopt op de dag waarop hij is getraind. Als je hem iets vraagt over iets dat gisteren is gebeurd, is hij er hulpeloos bij. Hij kan niet zelf dingen opzoeken zonder in de war te raken door de enorme hoeveelheid nieuwe informatie.

De Oplossing: MARS (Het Twee-Hersenen-Team)

De onderzoekers hebben een nieuw systeem ontwikkeld genaamd MARS. In plaats van één brein dat alles probeert te doen, hebben ze een team gebouwd van twee verschillende "persoonlijkheden" die binnen dezelfde AI werken, geïnspireerd door hoe menselijke hersenen werken:

Systeem 1 (De Snelle Verkenner): Dit is het "intuïtieve" brein. Het is snel, efficiënt en goed in scannen. Zijn taak is om naar een berg nieuwe informatie te kijken (zoals 10 verschillende webpagina's of onderzoeksartikelen) en snel alleen de belangrijkste feiten eruit te halen. Het is als een verkenner die voorop rent, de nuttige voorraden grijpt en de rommel achterlaat.
Systeem 2 (De Diepe Denker): Dit is het "doordachte" brein. Het is traag, voorzichtig en uitstekend in het oplossen van complexe logische puzzels. Het neemt de schone, gedestilleerde feiten van Systeem 1 en gebruikt deze om het eigenlijke probleem op te lossen.

De Magische Truk:
In eerdere systemen werden de "Verkenner" en de "Denker" apart getraind. De Verkenner wist niet wat de Denker nodig had, waardoor hij zaken samenvatte waar de Denker niet om vroeg, of cruciale details miste die de Denker wél hard nodig had.

In MARS co-evolueren ze. Ze worden samen getraind. De Verkenner leert precies welke soort informatie de Denker helpt om de puzzel op te lossen, en de Denker leert hoe hij de Verkenner om de juiste zaken kan vragen. Ze delen dezelfde "score" (beloning), zodat ze als een perfect team werken in plaats van als twee vreemden.

Hoe Ze Trainen: Het "Groepsspel"

Om deze twee systemen te leren samenwerken zonder een menselijke leraar (een methode genaamd "Zero RL", wat betekent dat ze vanaf nul beginnen zonder vooraf geschreven voorbeelden), gebruikten de onderzoekers een slim trainingsspel gebaseerd op Group Relative Policy Optimization (GRPO).

Beschouw dit als een sportteam dat oefent voor een kampioenschap:

De Teamoverleg (Bin-Packing): Wanneer het team op pad gaat om informatie te verzamelen, komen ze misschien 10 verschillende webpagina's tegen. Dat is te veel om in één keer te lezen. Het systeem gebruikt een "Bin-Packing"-strategie (zoals boodschappen in tassen stoppen). Het organiseert deze rommelige, verschillend grote pagina's in nette, hanteerbare brokken, zodat de Verkenner ze allemaal tegelijk kan lezen zonder overweldigd te raken.
De Scorebord (Gedeelde Beloningen): Het team gaat op pad om een probleem op te lossen. Als ze het antwoord goed hebben, krijgt zowel de Verkenner als de Denker een punt. Als ze falen, krijgt niemand een punt. Dit dwingt hen tot samenwerking.
Eerlijk Spel (Ontkoppelde Gradiënten): Hier zit de lastige stap. Hoewel ze de score delen, zorgden de onderzoekers ervoor dat de Verkender credit krijgt voor het goed samenvatten en de Denker voor het goed redeneren. Het is als een estafette: als het team wint, krijgen beide hardlopers een medaille, maar de coach weet precies wie het eerste deel van de race heeft gelopen en wie het tweede deel. Dit zorgt ervoor dat de Verkenner leert een betere Verkenner te zijn, en niet alleen een betere Denker.
Het Team in Balans Brengen (Gebalanceerde Sampling): Soms moet de Verkenner 5 pagina's lezen, en op andere momenten slechts 1. Dit creëert een onbalans in de trainingsdata. Het systeem gebruikt een speciale samplingmethode om ervoor te zorgen dat de Verkenner en de Denker evenveel oefentijd krijgen, zodat de een het leerproces niet domineert.

De Resultaten: Klein Team, Grote Winsten

De onderzoekers testten MARS op een zeer moeilijk examen genaamd HLE (Humanity's Last Exam), dat geavanceerde onderwerpen behandelt in wetenschap, wiskunde en geschiedenis.

De Underdog: MARS gebruikte een relatief klein model (8 miljard parameters).
De Giganten: Ze vergeleken het met veel grotere modellen (32 miljard of 72 miljard parameters) en zelfs met enkele dure, commerciële "superintelligentie"-modellen van grote techbedrijven.
De Uitkomst: MARS versloeg de grotere modellen die met menselijke voorbeelden waren getraind (Supervised Fine-Tuning). Het kwam zelfs heel dicht in de buurt van de prestaties van de meest geavanceerde commerciële modellen die momenteel beschikbaar zijn, ondanks het feit dat het begon met nul menselijke begeleiding en een veel kleiner brein gebruikte.

Waarom Dit Er Toe Doet (Volgens het Paper)

Het paper beweert dat het geheime ingrediënt niet alleen het hebben van meer tools is (zoals zoekmachines of rekenmachines); het is de partnerschap.

Zonder de "Verkenner" (Systeem 1) raakt de "Denker" (Systeem 2) overweldigd door te veel ruwe data en maakt hij fouten.
Zonder de "Denker" (Systeem 2) vat de "Verkenner" (Systeem 1) zaken alleen samen zonder het eigenlijke probleem op te lossen.
Samen creëren ze een systeem dat een enorme hoeveelheid actuele informatie kan lezen en deze kan gebruiken om complexe, meerstaps redeneerproblemen efficiënt op te lossen.

Kortom, MARS leert een AI om te weten wanneer hij "snel moet scannen" en wanneer hij "diep moet nadenken", en hoe hij beide samen kan doen zonder in de war te raken.

Technische Samenvatting: MARS – Co-evoluerend Duaal-Systeem Diep Onderzoek via Multi-Agent Reinforcement Learning

1. Probleemstelling

Large Reasoning Models (LRM's) worden geconfronteerd met twee fundamentele beperkingen bij het aanpakken van complexe, kennisintensieve taken:

Inefficiëntie in informatieverwerking: Bij eenvoudiger informatieverwerkingstaken (bijv. het analyseren van webpagina's of het samenvatten van papers) hebben LRM's de neiging tot "overanalyse", waarbij ze excessieve reasoning-tokens verbruiken. Dit beperkt hun capaciteit om grote volumes externe informatie te verwerken die nodig zijn voor diepgaand onderzoek.
Statische kennis: LRM's zijn beperkt tot de kennis-cutoff van hun trainingsdata en kunnen niet zonder externe tools toegang krijgen tot actuele informatie.

Bestaande benaderingen die reasoning-modellen combineren met externe tools (bijv. WebThinker, Search-R1) maken doorgaans gebruik van vaste of onafhankelijk getrainde informatieverwerkers. Deze verwerkers zijn niet geoptimaliseerd voor de specifieke downstream reasoning-taak, wat leidt tot een mismatch waarbij de verwerker ofwel te veel irrelevante informatie biedt (overbelasting), ofwel cruciale details mist (verlies). Bovendien vertrouwen deze systemen vaak op Supervised Fine-Tuning (SFT) op gecureerde trajecten, wat mogelijk slecht generaliseert of niet efficiënt schaalt.

2. Methodologie

De auteurs stellen MARS (Multi-Agent System for Deep ReSearch) voor, een framework dat de co-evolutie van twee cognitieve systemen binnen één enkele Large Language Model (LLM) mogelijk maakt via Multi-Agent Reinforcement Learning (MARL).

2.1 Duaal-Systeem Collaboratief Framework

Geïnspireerd door de dual-process theory van de menselijke cognitie, integreert MARS twee systemen:

Systeem 1 (Snel, Intuïtief): Verantwoordelijk voor hoog-doorvoeks informatieverwerking. Het destilleert kerninformatie uit ruwe tool-outputs (bijv. zoekresultaten, papers) op basis van het specifieke "doel" (purpose) dat door Systeem 2 wordt verstrekt.
Systeem 2 (Traag, Doordacht): Verantwoordelijk voor strategische reasoning, planning en tool-invocatie. Het behoudt de reasoning-context en beslist wanneer tools moeten worden aangeroepen en welke informatie nodig is.

Workflow:

Systeem 2 analyseert de huidige context en genereert een reasoning-stap, waarbij optioneel een tool wordt aangevraagd met een specifiek doel ( $p_i$ ).
De externe omgeving voert de tool uit en geeft ruwe outputs terug (die meerdere, variabele-lengte documenten kunnen zijn).
Bin-Packing: Om variabele-lengte outputs efficiënt af te handelen, organiseert een First Fit Decreasing (FFD) algoritme deze outputs in optimaal gepakte chunks.
Systeem 1 verwerkt deze chunks parallel, geconditioneerd op het doel $p_i$ , om gedestilleerde informatie ( $\tilde{o}_i$ ) te extraheren.
De gedestilleerde informatie wordt samengevoegd in de context voor de volgende beurt van Systeem 2.

2.1 Multi-Agent Optimalisatiestrategieën

De auteurs breiden Group Relative Policy Optimization (GRPO) uit naar de multi-agent setting met drie belangrijke innovaties om stabiele en effectieve gezamenlijke training te garanderen:

Gedecoupleerde Gradiëntberekening: Hoewel Systeem 1 en Systeem 2 dezelfde traject-niveau beloning delen, zijn hun gradiënt-updates gedecoupleerd.
- De loss van Systeem 2 wordt alleen berekend over reasoning- en planning-tokens, waarbij de output-tokens van Systeem 1 worden gemaskeerd.
- De loss van Systeem 1 wordt alleen berekend over zijn distillatie-outputs, geconditioneerd op de bin-packed input.
- Dit zorgt voor correcte credit assignment: Systeem 2 leert betere planning/doelen, terwijl Systeem 1 betere extractiestrategieën leert die specifiek zijn voor die doelen.
Bin-Packing Optimalisatie: Om parallelle verwerking door Systeem 1 mogelijk te maken, worden variabele-lengte tool-outputs gesorteerd op lengte en in bins gepakt die binnen het contextvenster van het model passen. Dit vermindert het aantal generatiestappen dat vereist is voor Systeem 1.
Advantage-Weighted Balanced Sampling: In een rollout genereert Systeem 2 een vast aantal samples (één per traject), terwijl Systeem 1 een variabel aantal genereert (afhankelijk van tool-calls en bin-aantallen). Om te voorkomen dat één systeem het leerproces domineert:
- Advantages worden vooraf berekend voor alle samples binnen een groep.
- Systeem 1 samples worden vervolgens gedownsampled of geupsampled (via willekeurige duplicatie) om overeen te komen met het aantal Systeem 2 samples, wat zorgt voor een gebalanceerde optimalisatie terwijl de statistische integriteit behouden blijft.

2.3 Trainingsinstelling: "Zero RL"

Een cruciaal aspect van MARS is de trainingsregime. Het opereert onder een "Zero RL" setting:

Het model wordt direct vanaf het basismodel getraind (bijv. Qwen2.5-7B of Qwen3-8B).
Er wordt geen Supervised Fine-Tuning (SFT) of policy-distillatie van sterkere modellen gebruikt.
Dit staat in contrast met baselines zoals WebThinker, die afhankelijk zijn van SFT warmups, waardoor een directe evaluatie van de effectiviteit van het multi-agent RL-framework mogelijk is.

3. Belangrijkste Bijdragen

Co-evolutie Framework: Introductie van MARS, een duaal-systeem framework waarbij Systeem 1 (informatieverwerking) en Systeem 2 (reasoning) gezamenlijk worden geoptimaliseerd via gedeelde traject-beloningen. Dit stelt Systeem 1 in staat om taak-relevante informatie-extractie te leren in plaats van generieke samenvattingen.
Aangepaste GRPO voor Multi-Agent RL: Ontwikkeling van drie specifieke technieken om stabiele gezamenlijke training mogelijk te maken: gedecoupleerde gradiënten voor credit assignment, bin-packing voor parallelle verwerking, en advantage-weighted balanced sampling.
Zero RL Prestaties: Demonstratie dat een 8B parameter model getraind zonder SFT, superieur is aan grotere, SFT-getrainde baselines en de grens nadert van propriëtaire modellen op uitdagende benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden MARS op verschillende benchmarks, waaronder Humanity's Last Exam (HLE) en 7 kennisintensieve QA-taken.

Humanity's Last Exam (HLE):
- MARS (8B) behaalde 8,17% nauwkeurigheid.
- Dit presteert beter dan WebThinker (32B met SFT, 6,87%) en C-3PO (72B met SFT, 5,79%).
- Het verkleint de kloof met propriëtaire modellen zoals Claude 3.7 Sonnet (7,89%) en o1 (7,75%).
- De verbetering is breed over disciplines (Bio/Med, CS/AI, Math, etc.) en is niet beperkt tot één enkel domein.
Kennisintensieve QA-taken:
- MARS behaalde een gemiddelde verbetering van 8,9% ten opzichte van de C-3PO baseline over 7 taken (inclusief NQ, TriviaQA, HotpotQA, etc.).
- De winsten waren bijzonder uitgesproken bij multi-hop reasoning (+12,2% over C-3PO), wat wijst op het vermogen van het framework om complexe reasoning-ketens aan te pakken die meerdere retrieval-reasoning iteraties vereisen.
Ablatie-studies:
- Verwijdering van Systeem 1: Het verwijderen van Systeem 1 (waarbij Systeem 2 de ruwe tool-outputs moet verwerken) veroorzaakte een daling van 1,91% in HLE-nauwkeurigheid (7,38% $\to$ 5,47%). Dit bevestigt dat Systeem 1 actief co-evolueert om taak-relevante informatie te extraheren, in plaats van slechts een passieve samenvatter te zijn.
- Toolgebruik: Het model leert om meerdere tools (Search, Scholar, Python) effectief te gebruiken. Het verwijderen van een enkele tool (vooral Search of Python) degradeerde de prestaties in specifieke domeinen aanzienlijk.
- Trainingsdynamiek: Analyse laat zien dat naarmate de training vordert, het model verschuift van conservatieve "single-shot" retrieval naar iteratieve bewijsverzameling, waarbij Systeem 1 effectief ruis filtert.

5. Betekenis en Claims

Het artikel claimt dat MARS de levensvatbaarheid van co-evolverende dual-systeem architecturen aantoont via multi-agent reinforcement learning zonder afhankelijk te zijn van supervised fine-tuning.

Efficiëntie vs. Capaciteit: Het framework adresseert succesvol de trade-off tussen het verwerken van grote volumes externe informatie en het behouden van de kwaliteit van de reasoning. Systeem 1 handelt de "leeslast" af, waardoor Systeem 2 zich kan concentreren op complexe reasoning zonder contextdilutie.
Verleerd Specialisme: De resultaten suggereren dat de "optimale informatie-distillatiestrategie" niet statisch is maar afhangt van de reasoning-taak. Door co-evolutie leert Systeem 1 inzichten te extraheren die specifiek nuttig zijn voor Systeem 2, een capaciteit die statische prompts of onafhankelijke training niet kunnen bereiken.
Schaalbaarheid: Het succes van "Zero RL" geeft aan dat het multi-agent RL-framework zelf een krachtige drijfveer voor prestaties is, wat potentieel de afhankelijkheid van enorme modelgroottes of dure SFT-datasets vermindert.

De auteurs benadrukken dat deze aanpak de betrouwbaarheid van diepgaand onderzoek verbetert door modellen in staat te stellen actuele informatie te synthetiseren terwijl sterke multi-step reasoning behouden blijft, met potentiële toepassingen in onderwijs en wetenschappelijke literatuurreview. Ze merken ook mogheden op het gebied van risico's met betrekking tot desinformatie en de noodzaak van menselijk toezicht in situaties met een hoog belang.