WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning

Dit paper introduceert WideSeek-R1, een multi-agent systeem dat via versterkend leren breedte-schaling toepast om complexe informatievraagstukken efficiënter op te lossen dan traditionele diepte-schaling, waarbij een 4B-parametermodel presteert op niveau van een 671B-parameter single-agent.

De kern

Stel je voor dat je een enorme, complexe puzzel moet oplossen. Je hebt twee manieren om dit aan te pakken:

1. De "Geniale Eenzame" aanpak (Diepte): Je stuurt één superintelligente, maar eenzame detective de kamer in. Deze detective moet alles zelf doen: alle aanwijzingen zoeken, alles onthouden, en stap voor stap redeneren. Het probleem is dat deze detective snel zijn hoofd vol krijgt met informatie (vergeten wat hij net las) en het proces lang duurt omdat hij alles één voor één moet doen.
2. De "Efficiënte Werkploeg" aanpak (Breedte): Je hebt een teamleider en een groep van kleine, slimme helpers. De teamleider breekt de grote puzzel op in tientallen kleine stukjes. Hij geeft elk stukje aan een andere helper. Deze helpers werken tegelijkertijd (parallel) aan hun eigen stukje, zonder elkaar te storen. Als ze klaar zijn, brengt de teamleider alle stukjes samen tot het complete plaatje.

Dit paper, WIDESEEK-R1, gaat over de tweede aanpak. Het is een revolutionaire manier om kunstmatige intelligentie (AI) slimmer te maken, niet door de AI groter en zwaarder te maken, maar door meer "breedte" te gebruiken.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Eenzame Detective" is verzadigd

Tot nu toe hebben onderzoekers geprobeerd AI's slimmer te maken door ze steeds groter te maken (meer "brein" of parameters) en ze te laten nadenken over één vraag voor een heel lange tijd. Dit noemen ze diepte-schalen.

• Het nadeel: Als de taak heel breed is (bijvoorbeeld: "Maak een lijst van alle universiteiten in de wereld met hun oprichtingsjaar en locatie"), raakt de eenzame detective in de war. Hij vergeet informatie, raakt verstrikt in zijn eigen gedachten en werkt te langzaam omdat hij alles één voor één moet doen.

2. De Oplossing: De "Werkploeg" (Breedte-schalen)

De auteurs van dit paper zeggen: "Laten we stoppen met het groter maken van één AI, en in plaats daarvan een team van kleine AI's laten werken."
Ze hebben WIDESEEK-R1 bedacht. Dit is een systeem met:

• Een Teamleider (Lead Agent): Deze AI denkt na over hoe hij de grote taak moet opsplitsen. Hij roept geen andere mensen op, maar stuurt zijn eigen "sub-agenten" (helpers) aan.
• De Helpers (Sub-agents): Dit zijn kleine AI's die tegelijkertijd aan verschillende deeltaken werken. Omdat ze elk hun eigen werkplek hebben, verwarren ze elkaar niet met informatie. Ze werken razendsnel parallel.

3. De Magie: Leren samenwerken (MARL)

Het lastige aan een team is dat de teamleider en de helpers goed moeten samenwerken. Als de teamleider slechte taken geeft, of als de helpers niet luisteren, faalt het project.

• Hoe leren ze? Ze gebruiken een trucje genaamd Multi-Agent Reinforcement Learning (MARL).
• De Analogie: Stel je voor dat je een voetbalteam traint. In plaats van dat elke speler alleen traint, spelen ze tegen elkaar en leren ze van hun fouten. Als het team wint, krijgen ze allemaal een beloning. Als ze verliezen, leren ze wat ze anders moeten doen.
• Bij WIDESEEK-R1 hebben de onderzoekers 20.000 moeilijke zoekopdrachten gegenereerd (zoals "Vind alle informatie over 50 verschillende landen"). Het team heeft hierop geoefend. De teamleider leerde hoe hij taken moet verdelen, en de helpers leerden hoe ze snel en nauwkeurig informatie moeten vinden.

4. Het Verbazingwekkende Resultaat

Het meest verbazingwekkende is de schaal.

• Ze hebben een model gebruikt dat klein is (slechts 4 miljard parameters, wat klein is in de wereld van AI).
• Dit kleine team presteerde even goed als een gigantische, superzware AI (DeepSeek-R1 met 671 miljard parameters) die alleen werkt.
• Kortom: Een klein team van slimme helpers doet het werk van een gigantische eenzame reus, maar dan veel sneller en goedkoper.

5. Waarom is dit belangrijk?

• Efficiëntie: Je hoeft geen miljarden te investeren in enorme computers om slimme resultaten te krijgen. Een klein team op gewone hardware kan hetzelfde doen.
• Toekomst: Dit opent de deur voor AI-systemen die complexe problemen oplossen door samen te werken, net als mensen in een bedrijf. Het is de overgang van "Ik ben de slimste" naar "Wij zijn samen het slimst".

Samenvattend:
WIDESEEK-R1 is als het verschil tussen één supergenie dat urenlang probeert een hele bibliotheek uit zijn hoofd te leren, en een team van 10 mensen dat tegelijkertijd elke hoek van de bibliotheek in 5 minuten doorzoekt en de informatie perfect samenvoegt. Door slim samen te werken, winnen ze van de "geniale eenzame" aanpak.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "WIDESEEK-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning", vertaald en samengevat in het Nederlands.

1. Het Probleem: De Beperkingen van "Depth Scaling"

Recente vooruitgang in Large Language Models (LLMs) concentreerde zich voornamelijk op diepte-schaling (depth scaling). Hierbij lost een enkel agent probleem op door middel van uitgebreide redeneerprocessen (Chain-of-Thought) en sequentiële tool-gebruik over meerdere rondes.

Hoewel dit effectief is voor complexe, diepe onderzoeken, stuiten deze methoden op beperkingen bij brede informatievraagstukken (broad information seeking), zoals het verzamelen en structureren van data over vele entiteiten (bijv. "Maak een tabel van de top 20 landen met de grootste bevolking").

• Contextvervuiling: Een enkel agent raakt overbelast door irrelevante informatie uit vorige sub-taken in zijn contextvenster.
• Sequentiële inefficiëntie: Het verwerken van onafhankelijke sub-taken één voor één is traag en benut de rekenkracht niet optimaal.
• Organisatorische capaciteit: Naarmate taken breder worden, verschuift de bottleneck van individuele competentie naar de organisatie- en coördinatiecapaciteit van het systeem.

Bestaande multi-agent systemen lossen dit vaak op met handmatig ontworpen workflows en beurtelings interactie, wat parallelle uitvoering beperkt.

2. Methodologie: WIDESEEK-R1

De auteurs introduceren WIDESEEK-R1, een hiërarchisch multi-agent systeem dat breedte-schaling (width scaling) benut via Multi-Agent Reinforcement Learning (MARL).

Architectuur

Het systeem bestaat uit twee rollen, beide uitgevoerd door een gedeeld LLM (in dit geval gebaseerd op Qwen3-4B), maar met geïsoleerde contexten en gespecialiseerde tools:

1. Lead Agent (Hoofdagent):
   • Verantwoordelijk voor taakdecompositie en coördinatie.
   • Heeft slechts één tool: call_subagent.
   • Deelt een brede opdracht op in onafhankelijke, parallel uitvoerbare sub-taken en stuurt deze door aan sub-agenten.
   • Wacht tot alle sub-agenten klaar zijn voordat de volgende ronde begint.
2. Sub-agenten:
   • Voeren de toegewezen sub-taken parallel uit.
   • Gebruiken tools voor search (zoeken naar snippets/URL's) en access (inhoud van URL's samenvatten).
   • Werken in geïsoleerde contexten om kruisbesmetting van informatie te voorkomen.

Training: Multi-Agent Reinforcement Learning (MARL)

Het systeem wordt getraind met een aangepaste versie van GRPO (Group Relative Policy Optimization):

• Gedeelde Beloning: In plaats van complexe credit assignment per agent, krijgt een hele groep agenten (rollout) dezelfde beloning gebaseerd op de uiteindelijke kwaliteit van het antwoord (consistentie met de ground truth).
• Dual-Level Advantage Reweighting:
  • Token-level: Belangrijke tokens in langere rondes krijgen meer gewicht.
  • Agent-level: Voorkomt dat rollouts met veel sub-agenten de gradienten domineren zonder dat de kwaliteit verbetert. Dit dwingt het systeem om alleen meer agents toe te voegen als dit daadwerkelijk de prestaties verhoogt.

Dataverzameling

Omdat bestaande datasets te klein of te gericht op "diepte" zijn, hebben de auteurs een geautomatiseerde pipeline ontwikkeld om 20.000 brede informatievraagstukken te synthetiseren.

• Stap 1: Genereren van complexe queries met schema-beperkingen (tabellen) op basis van HybridQA.
• Stap 2: Genereren van twee onafhankelijke antwoorden door een model (Gemini) voor zelf-consistentie verificatie.
• Stap 3: Filteren op consistentie (>90% overlap) en complexiteit (minimaal 3 rijen).

3. Belangrijkste Bijdragen

1. WIDESEEK-R1 Framework: Een end-to-end getraind multi-agent systeem dat breedte-schaling mogelijk maakt door MARL, in plaats van handmatige workflows.
2. Nieuwe Dataset: Een open-source dataset van 20k brede informatievraagstukken, specifiek ontworpen voor het trainen van schaalbare multi-agent systemen.
3. Bewijs van Breedte-Schaling: Demonstreert dat het verhogen van het aantal parallelle agenten leidt tot continue prestatieverbeteringen, in tegenstelling tot diepte-schaling die snel verzadigt.

4. Resultaten

De prestaties werden getest op de WideSearch benchmark (200 taken, vereist tabulaire output).

• Prestatie: WIDESEEK-R1-4B (4 miljard parameters) bereikt een Item F1-score van 40,0%.
• Vergelijking: Dit resultaat is vergelijkbaar met DeepSeek-R1-671B (een enkel agent model met 671 miljard parameters), wat betekent dat het 4B-model presteert op het niveau van een model dat 170x groter is.
• Overtreffing: Het systeem presteert significant beter dan andere 4B en 8B multi-agent baselines (zoals AgentFlow, OWL, MiroFlow) en single-agent varianten.
• Schalingsgedrag:
  • Diepte-schaling: Prestaties van een enkel agent (Qwen3-4B) verzadigen snel na een bepaald aantal rondes.
  • Breedte-schaling: WIDESEEK-R1-4B toont continue verbetering naarmate het aantal parallelle sub-agenten toeneemt (tot 10 agents), terwijl een niet-getrainde multi-agent versie van Qwen3-4B juist achteruitgaat door ruis.

5. Betekenis en Impact

• Paradigmaverschuiving: Het paper toont aan dat voor brede taken "organisatorische capaciteit" (coördinatie van veel kleine agents) belangrijker kan zijn dan "individuele intelligentie" (enorm grote modellen).
• Democratisering van AI: Het is mogelijk om prestaties te behalen die vergelijkbaar zijn met state-of-the-art gigantische modellen, maar dan met een model dat 170x kleiner is. Dit verlaagt de rekenkosten en drempels voor onderzoek en toepassing aanzienlijk.
• Efficiëntie: Door parallelle uitvoering en geïsoleerde contexten worden de beperkingen van contextvensters en sequentiële traagheid overwonnen.

Conclusie:
WIDESEEK-R1 bewijst dat breedte-schaling via multi-agent reinforcement learning een krachtig en efficiënt alternatief is voor de huidige trend van puur diepte-schaling. Het systeem leert niet alleen om informatie te zoeken, maar vooral om complexe taken effectief te organiseren en uit te voeren door een team van gespecialiseerde agenten.