🤖 AI

SwarmResearch: Orchestrating Coding Agents for Open-Ended Discovery

SwarmResearch introduceert een orchestrator-subagent-framework dat de convergentiebeperkingen van enkelvoudige, langlopende programmeeragenten mitigeert door een Shepherd Agent te gebruiken om een populatie van context-geïsoleerde Search Agents te sturen, waardoor superieure open-ended ontdekking wordt bereikt door middel van adaptieve parallelliteit en exploratie op een hoger niveau.

Oorspronkelijke auteurs: Yuvraj Virk, Zack Edds, Chunqiu Steven Xia, Lingming Zhang

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuvraj Virk, Zack Edds, Chunqiu Steven Xia, Lingming Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe, supersnelle manier probeert uit te vinden om een cake te bakken. Je hebt een team van briljante bakkers (de AI-codeagenten), maar je wilt dat ze het beste mogelijke recept vinden, niet alleen een iets beter recept.

Dit papier introduceert een nieuwe manier om deze bakkers te organiseren, genaamd SWARMRESEARCH. Zo werkt het, met behulp van eenvoudige analogieën:

Het Probleem: De "Eénsporen-val"

In het verleden, als je een enkele AI-bakker vroeg om een cakerecept te verbeteren, werkte dit als volgt:

Het probeert een nieuw ingrediënt.
Het proeft het. Als het lekker is, houdt het het erbij. Als het vies is, gooit het het weg.
Het doet dit keer op keer, waarbij het de hetzelfde recept telkens met kleine aanpassingen bijwerkt.

Het probleem: De bakker raakt vast te zitten in een "lokaal optimum". Ze blijven een "chocoladecake" perfectioneren omdat die al best goed is, maar ze realiseren zich nooit dat het overstappen op een "citroentaart"-aanpak misschien wel 10 keer sneller zou zijn. Ze zijn te gefocust op de kleine details van het huidige pad om een compleet nieuw, beter pad te zien. Ze hebben ook de neiging om hun eerdere ideeën te vergeten omdat ze constant hetzelfde enkele schriftje herschrijven.

De Oplossing: De Zwerm-aanpak

De auteurs hebben een systeem gebouwd genaamd SWARMRESEARCH om dit op te lossen. Zie dit als een Onderzoekshof met twee soorten werkers:

De Herder (De Manager): Dit is de hoofd-AI. Deze bakt zelf geen cake. In plaats daarvan kijkt hij naar de hele boerderij, ziet wat werkt en beslist waar hij hulp naartoe moet sturen.
De Zoekagenten (De Bakkers): Dit zijn de werkers die daadwerkelijk het bakwerk doen.

Hier is hoe zij worden georganiseerd:

Verse Starts (De "Ontdekkende" Bakkers): In plaats van één bakker die aan één schriftje werkt, stuurt de Herder nieuwe bakkers uit met lege schriftjes. Deze "Ontdekkende" bakkers krijgen de opdracht om het oude recept te negeren en wilde, nieuwe ideeën vanaf nul af aan te proberen. Ze zitten niet vast in de "chocoladecake"-mentaliteit.
Gespecialiseerde Verfijners (De "Optimaliserende" Bakkers): Als de Herder een echt veelbelovend nieuw idee ziet (zoals een "citroentaart"), stuurt hij een ander type bakker naar die specifieke tak. Deze "Optimaliserende" bakker krijgt de kans om de gedetailleerde geschiedenis van dat specifieke idee te zien, zodat hij het tot perfectie kan polijsten.
Gescheiden Werkruimtes (De Git-branches): Dit is het belangrijkste deel. Elke bakker werkt in zijn eigen aparte keuken (een aparte "git branch").
- Als Bakker A een vreselijk idee heeft, gooien ze gewoon hun hele keuken weg. Het verpest de keuken van Bakker B niet.
- Als Bakker B een briljante nieuwe techniek ontdekt, kan de Herder die keuken kopiëren naar Bakker C, zonder dat Bakker C zijn eigen huidige werk hoeft te verwijderen.
- Dit voorkomt dat het team per ongeluk goede ideeën verwijdert omdat ze proberen een slecht idee te repareren.

Hoe het de concurrentie verslaat

De paper testte dit systeem tegen andere methoden (zoals een enkele bakker die een lange tijd werkt, of een groep bakkers die één groot schriftje delen).

Het resultaat: Op 13 van de 15 moeilijke puzzels (variërend van wiskundige problemen tot optimalisaties van computersystemen) vond de Zwerm betere oplossingen dan de anderen.
Waarom? Omdat de Zwerm niet alleen de bestaande oplossing "bijstuurde". De Zwerm was dapper genoeg om compleet andere benaderingen te proberen.
- Voorbeeld: In één taak pasten de oude methoden slechts de temperatuur van de oven licht aan. De Zwerm probeerde een compleet nieuw type oven te bouwen.

Een voorbeeld uit de echte wereld: Het versnellen van AI

De auteurs gebruikten dit systeem om te proberen AI sneller te laten "denken" (specifiek, een techniek genaamd "speculative decoding").

De Oude Manier: De AI probeerde kleine wijzigingen aan te brengen in de code, zoals een variabele hier of daar te veranderen. Dit leverde een kleine snelheidswinst op.
De Zwerm-manier: De Zwerm-agenten probeerden verschillende strategieën. Eén agent realiseerde zich dat in plaats van elke woordenreeks één voor één te controleren, ze groepen woorden tegelijk konden controleren (zoals batching). Een andere agent realiseerde zich dat ze minder "experts" konden gebruiken om de makkelijke woorden te controleren.
De Uitkomst: De Zwerm vond een manier om de AI 4,58 keer sneller te maken dan de standaardmethode, terwijl de andere methoden slechts ongeveer een 2x versnelling behaalden.

De Kern van het Verhaal

SWARMRESEARCH is een nieuwe manier om AI-onderzoekers te beheren. In plaats van één AI in een sleur te laten vastlopen, gebruikt het een manager om veel verschillende teams uit te sturen die tegelijkertijd verschillende paden verkennen. Het houdt hun werkruimtes gescheiden zodat goede ideeën niet verloren gaan, en het weet wanneer het moet overschakelen van "nieuwe dingen proberen" naar "het beste ding perfectioneren".

Het is het verschil tussen één persoon die probeert een auto te repareren door elke bout aan te draaien, en een team van monteurs die tegelijkertijd een nieuwe motor, een nieuwe transmissie en een nieuw chassis proberen te bouwen, en dan de beste combinatie kiezen.

Technische Samenvatting: SWARMRESEARCH

Probleemstelling

Langlopende programmeeragenten, zoals autoresearch-frameworks, zijn in staat om persistent optimalisaties te ontdekken voor open eind problemen. De auteurs observeren echter een kritieke foutmodus: deze agenten hebben de neiging om snel te convergeren naar één enkel hoogwaardig aanpak en besteden vervolgens uitgebreide tijd aan laag-niveau bewerkingen en micro-optimalisaties binnen die specifieke buurt. Dit gedrag resulteert erin dat de agent superieure, onderscheidende benaderingen van het probleem mist.

De auteurs hypothetiseren dat deze convergentie wordt veroorzaakt door twee specifieke ontwerpkeuzes op het niveau van de harness in bestaande systemen:

Contextaccumulatie: Agenten accumuleren lange gesprekshistorieën gevuld met incrementele verfijningen van een enkele aanpak, waardoor substantiële verschuivingen in strategie onwaarschijnlijk worden.
Enkele Programmastaat: Agenten committen alle verbeteringen aan één enkel bewerkbaar programma, waardoor alternatieve richtingen effectief worden weggegooid en het zoekproces verandert in een gulzige lokale zoektocht (greedy local search).

Methodologie: SWARMRESEARCH

Om deze knelpunten aan te pakken, introduceren de auteurs SWARMRESEARCH, een orchestrator-subagent harness ontworpen om open-ended ontdekking te faciliteren. Het systeem is geïmplementeerd als een set vaardigheden die compatibel is met populaire coding agent tools (bijv. Claude Code).

Architectuur

Het systeem bestaat uit twee primaire rollen:

Shepherd Agent (Orchestrator): Een globale controller die een populatie van Search Agents beheert. Het onderhoudt de globale context (samenvattingen van alle pogingen, scores en benaderingen) en stuurt de zoekpopulatie strategisch aan.
Search Agents (Subagents): Individuele agenten die verantwoordelijk zijn voor het ideeën genereren, implementeren, evalueren en itereren op oplossingen. Ze opereren met een lokale context die specifiek is voor hun toegewezen taak.

Kernmechanismen voor Ontwerp

SWARMRESEARCH hanteert drie specifieke mechanismen om diversiteit te behouden en voortijdige convergentie te voorkomen:

Git-gebaseerde Branching (Programmaversiebeheer):
- In tegenstelling tot systemen die een enkele programmastaat bewerken, wijst SWARMRESEARCH elke Search Agent toe aan een nieuwe Git-branch.
- De main branch bevat alleen de baseline. Search agents vertakken vanaf de baseline (voor from-scratch exploratie) of vanaf de commit van een voltooide agent (voor iteratie).
- Dit maakt het mogelijk dat meerdere concurrerende hoog-niveau benaderingen onafhankelijk van elkaar evolueren. Veelbelovende maar niet-optimale oplossingen worden niet weggegooid, maar bewaard in hun eigen branches voor potentiële toekomstige verfijning of combinatie.
Gelaagde Contextbeheer:
- Lokale Context: Search Agents opereren met een verse of gecontroleerde context window.
  - Explorer Agents: Beginnen met verse context windows en lezen alleen de inhoud van hun toegewezen werktree. Dit voorkomt dat ze verankerd raken aan eerder werk, wat hoog-niveau exploratie aanmoedigt.
  - Optimizer Agents: Erven de gesprekshistorie van hun ouder-agent naast de werktree. Dit maakt diepe, seriële verfijning mogelijk wanneer een specifieke aanpak veelbelovend lijkt.
- Globale Context: De Shepherd Agent onderhoudt een globaal overzicht van alle activiteiten van de Search Agents (samenvattingen en scores), maar stelt de volledige gesprekshistorie van alle agents niet bloot aan elke subagent. Dit voorkomt de "gedeelde geheugen" convergentie die gezien wordt in andere multi-agent systemen waar agents collectief onafhankelijke richtingen verlaten om de enkele beste oplossing te verfijnen.
Orchestrator-gestuurde Schaling:
- De Shepherd Agent beheert het zoekbudget dynamisch door het aantal parallelle agenten en seriële iteraties te variëren op basis van de zoekdiepte.
- Het kan golven van gelijktijdige Explorers lanceren om uit te waaieren over de oplossingsruimte en overschakelen naar het lanceren van Optimizers wanneer dominante oplossingen verschijnen.
- De Shepherd gebruikt prompts om minimale, relevante context te delen (bijv. "ideeën om te vermijden", "nuttige bevindingen") zonder specifieke ideeën voor te schrijven, waardoor de idee-diversiteit behouden blijft.

Evaluatie en Resultaten

De auteurs hebben SWARMRESEARCH geëvalueerd op 15 open-ended optimalisatie-taken binnen drie domeinen: Wiskunde, Systemen en Heuristische Algoritmen. Ze vergeleken het met state-of-the-art baselines:

EvoX: Een LLM-gestuurde evolutionaire baseline.
CORAL: Een state-of-the-art multi-agent systeem met gedeeld geheugen.
Fixed Scaling: Een naïeve baseline die $n$ gelijktijdige agenten uitvoert voor $k$ seriële iteraties.

Prestatie-metrieken

Taaksucces: SWARMRESEARCH ontdekte betere of vergelijkbare oplossingen dan de baselines op 13 van de 15 taken.
- Het overtrof EvoX strikt op 13 taken en kwam er gelijk aan op 1.
- Het overtrof CORAL strikt op 10 taken en kwam er gelijk aan op 2.
Granulariteit van Exploratie: SWARMRESEARCH maakte doorgaans 1,7× tot 3,2× grotere code-wijzigingen (gemeten in regels code die per poging zijn gewijzigd) vergeleken met de baselines. Dit duidt op een hogere frequentie van hoog-niveau aanpak-exploratie in plaats van laag-niveau afstemming.
Schaalefficiëntie: In een vergelijking met optimale fixed scaling (het testen van diverse $(n, k)$ configuraties), presteerde de orchestrator-gestuurde schaling van SWARMRESEARCH beter dan de beste fixed configuratie op 4 van de 5 taken. Het systeem slaagde erin om de parallelliteit op verschillende zoekdieptes aan te passen, waarbij het budget aanvankelijk toewees aan brede exploratie en later aan diepe seriële iteratie.

Casestudy: Speculative Decoding

De auteurs voerden een gedetailleerde casestudy uit naar het optimaliseren van speculative decoding voor LLM-inferentie.

Doel: Maximale token-throughput bereiken terwijl de nauwkeurigheid op reasoning-intensieve taken behouden blijft.
Resultaten: SWARMRESEARCH bereikte een 4,58× versnelling ten opzichte van naïeve vanilla decoding met 60,6% nauwkeurigheid (vs. 65,8% baseline).
Vergelijking: In dezelfde tijdsperiode (~12 uur) bereikte autoresearch slechts een 1,80× versnelling, en CORAL bereikte 2,26×.
Ontdekkingen: Het systeem ontdekte systeem-niveau optimalisaties (bijv. batching van target forward passes, persistente thread pools voor distributieconstructie) en adaptieve expert-telling (MoE) die niet aanwezig waren in de baselines. Het verkende ook versoepelde acceptatievoorwaarden, hoewel sommige nieuwe pogingen (bijv. "comonotone sampling") bij een rigoureuze controle onjuist bleken te zijn.

Betekenis en Claims

Het artikel beweert dat harness engineering — specifiek het beheer van context en programmavisie-beheer — een kritieke factor is voor het succes van langlopende coding agenten.

Divergente Ontdekking: Door agenten te ontkoppelen van lange, convergerende gesprekshistorieën en alternatieve programmastaten te bewaren via Git-branching, vermijdt het systeem de "gulzige lokale zoektocht" die gebruikelijk is bij single-agent of shared-memory multi-agent systemen.
Autonome Schaling: De orchestrator-subagent architectuur maakt adaptieve test-time schaling mogelijk, waarbij de balans tussen exploratie (parallellisme) en exploitatie (seriële verfijning) dynamisch wordt aangepast zonder handmatige hyperparameter-tuning.
Beperkingen: De auteurs merken bescheiden op dat de harness de creativiteit van de onderliggende LLM's niet inherent verbetert; de verkende benaderingen zijn nog steeds tendentieel variaties van bekende methoden. Bovelijk is het strategische sturende gedrag van de Shepherd Agent momenteel afhankelijk van prompts, en de geteste modellen hadden soms moeite met het synthetiseren van complexe strategische plannen zonder expliciete begeleiding.

Het werk positioneert SWARMRESEARCH als een minimale, interoperabele basis voor toekomstige harnesses en training op open-ended ontdekking, waarbij wordt benadrukt dat structurele ontwerpkeuzes de ontdekkingscapaciteiten van bestaande coding agenten aanzienlijk kunnen versterken.