🤖 AI

Planner Matters! An Efficient and Unbalanced Multi-agent Collaboration Framework for Long-horizon Planning

Dit artikel stelt "Planner Matters" voor, een efficiënt multi-agentkader dat door middel van systematische analyse en versterkende leer aantoont dat het concentreren van modelcapaciteit en optimalisatie op een hoog-niveau planner—terwijl uitvoerings- en geheugencomponenten worden bevroren—de automatisering van taken op lange termijn aanzienlijk verbetert op het gebied van webnavigatie, besturing van besturingssystemen en het gebruik van hulpmiddelen.

Oorspronkelijke auteurs: Wenyi Wu, Sibo Zhu, Kun Zhou, Biwei Huang

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenyi Wu, Sibo Zhu, Kun Zhou, Biwei Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom één Brein Niet Genoeg is

Stel je voor dat je probeert een complex meubelstuk uit een platte verpakking te bouwen terwijl je blinddoek draagt, en je bent volledig afhankelijk van iemand anders om te beschrijven wat je ziet. Als je probeert alles tegelijk te doen – het blauwdruk te begrijpen, de juiste schroef te vinden en die vast te draaien – kun je overweldigd raken. Je kunt de verkeerde schroef vastdraaien omdat je te gefocust was op het blauwdruk, of je kunt het blauwdruk vergeten omdat je te gefocust was op de schroef.

Dit is het probleem waar huidige AI-agenten voor staan. Ze proberen een "super-brein" te zijn dat de hele reis plant en tegelijkertijd de auto bestuurt. De auteurs van dit paper betogen dat deze aanpak inefficiënt is. In plaats daarvan stellen ze voor het werk op te splitsen in drie distincte rollen, zoals een klein bouwteam:

De Planner (De Voorman): Deze agent raakt de gereedschappen nooit aan. Zijn enige taak is om het grote plaatje te bekijken, het project op te delen in stappen en de strategie te bepalen.
De Actor (De Werknemer): Deze agent doet het fysieke werk. Het leest de instructies van de Voorman en klikt op knoppen, typt tekst of scrolt over het scherm. Het maakt zich geen zorgen over het "waarom", alleen over het "hoe".
De Geheugenbeheerder (De Bibliothecaris): Deze agent houdt een notitieboek bij van wat er is gebeurd. Het herinnert de Voorman aan eerdere fouten of succesvolle trucs, zodat ze niet opnieuw het wiel hoeven uit te vinden.

Het Grote Ontdekking: De Voorman is het Belangrijkst

De onderzoekers voerden een reeks experimenten uit om te zien waar ze hun "rekenkracht" (de hersenkracht van de AI) het beste konden besteden. Ze vroegen zich af: Als we de Voorman slimmer maken, of de Werknemer sterker, of de Bibliothecaris sneller, wie helpt dan het meest?

Het antwoord was verrassend: Het draait allemaal om de Voorman (de Planner).

De Analogie: Stel je een team van drie mensen voor. Als je een geniale architect (Planner) huurt, maar hen een gewone metselaar (Actor) en een standaard notulist (Geheugen) geeft, wordt het gebouw perfect opgetrokken. Maar als je een wereldklasse metselaar en een supersnelle notulist huurt, maar hen een verwarde architect geeft, zal het gebouw toch in elkaar storten.
De Bevinding: Het paper toont aan dat het upgraden van de intelligentie van de Planner enorme verbeteringen in succespercentages oplevert. Daarentegen verandert het veel groter of slimmer maken van de Actor of Geheugenbeheerder het resultaat nauwelijks. De "flesnek" is bijna altijd de planning.

De Oplossing: Train de Voorman, Bevries de Rest

Op basis van deze ontdekking creëerden de auteurs een nieuwe trainingsmethode. Normaal gesproken probeer je bij het trainen van een AI het hele systeem tegelijk te verbeteren. Maar hier deden ze iets anders:

Ze hielden de Actor en Geheugenbeheerder exact hetzelfde (bevroren). Ze veranderden ze helemaal niet.
Ze richtten 100% van hun trainingsenergie op de Planner.
Ze gebruikten een "VLM-as-judge" (een zeer slimme AI-rechter) om naar de hele voltooide taak te kijken. Lukt het de agent? Zo ja, dan krijgt de Planner een hoge score. Zo nee, dan krijgt de Planner een lage score.
De Planner leert van deze scores om beter te worden in het maken van plannen, terwijl de Werknemer gewoon blijft doen wat er wordt gezegd.

De Resultaten: Slimmere Planning, Goedkopere Rekenkracht

De resultaten waren indrukwekkend. Door uitsluitend te focussen op de Planner:

Prestaties Schoten Omhoog: Een open-source AI-model (Qwen2.5-7B) met deze "Planner-Centric" opstelling presteerde beter dan veel duurdere, gesloten bronreuzen zoals GPT-4o en Gemini-2.5-Pro bij complexe webtaken.
Efficiëntie: Ze hoefden geen krachtigere computers voor het hele team te kopen. Ze maakten alleen de "Voorman" slimmer, en het hele team werkte beter.
Veelzijdigheid: Deze aanpak werkte niet alleen voor het browsen op websites, maar ook voor het besturen van computerbesturingssystemen en het gebruik van softwaretools.

Samenvatting

Het paper betoogt dat AI-agenten om lange, complexe taken aan te kunnen, niet alleen maar groter moeten worden gemaakt. In plaats daarvan moeten we specialiseren. We hebben een toegewijde, zeer intelligente "Planner" nodig om de strategie te hanteren, terwijl we eenvoudigere, kleinere modellen de uitvoering en het geheugen laten verzorgen. Door de Planner specifiek te trainen om de beste besluitvormer te zijn, kunnen we agenten bouwen die slimmer, betrouwbaarder en efficiënter zijn.

Technische Samenvatting: Planner Matters! Een Efficiënt en Ongelijkmatig Multi-agent Samenwerkingskader voor Lange-termijn Planning

Probleemstelling

Agenten op basis van taalkundige modellen (LM) hebben capaciteiten aangetoond voor het automatiseren van complexe taken uit natuurlijke taal-instructies, maar blijven worstelen met lange-termijn planning en redenering. Een kernprobleem dat is geïdentificeerd, is dat een enkele monolithische agent vaak niet tegelijkertijd uitblinkt in hoog-niveau doelmanagement en laag-niveau actie-uitvoering. Wanneer een agent zich te sterk richt op laag-niveau details, kan hij lokale stappen correct uitvoeren maar het algemene doel missen (bijvoorbeeld: correct klikken maar opties niet vergelijken). Omgekeerd kan een te sterke focus op hoog-niveau doelen leiden tot uitvoeringsfouten door kleine vergissingen (bijvoorbeeld: het missen van statuswijzigingen). Bestaande agenten staan ook voor uitdagingen bij taken die complexe compositieve intenties, vergelijkingen uit meerdere bronnen en gefilterde selectie vereisen.

Methodologie

1. Decompositie van het Multi-agent Kader

De auteurs stellen een multi-agent kader voor dat automatisering decomposeert in drie gespecialiseerde rollen:

Planner: Verwerkt hoog-niveau doelontleding, genereert initiële plannen en werkt deze incrementeel bij op basis van observaties en uitvoeringsgeschiedenis.
Actor: Vertaalt de subdoelen van de Planner naar concrete, uitvoerbare acties (bijvoorbeeld: Klik, Typ, Scroll, ToolInvoke) binnen de digitale omgeving.
Geheugenbeheerder: Haalt relevante context op en werkt deze bij, en voorziet de Planner van een hybride geheugen bestaande uit:
- Discreet Geheugen ( $M^d_t$ ): Gestructureerde, tekstuele samenvattingen van kritieke stappen uit eerdere succesvolle trajecten.
- Continue Geheugen ( $M^c_t$ ): Latente representaties die lange-termijn, multimodale trajectinformatie coderen in compacte embeddings.

Het systeem werkt in een iteratieve lus waarbij de Planner gefocuste subdoelen communiceert naar de Actor, en de Geheugenbeheerder ondersteuning biedt bij contextopvraging.

2. Systematische Analyse van Toewijzing van Rekenkracht

Een centrale bijdrage van het werk is een systematische analyse van hoe modelcapaciteit over deze componenten moet worden verdeeld. Door gecontroleerde schalingsexperimenten uit te voeren met modellen van verschillende groottes (bijvoorbeeld Qwen2.5-VL-3B/7B/32B), vonden de auteurs dat:

Planning de dominante bottleneck is: Het schalen van de Planner levert de grootste marginale prestatiewinsten op.
Ongelijkmatige efficiëntie: Het upgraden van alleen de Planner levert prestatiewinsten op die vergelijkbaar zijn met het gelijktijdig schalen van alle componenten.
Lage gevoeligheid van andere componenten: De Actor en de Geheugenbeheerder vereisen aanzienlijk minder rekenkracht en modelcapaciteit om concurrerende resultaten te bereiken. De Geheugenbeheerder toonde de kleinste gevoeligheid voor schaal.

3. Planner-gerichte Versterkende Leerling (RL)

Op basis van het inzicht dat planning de primaire bottleneck is, introduceren de auteurs een planner-gerichte versterkende leerling-aanpak:

Bevroren Componenten: De Actor en de Geheugenbeheerder worden bevroren tijdens het trainen.
Optimalisatiedoel: Alleen de Planner wordt geoptimaliseerd.
Beloningssignaal: Het systeem maakt gebruik van beloningen op trajectniveau die zijn afgeleid van een VLM als rechter (Qwen2.5-VL-32B). De rechter evalueert het volledige episode (plannen, screenshots, eindantwoord) op basis van taakcorrectheid, redeneercoherentie en interactie-efficiëntie, en kent een score toe van 1, 3 of 5.
Algoritme: De auteurs passen Group Relative Policy Optimization (GRPO) toe met on-policy rollouts. De beloning op trajectniveau wordt uitgezonden naar alle stappen binnen een rollout om het beleid van de Planner bij te werken.

Belangrijkste Bijdragen

Identificatie van de Planningsbottleneck: Het artikel levert empirisch bewijs dat bij lange-termijn agent-taken planningscapaciteit de primaire drijver van succes is, terwijl uitvoering en geheugenbeheer minder rekenkracht vereisen.
Ongelijkmatig Multi-agent Architectuur: De auteurs stellen een kader voor dat dit inzicht benut door het merendeel van de modelcapaciteit toe te wijzen aan de Planner, waardoor het gebruik mogelijk wordt van kleinere, efficiëntere modellen voor de Actor en de Geheugenbeheerder.
Planner-gerichte RL-strategie: Een nieuwe trainingsstrategie die uitsluitend de Planner optimaliseert met behulp van beloningen op trajectniveau, waardoor de rolverwarring en concurrerende doelen worden vermeden die vaak voorkomen bij gezamenlijke training van plannings- en uitvoeringsmodules.
Uitgebreide Evaluatie: Uitgebreide experimenten op webnavigatie (WebVoyager, Mind2Web, MMInA), besturingssysteemcontrole (OSWorld) en toolgebruik (MCPBench).

Resultaten

Het voorgestelde kader toont robuuste verbeteringen over verschillende benchmarks en modelgroottes:

Prestatiewinsten: Op de WebVoyager-benchmark bereikte een Qwen2.5-VL-7B-ruggengraat met het multi-agent setup en planner-gerichte RL een 35,1% algehele succesratio, een 180,8% relatieve verbetering ten opzichte van zijn single-model baseline (12,5%) en het overtreffen van gesloten-bron baselines zoals GPT-4o (19,7%) en Gemini-2.5-Pro (29,6%).
Efficiëntie: Het kader bereikt deze winsten met een ongelijkmatige configuratie (bijvoorbeeld: 7B Planner + 3B Actor + 3B Geheugen), wat aantoont dat het concentreren van capaciteit op planning efficiënter is dan het uniform schalen van alle componenten.
Generalisatie: De methode toont sterke generalisatie naar taken buiten het domein (bijvoorbeeld OSWorld en MCPBench) en verschillende interface-indelingen, wat aangeeft dat de geleerde planningscapaciteiten effectief worden overgedragen.
Ablatiestudies:
- Het trainen van alleen de Planner presteerde beter dan het trainen van alleen de Actor of het gezamenlijk trainen van beide, wat bevestigt dat gefocuste optimalisatie van hoog-niveau redenering superieur is.
- De opname van continu geheugen bood consistente, zij het kleinere, verbeteringen ten opzichte van alleen discreet geheugen.

Betekenis en Aanspraken

Het artikel beweert dat het ontkoppelen en prioriteren van planningscapaciteit een kritieke strategie is voor het bereiken van state-of-the-art prestaties in lange-termijn agenten onder beperkte rekenbudgetten. De auteurs stellen dat hun bevindingen overeenkomen met principes uit de cognitieve neurowetenschap met betrekking tot hoog-niveau uitvoerende controle als een bottleneck in complexe taken.

Het werk biedt praktische richtlijnen voor de toewijzing van rekenkracht in multi-agent systemen, waarbij wordt gesuggereerd dat ontwikkelaars in plaats van alle componenten gelijkmatig te schalen, hun middelen moeten richten op de planningsmodule. De auteurs positioneren hun aanpak als een rekenkracht-efficiënt alternatief voor monolithische schaling, waardoor kleinere open-source modellen kunnen concurreren met of grotere gesloten-bron modellen kunnen overtreffen in complexe automatiseringstaken. De code is publiek vrijgegeven om reproduceerbaarheid te ondersteunen.