🤖 AI

ForestBench: A Unified Graph Framework for Evaluating Multi-Agent Collaboration

ForestBench introduceert een verenigd graafgebaseerd evaluatiekader dat diverse sporen van multi-agent-systemen in kaart brengt naar een gedeelde representatieruimte, wat een snelle, model-agnostische beoordeling van de kwaliteit van samenwerking mogelijk maakt door deze te vergelijken met vooraf berekende bossen van geverifieerd succesvolle uitvoeringspaden.

Oorspronkelijke auteurs: Guo Chen, Ziwen Li, Reed Li, Yu Lu, Haibo Shi, Bingbing Xu, Junjie Huang

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guo Chen, Ziwen Li, Reed Li, Yu Lu, Haibo Shi, Bingbing Xu, Junjie Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin teams van digitale helpers, aangedreven door gigantische breinachtige computers genaamd Large Language Models (LLM's), worden ingehuurd om complexe puzzels op te lossen. Deze teams, bekend als Multi-Agent Systems (MAS), zijn als een groep vrienden die samenwerken: de één plant de route, een ander rijdt de auto, een derde controleert de kaart en een vierde vraagt om hulp als ze verdwaald zijn. De grote belofte is dat door het werk te verdelen en met elkaar te praten, ze problemen kunnen oplossen die een enkel persoon (of een enkele computer) niet alleen aan zou kunnen. Maar hier is de crux: op dit moment weten we alleen of ze geslaagd zijn door naar het eindantwoord te kijken, zoals controleren of een wiskundeprobleem het juiste getal heeft opgeleverd. We weten niet echt hoe ze hebben samengewerkt. Hebben ze gedebatteerd? Hebben ze elkaar genegeerd? Hebben ze tijd verspild door steeds hetzelfde te herhalen? Het is alsoals een basketbalwedstrijd beoordelen op basis van de einduitslag, terwijl je negeert of het team daadwerkelijk de bal heeft gepasst of dat slechts één speler de hele tijd de bal heeft vastgehouden.

Dit is waar een nieuw idee genaamd ForestBench om de hoek komt kijken. De onderzoekers achter dit project realiseerden zich dat om deze digitale teams echt te begrijpen, we moeten stoppen met alleen naar het eindresultaat te kijken en moeten beginnen met het bekijken van de "dans" van hun samenwerking. Ze hebben een speciale tool gebouwd die de rommelige, verschillende manieren waarop deze teams praten en werken, omzet in één helder beeld — een kaart van verbindingen. In plaats van te vragen: "Hebben ze het goed gedaan?", vraagt ForestBench: "Hoe hebben ze samengewerkt, en lijkt hun teamwork op dat van andere succesvolle teams?" Het is alsof je een bibliotheek hebt van perfecte dansroutines (een "bos" van bomen) om de prestaties van een nieuw team tegen te leggen, in plaats van alleen maar te zeggen "goed gedaan" of "slecht gedaan" op basis van de laatste pose.

Het Probleem: De "Eindantwoord"-valstrik

Al een lange tijd testen wetenschappers deze AI-teams met standaardtests, zoals wiskundequizes of programmeeruitdagingen. Maar deze tests hebben een blinde vlek. Ze geven alleen om de vraag of het eindantwoord correct is. Als twee teams hetzelfde juiste antwoord krijgen, behandelt de test hen als gelijk. Maar wat als het ene team urenlang heeft gedebatteerd en veel energie heeft verspild, terwijl het andere team in perfecte harmonie werkte? De oude tests kunnen het verschil niet zien. Ze gooien alle interessante details van de samenwerking weg.

Sommigen probeerden dit op te lossen door een andere AI als rechter in te zetten, die de chatlogs van het team leest en beslist of het teamwork goed was. Maar dit is duur, traag en hangt af van welke AI de beoordeling uitvoert. Het is alsof je een andere scheidsrechter vraagt om elke wedstrijd te kijken; soms houden ze van een specifiek speelstijl, en soms niet, wat het moeilijk maakt om teams eerlijk te vergelijken.

De Oplossing: Chaos omzetten in een Kaart

De auteurs van dit artikel stellen een slimme oplossing voor: Grafen (Graphs). Denk aan een graaf als een eenvoudige tekening met stippen en lijnen. In dit geval wordt elke keer dat een AI-agent (een digitale werker) iets doet — zoals een bericht verzendt, een tool gebruikt of een beslissing neemt — een stip. Elke keer dat het werk van één agent wordt gebruikt door een andere agent, verbindt een lijn hen met elkaar.

Dit verandert een rommelig gesprek in een schone, gestructureerde kaart. Het maakt niet uit of de agents "Bob" of "Agent 1" heten, of dat ze in verschillende talen praten; de kaart laat alleen zien wie wat deed en naar wie er geluisterd werd. Deze kaart wordt een Collaboration Graph genoemd. Door elke prestatie van een team om te zetten in een graaf, kunnen de onderzoekers verschillende teams eindelijk op hetzelfde speelveld met elkaar vergelijken.

De "Bos"-metafoor

Dit is het meest creatieve deel. De onderzoekers realiseerden zich dat er niet slechts één perfecte manier is om een probleem op te lossen. Een team kan een wiskundeprobleem oplossen door heen en weer te debatteren, terwijl een ander team het oplost door een leider taken toe te wijzen aan specialisten. Beide manieren werken, maar ze zien er heel verschillend uit.

Als de onderzoekers slechts één "perfecte" manier zouden kiezen om een probleem op te lossen en iedereen daarmee zouden vergelijken, zouden ze teams die een andere, maar nog steeds succesvolle stijl gebruiken, onterecht straffen. Dus, in plaats van een enkele "Gouden Standaard"-boom, bouwden ze een Reference Forest (Referentiebos).

Stel je een bos voor waarin elke boom een andere manier vertegenwoordigt om succesvol een probleem op te lossen. Sommige bomen zijn hoog en recht (zoals een strikt plan), terwijl anderen bossig en vertakt zijn (zoals een vrij vloeiend debat). Wanneer een nieuw AI-team een taak probeert uit te voeren, kijkt ForestBench niet alleen of ze overeenkomen met één specifieke boom. In plaats daarvan controleert het of hun "kaart" past binnen het hele bos. Het vraagt: "Lijkt jouw teamwork op een van de succesvolle manieren die we eerder hebben gezien?"

Hoe het in de praktijk werkt

Om dit systeem te bouwen, deden de onderzoekers drie hoofdzaken:

De juiste puzzels vinden: Ze bekeken 7 verschillende publieke datasets (verzamelingen van vragen) en filterden de makkelijke eruit. Ze hielden alleen 844 vragen over die complex genoeg waren om samenwerking te vereisen. Als een vraag te simpel was, kon een enkele AI deze alleen oplossen, en was er geen interessante samenwerking om te bestuderen.
Het bos bouwen: Ze draalden 6 verschillende populaire AI-teamframeworks op deze 844 vragen. Voor elke vraag verzamelden ze 10 verschillende succesvolle pogingen. Deze 10 succesvolle "kaarten" werden het Reference Forest voor die specifieke vraag.
Het scoreformulier maken: Ze bedachten een reeks regels om de kaarten te meten. Ze kijken naar zaken als:
- Forest Match: In hoende mate lijkt de kaart van dit team op de succesvolle kaarten in het bos?
- Node Validity: Werd het werk van iedereen gebruikt, of praatten sommige agents tegen de leegte?
- Redundantie: Bleef het team dezelfde informatie steeds opnieuw geven?
- Efficiëntie: Hoeveel "tokens" (de digitale munteenheid van AI-denken) hebben ze uitgegeven?

Wat ze ontdekten

Toen ze 6 verschillende AI-teamframeworks testten met behulp van ForestBench, ontdekten ze enkele verrassende dingen die de oude "eindantwoord"-tests misten:

Nauwkeurigheid is niet alles: Een framework genaamd "Debate" behaalde het hoogste aantal correcte antwoorden. Maar wanneer je naar de kaart keek, was het eigenlijk het minst vergelijkbaar met de succesvolle patronen in het bos. Het was ook het duurst, omdat het bijna twee keer zoveel rekenkracht gebruikte als het goedkoopste team.
Verborgen gebreken: Een ander framework, "AFlow", had een hoge nauwkeurigheid maar was erg "redundant". Het bleef steeds dezelfde informatie herhalen, zoals een student die steeds dezelfde zin in een essay herschrijft.
Verschillende stijlen voor verschillende taken: Bij sommige taken, zoals programmeren, leek de "Debate"-stijl daadwerkelijk meer op de succesvolle patronen. Dit laat zien dat de "beste" manier om samen te werken afhangt van wat je probeert te doen.

Waarom dit belangrijk is

De grootste overwinning van ForestBench is snelheid en eerlijkheid. Zodra het "bos" van succesvolle kaarten is gebouwd, duurt het controleren van een nieuw team slechts enkele milliseconden en is er geen andere AI nodig om hen te beoordelen. Het is een herbruikbare, objectieve manier om te zien hoe teams werken, niet alleen of ze werken.

De onderzoekers suggereren dat deze aanpak ons helpt begrijpen dat er niet één "perfecte" manier is voor AI-agents om samen te werken. In plaats daarvan moeten we kijken naar de structuur van hun teamwork. Als een team faalt, kan ForestBench ons vertellen waarom: Faalden ze omdat ze niet genoeg praatten? Verspilden ze tijd door zichzelf te herhalen? Of hadden ze gewoon het verkeerde antwoord?

Kortom, ForestBench verplaatst ons van de vraag "Hebben ze gewonnen?" naar "Hoe hebben ze het spel gespeeld?". Door de onzichtbare dans van AI-samenwerking in kaart te brengen, geeft het ons een duidelijkere, eerlijkere manier om betere, slimmere teams van digitale helpers te bouwen.

Technische Samenvatting: ForestBench

Probleemstelling

Multi-agent systemen (MAS) gebouwd op Large Language Models (LLM's) prolifereren, maar het vakgebied mist een verenigde basis voor het evalueren van hoe deze agenten samenwerken. Huidige evaluatieparadigma's lijden aan twee primaire beperkingen:

Outcome-Only Benchmarks: Standaard benchmarks (bijv. GSM8K, MMLU) reduceren uitvoering tot een eindantwoord, waardoor de collaboratieve processen die MAS onderscheiden van single-agent systemen verloren gaan.
Beperkingen van LLM-as-Judge: Procesbewuste evaluatie waarbij LLM's als rechter worden gebruikt, introduceert model-afhankelijke inferentie, terugkerende kosten en reproduceerbaarheidsproblemen door variërende rubrieken en modelgedrag.

Bovendien zijn native executietraces heterogeen, gekoppeld aan frameworks-specifieke event-schema's en rol-vocabularia, wat horizontale vergelijking tussen verschillende MAS-methoden onmogelijk maakt zonder een genormaliseerde representatie.

Methodologie

Het artikel introduceert ForestBench, een generaliseerbaar evaluatiekader dat native MAS-traces naar een uniforme structurele ruimte mapt met behulp van collaboration graphs.

1. Graaf Abstractie

Het framework projecteert elke MAS-executietrace $\tau$ naar een uniforme gerichte acyclische graaf (DAG), $G(\tau) = (V, E, \phi)$ :

Nodes ( $V$ ): Vertegenwoordigen atomaire acties (berichten, tool calls, beslissingen).
Edges ( $E$ ): Vertegenwoordigen informatie-flow afhankelijkheden tussen acties.
Labels ( $\phi$ ): Wijskenonieke rollen toe (uit een gedeelde vocabulaire) en tekstuele inhoud aan nodes.
Deze abstractie is verlieslatend met betrekking tot framework-specifieke runtime-toestanden, maar behoudt de structurele afhankelijkheden (wie draagt bij, wie consumeert, en hoe informatie stroomt), wat de vergelijking van anders incompatibele traces mogelijk maakt.

2. Het Reference Forest

In het besef dat een enkele taak succesvol kan worden opgelost door diverse collaboratieve patronen (bijv. debat, pipelines, swarms), verwerpt het framework het concept van een enkele "gold" proces. In plaats daarvan construeert het een Reference Forest voor elke query:

Reference Trees: Elke geverifieerd succesvolle executietrace wordt behanden als een "boom" in het bos.
Constructie: Voor elke query berekent de benchmark vooraf een set succesvolle grafen ( $K=10$ ) gesampled uit meerdere representatieve MAS-frameworks (bijv. Multi-agent Debate, Swarm, AutoGen).
Conditionering: Deze referenties worden gegenereerd met target-conditioning om ervoor te zorgen dat ze het geverifieerd correcte antwoord bereiken, dienend als een set geldige structurele baselines in plaats van een enkel optimaal pad.

3. Evaluatiemetrieken

Zodra een kandidaat-trace is omgezet naar een graaf, wordt deze tegen het reference forest geëvalueerd met deterministische, niet-LLM metrieken:

Forest Match (FM): Een gewogen gemiddelde van paarwijze gelijkenissen tussen de kandidaat-graaf en alle bomen in het reference forest. Het meet brede afstemming met succesvolle structuren.
Best Similarity: De maximale gelijkenis tussen de kandidaat en een enkele reference tree, wat de nabijheid tot het dichtstbijzijnde geobserveerde succesvolle patroon meet.
Pairwise Similarity: Bestaat uit drie componenten:
- Node Similarity ( $s_{node}$ ): Overlap in canonieke agent-rollen.
- Edge Similarity ( $s_{edge}$ ): Overlap in rol-getypeerde interactiepatronen.
- Topology Similarity ( $s_{topo}$ ): Vergelijking van grafiekgrootte (nodes/edges) om verbositeit te bestraffen zonder complexiteit te belonen.
Auxiliary Metrics: Omvat Node Validity (fractie van acties geconsumeerd downstream), Mean Uptake (semantisch gebruik van upstream content), Content Redundancy, Token Cost, en Topology Efficiency.

Belangrijkste Bijdragen

Unified Graph Framework: Een nieuwe benadering om heterogene MAS-executietraces te normaliseren naar een gedeelde structurele representatie, wat horizontale evaluatie onder consistente criteria mogelijk maakt.
ForestBench Benchmark: De instantiatie van het framework, die het volgende vrijgeeft:
- 844 Collaboration-Necessary Queries: Gefilterd uit zeven publieke datasets (Reasoning, Code, Tool Use, Multi-hop Search) met behulp van een Trace-Suitability Pipeline (TSP) gebaseerd op diepte, breedte en decomponeerbaarheid.
- Reference Forests: 8.440 vooraf berekende, geverifieerd succesvolle collaboratieve grafen (10 per query) afgeleid van zes representatieve MAS-paradigma's.
- Adapters & Metric Panel: Tools om native logs om te zetten naar het uniforme graafformaat en een deterministische metriek-suite.
Empirische Evaluatie: Een uitgebreide evaluatie van zes representatieve MAS-frameworks, die aantoont dat structurele metrieken verschillende collaboratieve patronen kunnen onderscheiden, zelfs wanneer de uiteindelijke nauwkeurigheid gelijk is.

Resultaten

De auteurs voerden experimenten uit waarbij zes MAS-frameworks (Multi-agent Debate, Swarm, AutoGen, MetaGPT, MAS-GPT, AFlow) werden geëvalueerd met DeepSeek-V4-Flash als backbone. Belangrijkste bevindingen zijn:

Ontkoppeling van Nauwkeurigheid en Structuur: Nauwkeurigheid alleen faalde om methoden effectief te scheiden (variërend van slechts 0.531 tot 0.569). Echter, structurele metrieken toonden significante verschillen aan. Zo bereikte het "Debate" framework een hoge nauwkeurigheid maar de laagste Forest Match en hoogste tokenconsumptie, terwijl "MAS-GPT" een hogere structurele afstemming vertoonde.
Structurele Discriminatiekracht: De Forest Match-metriek slaagde erin om methoden met vergelijkbare nauwkeurigheid te onderscheiden. Bijvoorbeeld, het "Debate" framework vertoonde een lage gelijkenis met een enkele reference tree ondanks hoge efficiëntie, terwijl "AFlow" een hoge content redundantie vertoonde.
Robuustheid: De evaluatie-rangschikkingen bleven stabiel (Kendall $\tau$ en Spearman $\rho$ van 1.00) wanneer het reference forest werd geconstrueerd met verschillende backbone LLM's (DeepSeek, Claude, GPT) of wanneer specifieke generator-frameworks uit de referentieset werden uitgesloten.
Efficiëntie: Zodra het reference forest is opgebouwd, duurt het scoren van een nieuwe trace milliseconden en is er geen verdere LLM-inferentie nodig, wat een aanzienlijk kostenvoordeel biedt ten opzichte van LLM-as-Judge methoden.

Betekenis en Claims

Het artikel claimt dat ForestBench een consistente en structureel gefundeerde basis biedt voor het evalueren van multi-agent methoden. De betekenis ligt in:

Procesbewustzijn: Verder gaan dan alleen outcome-evaluatie om het "samenwerkingsaspect" van MAS vast te leggen.
Reproduceerbaarheid: Het elimineren van de variabiliteit en kosten van LLM-gebaseerde oordelen door deterministische graafstatistieken te gebruiken.
Pluraliteit van Succes: Door een "bos" van referentiebomen te gebruiken in plaats van een enkele gouden standaard, erkent het framework dat meerdere verschillende collaboratieve patronen tot succes kunnen leiden, waardoor de bias wordt vermeden die één specifieke coördinatieparadigma bevoordeelt.
Diagnostisch Vermogen: De structurele metrieken stellen onderzoekers in staat om te diagnosticeren waarom een systeem faalt of slaagt (bijv. structurele mismatch versus contentfout) en inefficiënties te identificeren zoals redundante content of ongebruikte acties die onzichtbaar zijn in final-answer metrieken.

De auteurs positioneren dit werk als een beschrijvend instrument voor het analyseren van geobserveerde uitkomsten en structurele afstemming, en bieden een herbruikbare fundering voor het vergelijken van diverse MAS-collaboratieve traces zonder dat de referentiedata voor elke nieuwe evaluatie opnieuw gegenereerd hoeft te worden.