An Empirical Study of Coordination Mode as the First-Class Citizen in From-Scratch Multi-Agent Coding
Dit artikel introduceert MSEval, een rigoureuze benchmark voor multi-agent coderen vanaf de basis die gebruikmaakt van real-world full-stack projecten en een geautomatiseerd evaluatiekader om aan te tonen dat organisatorische topologie de afwegingen tussen snelheid, kosten en kwaliteit aanzienlijk beïnvloedt, wat vaak even belangrijk is als modelcapaciteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin het bouwen van software geen eenzaam beroep is voor een enkele geniale programmeur, maar een bruisende bouwplaats die wordt gerund door een team van digitale werkers. Dit is het domein van Multi-Agent Systemen, waar kunstmatige intelligentie (AI) niet alleen een enkele regel code schrijft, maar samenwerkt om complete applicaties vanaf de grond af aan te bouren. Denk aan een groep vrienden die probeert een boomhut te bouwen: de één ontwerpt de blauwdrukken, een ander zaagt het hout en een derde schildert de wanden. Maar hier komt de crux: als ze niet met elkaar praten, of als ze ruzie maken over wie de hamer bezit, kan de boomhut scheef, onafgewerkt of volledig ingestort eindigen. Lange tijd testten wetenschappers deze AI-teams door te vragen: "Kan één agent een kapot speelgoed repareren?" Maar de echte wereld is rommeliger. Het vraagt: "Kan een heel team een wolkenkrabber bouwen, meningsverschillen afhandelen en op tijd klaar zijn zonder door het budget heen te raken?" Dit is de grote vraag waar onderzoekers nu mee worstelen: hoe meten we of een team van AI-agents daadwerkelijk kan samenwerken om echte software te creëren, in plaats van dat ze alleen maar doen alsof?
Maak kennis met MSEval, een nieuwe "gym" voor het testen van AI-teams, gecreëerd door onderzoekers van de Tsinghua Universiteit en het Zhongguancun Laboratorium. In plaats van de AI-teams een kant-en-klare blauwdruk te geven waarin elke schroef precies is gespecificeerd, geeft MSEval hen een ruw idee — zoals een opdracht van een leraar — en kijkt toe hoe ze een full-stack webapp vanaf de basis opbouwen. De onderzoekers zetten een enorme experimentele opzet op met 100 verschillende scenario's, waarbij ze 10 echte projecten (zoals een live-streaming platform voor onderwijs of een instant messaging app) mengden met 10 verschillende manieren waarop het AI-team zichzelf kon organiseren. Sommige teams werkten als een strikte lopende band, waarbij het werk in een keten werd doorgegeven; anderen gedroegen zich als een zwerm bijen, die taken oppakten zodra ze die zagen; sommige hadden zelfs een "manager"-AI die over iedereen waakte, terwijl anderen de agents tegen elkaar lieten strijden.
Het team keek niet alleen naar de vraag of de uiteindelijke app werkte; ze maten alles. Ze volgden hoe lang het duurde (wandkloktijd), hoeveel het kostte in digitale valuta (tokens) en hoe vaak de AI zijn eigen fouten moest herstellen. Ze gebruikten een speciale geautomatiseerde beoordelaar genaamd TAgent, die fungeert als een superstrenge assistent-docent. TAgent leest niet alleen de code; het bezoekt daadwerkelijk de live website, klikt op knoppen, controleert of de login werkt en scant de code op verborgen beveiligingslekken. Vervolgens geeft het het team specifieke feedback, zoals: "Je chatfunctie werkt, maar je bent vergeten de berichten op te slaan," waardoor het team opnieuw kan proberen.
De resultaten waren oogopeninggevend. De studie toonde aan dat hoe het team is georganiseerd net zo belangrijk is als hoe slim de AI-modellen zijn. Sterker nog, het veranderen van de "topologie" van het team (hun organisatiestructuur) kon de eindscore met meer dan 30 punten laten schommelen en de tijd die nodig was om te voltooien verdubbelen. Bijvoorbeeld, een gestructureerde pijplijn waarbij agents het werk in duidelijke fasen aan elkaar doorgeven, produceerde vaak de hoogste kwaliteit resultaten in de kortste tijd. In contrast hiermee kwamen teams met zwaar manageriaal toezicht of chaotische "zwermgedrag" vaak in de knoop, waarbij ze tijd en geld verspilden aan discussies of dubbel werk. Interessant genoeg ontdekten de onderzoekers dat het hebben van krachtigere AI-modellen simpelweg niet succes garandeerde; een iets minder krachtig model met een betere teamstructuur presteerde vaak beter dan een superintelligent model met een verward team.
Het paper onthulde ook dat deze AI-teams zelden volledig "crashen". In plaats daarvan bouwen ze meestal een werkend maar incompleet systeem. De meest voorkomende fouten waren geen catastrofale fouten, maar ontbrekende functies of logische hiaten — zoals een deur die wel opengaat, maar niet op slot gaat. De studie suggereert dat voor AI-teams om in de toekomst echt nuttig te zijn, we hun samenwerkingsstijl als een flexibele tool moeten behandelen. We moeten niet alleen de "slimste" AI kiezen en op het beste hopen; we moeten zorgvuldig ontwerpen hoe ze communiceren, wie welk deel van het project bezit en wanneer ze moeten stoppen en zaken moeten herstellen. MSEval bewijst dat in de race om software te bouwen, het geheime ingrediënt niet alleen pure intelligentie is; het is de kunst van coördinatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.