💬 NLP

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

StructAgent introduceert een op staat gebaseerd framework dat verenigde causale structuren aanwendt om langdurige digitale agent-taken te beheren, waarbij het succespercentages en de generaliseerbaarheid aanzienlijk verbetert over diverse LLM/VLM-backbones en omgevingen door het mogelijk maken van verifieerbare, op bewijs gebaseerde voortgangsbewaking en herstel.

Oorspronkelijke auteurs: Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om een lange, ingewikkelde taak uit te voeren, zoals: "Zoek de foto in mijn laatste e-mail, sla hem op en stel hem in als je bureaubladachtergrond." Als je de robot simpelweg zegt "ga ermee aan de slag" en hem met zichzelf laat chatten terwijl hij werkt, loopt het snel mis. De robot kan vergeten wat hij net heeft gedaan, in de war raken door een mislukte poging, of denken dat hij klaar is terwijl hij eigenlijk nog midden in de taak zit. Het is alsof je een doolhof probeert te navigeren met een blinddoek op en alleen de laatste stap die je hebt gezet onthoudt.

Dit is het probleem dat het paper StructAgent probeert op te lossen. De auteurs stellen dat in plaats van de robot door een enorme, rommelige bende van al zijn eerdere acties te laten dwalen (wat zij "raw interaction history" noemen), we hem een gestructureerd, georganiseerd notitieblok moeten geven om precies bij te houden waar hij staat.

Het Grote Idee: Een "Waarheidsgetrouw" Notitieblok

Het paper stelt een nieuwe manier voor om digitale agenten te laten draaien, genaamd StructAgent. Zie het als het geven van een speciaal, drieledig notitieblok aan de robot, dat hij moet bijwerken voordat hij naar de volgende stap kan gaan. Dit notitieblok is niet zoma van een dagboek; het is een strikt, geverifieerd verslag van de werkelijkheid.

Wat er nog moet gebeuren: Een lijst met de huidige vereisten (bijv. "Ik moet de bijlage van de e-mail vinden").
Wat we weten: Nuttige feiten die tot nu toe zijn verzameld (bijv. "Het bestandspad is /home/user/pics").
Bewijs van werk: Geverifieerd bewijs dat een stap daadwerkelijk is voltooid (bijv. "Ik heb de map gecontroleerd, en het afbeeldingsbestand staat er definitief in").

De magie zit niet alleen in het notitieblok; het zit in de regels voor het gebruik ervan. In de meeste robotsystemen, als de robot zegt "Ik ben klaar", dan is hij klaar. In StructAgent kan de robot niet zomaar de overwinning claimen. Hij moet zijn werk overhandigen aan een Verifier (een strikte scheidsrechter). De Verifier controleert het bewijs. Alleen als de Verifier zegt: "Ja, ik zie het bestand, en het voldoet aan de regels," wordt het notitieblok bijgewerkt. Als de Verifier zegt: "Nee, dat is niet het juiste bestand," blijft het notitieblok ongewijzigd en moet de robot het opnieuw proberen of zijn fout herstellen.

Waar ze tegen strijden

Het paper argumenteert expliciet tegen het idee dat agenten gewoon moeten doorgaan op basis van hun "gevoel" of een lange, ongestructureerde lijst van alles wat ze ooit hebben gedaan. Ze laten zien dat wanneer taken lang en complex worden, deze aanpak met "raw history" de robot de weg doet kwijtraken. De robot raakt begraven onder mislukte pogingen en halfvoltooide klussen, waardoor het onmogelijk wordt om te weten of hij daadwerkelijk vooruitgang boekt of gewoon rondjes draait. StructAgent zegt: "Stop met gokken. Vertrouw niet op een rommelig geheugen. Gebruik een geverifieerde, gestructureerde status."

De Resultaten: Werkt het echt?

De auteurs hebben dit niet alleen bedacht; ze hebben het getest op echte computeropdrachten. Ze voerden experimenten uit op een benchmark genaamd OSWorld-Verified, die test hoe goed agenten echte desktopapplicaties kunnen gebruiken (zo zoals e-mail, spreadsheets en fotobewerkers).

Dit is wat ze vonden, met de exacte cijfers uit hun studie:

Wanneer ze een kleiner AI-model gebruikten, Qwen3.5-9B, steeg het succespercentage van 27,0% (zonder StructAgent) naar 46,9% (met StructAgent). Dat is een enorme verbetering!
Met een iets groter model, Qwen3.5-27B, ging het succespercentage van 31,6% naar 62,2%.
Toen ze hun sterkste open-source model gebruikten, MiniMax-M3, hielp StructAgent het om een succespercentage van 78,9% te bereiken. Dit is de hoogste score die ze vonden voor elke open-source methode op deze specifieke test.

Ze probeerden dit systeem ook in een totaal andere wereld: het computerspel Minecraft. In plaats van desktopbestanden te controleren, controleerde de "Verifier" de inventaris van de speler. Zelfs met deze totaal andere omgeving werkte het systeem, wat aantoont dat het idee van een "geverifieerd notitieblok" flexibel is.

De "Addertjes onder het gras" en Limieten

Het paper is voorzichtig om te zeggen dat dit geen toverstaf is die alles oplost.

Het is nog niet perfect: Zelfs met StructAgent falen sommige taken nog steeds. Wanneer ze naar de fouten keken, ontdekten ze dat ongeveer 33% kwam doordat de robot (de "Actor") de actie verkeerd uitvoerde, 30% omdat de planner in de war raakte, en een ander 30% omdat de verifier iets over het hoofd zag.
Het hangt af van de taak: Het systeem werkt het beste wanneer er duidelijk, controleerbaar bewijs is (zoals een bestand dat op een computer bestaat). Het heeft iets meer moeite met taken die sterk leunen op visuele details (zoals "maak de tekst mooi") waarbij er geen eenvoudig bestand te controleren valt.
Het is een framework, geen enkel model: Het paper laat zien dat deze structuur veel verschillende AI-modellen helpt. Het is niet zo dat ze een nieuw superbrein hebben gebouwd; ze hebben een betere manier gebouwd voor elk brein om zijn werk te organiseren.

De Kernboodschap

Het paper suggereert dat om AI-agenten betrouwbaar te maken voor lange, ingewikkelde banen, we moeten stoppen met ze te behandelen als vrij vloeiende chatbots en ze moeten gaan behandelen als zorgvuldige projectmanagers met een strikte, geverifieerde checklist. Door de agent te dwingen zijn voortgang te bewijzen voordat hij verder gaat, maakt StructAgent deze digitale helpers veel betrouwbaarder, transparanter en in staat om de lange, rommelige taken van de echte wereld aan te kunnen. Het is een stap naar agenten die niet alleen proberen dingen te doen, maar ook echt weten dat ze het gedaan hebben.

Technische Samenvatting: StructAgent

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) en Vision-Language Models (VLMs) heeft digitale agenten in staat gesteld om computergebruikstaken uit te voeren. Echter, real-world taken zijn vaak long-horizon (lange termijn), waarbij complexe workflows met evoluerende contexten betrokken zijn. Terwijl agenten deze taken uitvoeren, accumuleren zij een ruwe interactiegeschiedenis die feitelijke informatie, tussenliggende bewerkingen, mislukte pogingen en gedeeltelijk voltooide executies bevat.

De kernuitdaging die is geïdentificeerd, is dat bestaande agenten doorgaans opereren op basis van deze ruwe, ongestructureerde geschiedenis. Naarmate de context groeit, raakt cruciale informatie begraven en wordt de huidige taakstatus ambigu. Dit gebrek aan structuur maakt het voor agenten moeilijk om:

Een helder causaal begrip van de voortgang van de taak te behouden.
Abnormale staten of tussenliggende fouten tijdig te detecteren.
Nauwkeurige planning en uitvoering te verrichten.
Te herstellen van fouten zonder de volledige geschiedenis opnieuw af te spelen.

Consequent wordt betrouwbare long-horizon executie beperkt omdat agenten moeite hebben met het onderscheiden van geldige voortgang van ruis of zelfgerapporteerde, maar niet geverifieerde voltooiingsclaims.

Methodologie: StructAgent

Om deze uitdagingen aan te pakken, stellen de auteurs StructAgent voor, een staat-gecentreerd framework dat zowel de staat van de agent als de workflow expliciet structureert rond een verenigde causale representatie van de voortgang van de taak. Het framework bestaat uit twee complementaire componenten:

1. Verenigde Agent-staat

In plaats van voortgang af te leiden uit ruwe trajecten, houdt StructAgent een compacte, getypeerde en controleerbare staat $s_t$ bij die dient als een gedeelde interface voor alle modules. De staat wordt gedefinieerd als:
$s_t = (s_t^{req}, s_t^{val}, s_t^{ver})$

$s_t^{req}$ (Requirements/Vereisten): Slaat de vereisten van de huidige subtaak op, waarbij wordt gespecificeerd wat bereikt moet worden en wat de verifieerder moet controleren.
$s_t^{val}$ (Useful Values/Nuttige Waarden): Slaat persistente, nuttige waarden op die tijdens de executie zijn ontdekt (bijv. bestandspaden, URL's, geselecteerde entiteiten).
$s_t^{ver}$ (Verified Evidences/Geverifieerde Bewijzen): Slaat bewijs op dat door de verifieerder is verzameld tijdens het onderzoeksproces, wat auditing en hergebruik mogelijk maakt.

Causaliteit-georiënteerde Transities: Staatsovergangen worden strikt gecontroleerd. De status van een vereiste ( $\sigma_{i,t}$ ) kan alleen veranderen naar VERIFIED (Geverifieerd) of INVALIDATED (Ongeldig gemaakt) op basis van een verifieerder-onderbouwde beslissing. Dit zorgt ervoor dat voortgangsupdates gegrond zijn in verifieerbaar bewijs in plaats van de zelfrapportage van de agent.

2. Gestructureerde Workflow

Het framework werkt volgens een vaste executielus: Planner $\rightarrow$ Actor $\rightarrow$ Verifier $\rightarrow$ State Update.

Planner: Leest de huidige staat om de volgende subtaak ( $g_t$ ) te selecteren. De planner hoeft de voortgang niet opnieuw te reconstrueren uit de ruwe geschiedenis.
Actor: Probeert de subtaak in de omgeving uit te voeren, wat een actietraject ( $\tau_t$ ) produceert.
Verifier: Controleert of de geprobeerde subtaak geldige voortgang heeft opgeleverd middels gestructureerde en agentische probing (bijv. het controleren van bestanden, shell-outputs, applicatiestaten). Het geeft een beslissing ( $d_t$ ) uit om te verifiëren, ongeldig te maken of de staat ongewijzigd te laten.
Memory (Geheugen): Biedt staat-geconditioneerde ondersteuning door subtaken of actiepatronen voor te stellen op basis van herbruikbare ervaring.

Belangrijkste Mogelijkheden

Progress Checkpointing (Voortgangs-checkpointing): De staatshistorie dient als een zelfvoorzienende, mensleesbare snapshot, waardoor agenten de executie kunnen hervatten zonder de volledige interactiegeschiedenis opnieuw af te spelen.
Targeted Failure Recovery (Gerichte Foutherstel): Wanneer de voortgang stagneert, diagnosticeert het systeem het probleem met behulp van geverifieerde bewijzen (bijv. gebrek aan bewijs, conflicterende vereisten) en selecteert specifieke interventies (herplannen, opnieuw proberen, of menselijke overname) in plaats van generieke pogingen.
Tool-Supported Execution (Door Tools Ondersteunde Executie): Terugkerende patronen worden samengevat in herbruikbare procedures. De actor kan deze tools aanroepen, maar de resultaten worden pas aan de staat toegevoegd als ze geverifieerd zijn.

Belangrijkste Bijdragen

Verenigde Staat: Introductie van een compacte, getypeerde en controleerbare staat-representatie die planning, actie en verificatie voorziet van een gedeeld zicht op de voortgang van de taak.
Gestructureerde Workflow: Ontwerp van een planning-actie-verificatie lus waarbij alleen verifieerder-onderbouwde beslissingen progressie kunnen vastleggen, behouden of ongeldig maken.
Brede Empirische Validatie: Demonstratie dat het framework diverse LLM en VLM backbones verbetert bij long-horizon computergebruikstaken en generaliseert over domeinen (desktop, web en Minecraft).

Experimentele Resultaten

OSWorld-Verified (Desktop)

Het framework werd geëvalueerd op OSWorld-Verified, een benchmark voor long-horizon computergebruik. StructAgent verbeterde consequent de prestaties over verschillende backbones:

Qwen3.5-9B: Verbeterde de succesrate van 27,0% (single model) naar 46,9%.
Qwen3.5-27B: Verbeterde de succesrate van 31,6% naar 62,2%.
MiniMax-M3: Bereikte een nieuwe open-source state-of-the-art van 78,9%, waarmee de single-model baseline van 75,2% werd overtroffen.
Domeinprestaties: De winst was het meest uitgesproken bij "Office" taken (spreadsheets, documenten) waar duurzame tussenliggende staten en bestand-gebaseerde controles beschikbaar zijn. Cross-applicatie taken bleven uitdagend, maar zagen verbeteringen met sterkere backbones.

Generalisatie

Web (Mind2Web): StructAgent generaliseerde naar webomgevingen, waarbij het 47,3% (Qwen3.5-9B) en 52,3% (Qwen3.5-27B) behaalde, waarmee het gereproduceerde baselines overtrof. De winst was het sterkst in informatiezoekende taken waar voortgang kan worden bijgehouden via URL's en paginastaten.
Minecraft: Het framework werd in Minecraft geïnstantieerd door desktop-bewijsbronnen te vervangen door inventaris-gebaseerde verificatie. Het behaalde een taak-gewogen gemiddelde succesrate van 76% (vs. 59% voor Optimus-1), wat aantoont dat de staat-update discipline domein-agnostisch is.

Analyse

Verificatiekwaliteit: Gestructureerde verificatie verbeterde de recall van 0,67 naar 0,81 vergeleken met visuele-alleen verificatie, voornamelijk door werkelijke voltooiingen te herstellen die onzichtbaar waren in de uiteindelijke screenshots (bijv. bestaan van bestanden, command outputs).
Foutmodi: Analyse van mislukte trajecten onthulde dat fouten verdeeld zijn over de Planner (30%), de Verifier (30%) en de Actor (33%), wat aangeeft dat long-horizon betrouwbaarheid systeembrede verbeteringen vereist in plaats van enkel het schalen van de actor.

Betekenis en Claims

Het artikel betoogt dat het doel van abstractie is om een semantisch niveau te creëren waarop men "absoluut precies" kan zijn (citatie van Edsger W. Dijkstra). StructAgent bereikt dit door weg te bewegen van continue generatie over ruisige geschiedenissen naar een expliciete causale structuur.

De auteurs beweren dat:

Transparantie en Controle: Door verifieerder-onderbouwde staatsovergangen af te dwingen, wordt de voortgang van de agent transparant, controleerbaar en bestuurbaar.
Robuustheid: Het framework maakt gerichte foutherstel en bewijs-gestuurde taakvoltooiing mogelijk, waardoor de afhankelijkheid van breekbare zelfgerapporteerde "DONE" claims wordt verminderd.
Generaliteit: Het staat-gecentreerde paradigma is niet gebonden aan specifieke modelmaten of desktop-omgevingen; het generaliseert effectief naar webbrowsers en game-omgevingen (Minecraft) door de bewijsbron aan te passen terwijl dezelfde structurele workflow behouden blijft.

Het werk positioneert zichzelf als een systeem-niveau oplossing voor long-horizon betrouwbaarheid, en suggereert dat het structureren van de taakvoortgang zelf even cruciaal is als het verbeteren van de onderliggende taalmodellen.