💬 NLP

Synthetic Computers at Scale for Long-Horizon Productivity Simulation

Dit artikel introduceert "Synthetische Computers op Schaal", een methodologie voor het genereren van realistische, op de gebruiker afgestemde digitale omgevingen met rijke artefacten om productiviteitssimulaties met een lange horizon uit te voeren die de prestaties van agenten aanzienlijk verbeteren door middel van ervaringsgericht leren en een schaalbare basis bieden voor toekomstige agente versterkende leerprocessen.

Oorspronkelijke auteurs: Tao Ge, Baolin Peng, Hao Cheng, Jianfeng Gao

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tao Ge, Baolin Peng, Hao Cheng, Jianfeng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe je een uitstekende kantoormedewerker wordt. Je zou het een paar voorbeelden kunnen laten zien van iemand die een e-mail typt of een spreadsheet invult. Maar echt kantoorwerk gaat niet alleen over typen; het gaat over navigeren door een rommelig digitaal bureau, onthouden wat je vorige week hebt gedaan, het juiste bestand vinden in een map die je drie jaar geleden hebt aangemaakt, en coördineren met een baas die beknopte e-mails stuurt en een cliënt die van gedachten verandert.

Het artikel "Synthetische Computers op Schaal" stelt een manier voor om AI-agenten deze complexe vaardigheden aan te leren zonder de privégegevens van echte mensen nodig te hebben. Hier is hoe ze dat deden, eenvoudig uitgelegd:

1. Het bouwen van "Digitale Geesten" (De Synthetische Computers)

In plaats van het computer van een echt persoon te gebruiken (wat privé is en op onvoorspelbare manieren rommelig), bouwden de onderzoekers 1.000 nep-computers van de grond af.

Het Persona: Eerst creëerden ze een "karakter" voor elke computer. De ene zou "Margaret" kunnen zijn, een senior financieel adviseur in Denver die van Excel houdt en rommel haat. De ander zou een grafisch ontwerper kunnen zijn die 50 versies van hetzelfde bestand bewaart.
Het Digitale Bureau: Ze gebruikten AI om een realistische mapstructuur voor elk karakter op te bouwen. Het was niet alleen een lege harde schijf; het was gevuld met "geestenbestanden" – nep-spreadsheets, oude presentaties en concepten die er precies uitzagen als wat een echt mens over jaren van werk zou hebben gemaakt.
Het Resultaat: Ze creëerden 1.000 unieke digitale werelden, elk met zijn eigen geschiedenis, gewoonten en rommelige (maar georganiseerde) bestandssystemen.

2. De "Maand-Lange" Simulatie

Zodra de nep-computers klaar waren, draaiden ze een enorme simulatie.

De Opzet: Een AI-"manager" keek naar de nep-computer en wees een maand aan realistisch werk toe. Voor Margaret, de financieel adviseur, betekende dit het updaten van investeringsmodellen, het schrijven van rapporten voor een cliënt en het voorbereiden op een bestuursvergadering.
De Werknemer: Een tweede AI-"werknemer" werd in die nep-computer geplaatst. Zijn taak was om als Margaret te handelen. Het moest:
- Door mappen graven om de juiste data te vinden.
- Oude spreadsheets openen om te zien wat er vorig jaar was gedaan.
- E-mails sturen naar "nep-collega's" (die ook AI waren) om feedback te vragen of deadlines te verduidelijken.
- Fouten herstellen en documenten herzien.
De Schaal: Dit was geen snelle taak. Elke simulatie kostte de AI meer dan 8 uur aan realtime rekenkracht en omvatte 2.000+ stappen (beurten) om een enkele maand werk te voltooien.

3. Leren van de "Geest"-Ervaring

Het belangrijkste deel van het artikel is wat er na de simulatie gebeurde.

De Autopsie: De onderzoekers keken niet alleen naar het uiteindelijke rapport dat de AI produceerde. Ze keken naar de hele reis. Ze analyseerden hoe de AI verdwaalde, hoe het zich herstelde van fouten, hoe het met collega's sprak en waar het fouten maakte.
De "Vaardigheidskaarten": Ze zetten deze lessen om in "vaardigheidskaarten". Bijvoorbeeld, ze leerden dat financiële agenten vaak procenten en basispunten door elkaar halen. Ze creëerden een specifieke regel (een vaardigheid) om die fout te voorkomen.
De Test: Ze gaven deze "vaardigheidskaarten" aan een frisse AI-agent en vroegen hem om hetzelfde werk te doen op een nieuwe nep-computer.
- Het Resultaat: De AI met de "vaardigheidskaarten" behaalde aanzienlijk betere scores (ongeveer 7% hoger) dan de AI zonder ze. Het maakte minder fouten en hanteerde de complexe workflow veel beter.

4. Waarom Dit Belangrijk Is (Het "Waarom")

Het artikel betoogt dat we, om AI echt nuttig te maken in de echte wereld, niet alleen simpele taken kunnen geven. We moeten het trainen in complexe, langetermijnomgevingen waar het context moet onthouden en met rommelige bestanden moet omgaan.

De Analogie: Denk aan vliegertraining. Je leert een piloot niet alleen hoe je een vliegtuig draait; je zet ze in een simulator met slecht weer, motorproblemen en een copiloot die verwarrende instructies geeft.
De Claim: Door miljoenen van deze "digitale geest"-computers te creëren, kunnen we oneindige trainingsdata genereren. Dit stelt AI in staat om te leren hoe het een productieve werknemer wordt door te oefenen in een veilige, nep-wereld voordat het ooit een echte raakt.

Samenvatting

De onderzoekers bouwden 1.000 nep-computers bevolkt met nep-bestanden en nep-mensen. Ze lieten AI-agenten een gesimuleerde maand in deze computers wonen, waarbij ze complex werk deden. Door te bestuderen hoe de agenten tijdens dit proces slaagden of faalden, creëerden ze lessen (vaardigheden) die de AI aanzienlijk slimmer maakten in het doen van echt kantoorwerk.

Ze zeggen in feite: "Om een AI een uitstekende werknemer te leren, geef haar niet zomaar een test. Bouw haar een nep-kantoor, laat haar daar een maand werken, en leer haar vervolgens wat ze heeft geleerd."

1. Probleemstelling

Huidige AI-agenten evolueren van conversatie-assistenten naar repository-gebaseerde codeer-agenten en uiteindelijk naar agenten met een lange horizon die in staat zijn om te opereren binnen volledige computeromgevingen van gebruikers. Het trainen en evalueren van deze agenten stuit echter op een kritieke bottleneck: het gebrek aan realistische, grootschalige trainingsdata.

Contextafhankelijkheid: Realistisch productiviteitswerk is sterk afhankelijk van gebruikersspecifieke contexten (directory-structuren, historische bestanden, projectstatussen en feedback van samenwerkende partners).
Data-schaarste: Het verzamelen van real-world trajecten is op grote schaal onuitvoerbaar vanwege privacyzorgen (persoonlijke artefacten, bedrijfsdata) en de hoge kosten van menselijke arbeid.
Beperkingen van bestaande synthetische data: Huidige synthetische data richt zich vaak op geïsoleerde taken of "speelgoed"-werkstromen. Het faalt in het synthetiseren van de rijke, heterogene en artefact-rijke omgevingen (bijv. complexe folderhiërarchieën, inter-bestandsafhankelijkheden) die kenmerkend zijn voor echt professioneel werk.
De Kloof: Er is behoefte aan een methodologie om schaalbare, gebruikersspecifieke synthetische computeromgevingen te genereren die lang-horizon simulaties kunnen ondersteunen (die weken werk beslaan) om agenten te trainen in planning, grounding, samenwerking en creatie van artefacten.

2. Methodologie: Synthetische Computers op Schaal

De auteurs stellen een drie-traps pijplijn voor om deze omgevingen te creëren en te simuleren: Persoon-gedreven Creatie, Omgevingsplanning en Lang-horizon Simulatie.

A. Creatie van Synthetische Computers

Het proces transformeert een hoog-niveau persona in een volledig gevulde, realistische computeromgeving.

Persoon-gedreven Gebruikersprofielen: Beginnend bij een grote pool van persona's (bijv. "Senior Financieel Adviseur"), breidt het systeem deze uit tot gedetailleerde gebruikersprofielen. Deze profielen vangen identiteit, beroep, carrièrehistorie, verantwoordelijkheden, samenwerkende partners en cruciaal, gedrag bij computergebruik (naamgevingconventies, stijlen van bestandsorganisatie, bijlagegewoonten en toolvoorkeuren).
Bestandssysteemplanning:
- Beleidgeneratie: Er wordt een bestandssysteembeleid gegenereerd dat drive-indelingen, standaardpaden en organisatiestijlen definieert (bijv. "Hooge netheid", "Versiesuffixen").
- Directory- en Inventarisplanning: Het systeem plant een coherent directory-boom en een bestandsinventaris. Cruciaal bouwt het een gericht afhankelijkheidsgrafiek op waarbij bestanden geen onafhankelijke steekproeven zijn, maar gekoppeld zijn (bijv. een PDF-rapport is afgeleid van een Excel-model, dat op zijn beurt is afgeleid van een webdownload). Dit zorgt voor logische consistentie en kruisbestandsreferenties.
Creatie van Artefacten:
- Het systeem materialiseert de directory-structuur.
- Het vult bestanden met behulp van LLM-agenten die zijn uitgerust met specifieke hulpmiddelen voor artefactcreatie (bijv. minimax-docx, minimax-xlsx).
- Bestanden worden gegenereerd in afhankelijkheidsvolgorde (topologische sortering), zodat downstream-bestanden de inhoud van upstream-bestanden correct refereren. Openbare webartefacten worden opgehaald indien beschikbaar; anders worden ze gesynthetiseerd.

B. Lang-horizon Productiviteitssimulatie

Zodra een synthetische computer klaar is, draait een simulatie met twee verschillende agenten:

Setup-agent:
- Analyseert het gebruikersprofiel en de huidige computerstatus.
- Genereert productiviteitsdoelen die op de gebruiker zijn toegespitst (bijv. "Vernieuw Modelportefeuilles 2026", "Onboarding van een nieuwe HNW-client"). Deze doelen beslaan ongeveer één maand menselijk werk en vereisen meerdere professionele leveringen (rapporten, spreadsheets, presentaties).
- Stelt gesimuleerde samenwerkende partners op (managers, collega's, cliënten, compliance-officers) met specifieke rollen, communicatiestijlen en privé-referentiematerialen die de user-agent moet aanvragen of ontvangen.
Werk-agent:
- Treedt op als de gebruiker binnen de synthetische computer.
- Werkt volgens een wekelijkse plannings- en dagelijkse uitvoeringslus.
- Acties: Navigeert door het bestandssysteem, leest bestaande artefacten, creëert/herwerkt bestanden, communiceert met samenwerkende partners (e-mailen, data aanvragen) en verwerkt feedback.
- Duur: Simulaties gemiddeld 2.272 beurten en 8,59 uur agent-runtime per computer.

3. Belangrijkste Bijdragen

Synthetische Computers op Schaal: Een nieuwe methodologie om 1.000+ diverse, artefact-rijke, gebruikersspecifieke computeromgevingen te genereren die echte professionele werkstromen nabootsen.
Afhankelijkheidsbewuste Artefactgeneratie: In tegenstelling tot eerdere methoden die bestanden geïsoleerd genereren, gebruikt deze aanpak een afhankelijkheidsgrafiek om ervoor te zorgen dat bestanden logisch consistent, versiebewerkt en onderling gerefereerd zijn.
Collaboratieve Lang-horizon Simulatie: Introduceert een simulatiekader waarbij agenten moeten coördineren met gesimuleerde belanghebbenden, feedback moeten verwerken en meerweekse projecten moeten beheren, in plaats van enkelvoudige taken op te lossen.
Ervaringsgerichte Leersignalen: Het kader haalt rijke procesniveau-signalen (planning, grounding, revisie, herstel na falen) en uitkomstniveau-signalen (kwaliteit van de uiteindelijke levering) uit simulaties.
Open Release: De auteurs hebben 100 synthetische computers (50 Windows, 50 macOS) en retrospectieve analyse-rapporten voor 500 simulaties vrijgegeven om verder onderzoek te ondersteunen.

4. Experimentele Resultaten

De auteurs hebben experimenten uitgevoerd met 1.000 synthetische computers en de effectiviteit van de gegenereerde data geëvalueerd.

A. Simulatiestatistieken

Schaal: Elke simulatie omvat ongeveer 197 bestanden (gestegen van ongeveer 112 voor de simulatie), 5,5 samenwerkende partners en ongeveer 31 communicatie-uitwisselingen.
Complexiteit: De gemiddelde duur is 8,59 uur met meer dan 2.000 interactiebeurten, wat ver boven standaard benchmarks uitkomt (bijv. GDPVal gemiddeld 31 beurten).

B. In-domein Evaluatie (Vaardigheidsoverdracht)

Opzet: Het team haalde "vaardigheden" (lessen, faalmodi, werkpatronen) uit 900 trainingsimulaties en paste deze toe op 100 achtergehouden testcomputers.
Resultaat: Agenten uitgerust met deze geëxtraheerde vaardigheden behaalden een gemiddelde rubriekscore van 68,6%, vergeleken met 61,6% voor de baseline (een verbetering van +7,0 procentpunten).
Schaling: De winstkans van vaardigheidsversterkte agenten ten opzichte van baselines nam toe met het aantal trainingscomputers (64% met 100, 75% met 500, 83% met 900), wat aantoont dat bredere simulatie-dekking leidt tot betere generalisatie.

C. Out-of-domein Evaluatie (GDPVal Benchmark)

Opzet: De vaardigheden die uit hun simulaties werden gehaald, werden getest op de GDPVal-benchmark (220 realistische productiviteitstaken), een dataset die verschilt van hun synthetische omgeving.
Resultaat: De vaardigheidsversterkte agent presteerde significant beter dan de baseline op de GDPVal-taken. Voor het primaire model (Claude Sonnet 4.6) won de versterkte agent 105 van de 220 taken (tegenover 67 verliezen), met statistische significantie ( $p=0,002$ ).
Implicatie: Dit bewijst dat de ervaringsgerichte signalen die uit lang-horizon synthetische simulaties worden gehaald, generaliseren naar real-world productiviteitstaken, en niet alleen naar de synthetische omgeving.

5. Betekenis en Toekomstige Richtingen

Fundamenteel Substraat voor Zelfverbetering: Het paper stelt dat synthetische computers een schaalbaar, privacyveilig substraat bieden voor agent-zelfverbetering. De lus omvat: Simuleren $\rightarrow$ Ervaring Exctracteren (Vaardigheden) $\rightarrow$ Agent Verbeteren $\rightarrow$ Sterkere Simulaties Draaien.
Schaalbaarheid: Met miljarden potentiële persona's kan deze methodologie schalen naar miljoenen of miljarden synthetische werelden, die diverse beroepen en contexten bestrijken.
Toekomstig Werk: De auteurs suggereren toekomstige verbeteringen, waaronder:
- Gepersonaliseerde Artefacten: Variatie in visuele stijlen en opmaakgewoonten.
- Natuurlijke Ruis: Toevoegen van "rommelige" real-world sporen (verlaten bestanden, duplicaten, tijdelijke downloads).
- Dynamische Samenwerking: Simulatie van samenwerkende partners met hun eigen actieve werkstromen en evoluerende staten.

Conclusie: "Synthetic Computers at Scale" demonstreert dat het genereren van realistische, gebruikersspecifieke computeromgevingen toestaat tot het creëren van hoogwaardige, lang-horizon trainingsdata. Deze data verbetert de prestaties van agenten aanzienlijk in zowel synthetische als real-world productiviteitsscenario's, en eert de weg voor autonome agenten die complex, meerstaps professioneel werk kunnen hanteren.