← Nieuwste papers
🤖 AI

Post-Training on Office Work Improves Software Engineering: A Behavioral Account of Cross-Domain Transfer

Dit artikel toont aan dat het post-trainen van een groot taalmodel op langdurige kantoorworkflows de prestaties op het gebied van software engineering aanzienlijk verbetert door vier kernaspecten van doelgerichte uitvoering te versterken—doelselectie, staatconstructie, trouwbehoud en verificatie—die effectief overdraagbaar zijn naar andere domeinen.

Oorspronkelijke auteurs: Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

Gepubliceerd 2026-08-04
📖 8 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een meesterkok te worden. Je zou kunnen denken dat de beste manier om dit te doen is door hem miljoenen recepten te voeren, hem te laten zien hoe hij uien moet snijden, en hem te laten oefenen met het maken van soufflés. Maar wat als het geheim om een geweldige chef te worden niet alleen gaat over het kennen van recepten? Wat als het echt gaat over de manier waarop je denkt? Wat als de echte vaardigheid is om een gigantisch, eng dinerfeest op te delen in kleine, beheersbare stappen, bij te houden welke ingrediënten je hebt verzameld, de dieetwensen van de gastheer te onthouden terwijl je druk bent met snijden, en daadwerkelijk het eten te proeven om te controleren of het klaar is voordat je het serveert?

Dit is de wereld van "agentic" AI — computerprogramma's die niet alleen vragen beantwoorden, maar ook daadwerkelijk dingen doen, zoals het browsen op het web, het bewerken van bestanden of het draaien van tests. Een tijdlang dachten wetenschappers dat deze robots getraind moesten worden op de exacte taak die ze uiteindelijk zouden uitvoeren. Als je wilde dat een robot computercode repareerde, moest je hem trainen met miljoenen voorbeelden van het repareren van computercode. Maar dit nieuwe artikel stelt een wilde vraag: Wat als we de robot leerden om een meester kantoormedewerker te zijn? Wat als we hem leerden om spreadsheets te organiseren, vergaderingen te plannen en documenten te beheren, en hem vervolgens vroegen om software te repareren? Zouden de vaardigheden van een goede kantoormedewerker hem helpen om een betere software engineer te worden?

De onderzoekers van Surge AI besloten dit idee te testen. Ze namen een zeer intelligent AI-model en gaven het een intensieve cursus "long-horizon" kantoorwerk. Dit waren geen eenvoudige taken zoals "stuur een e-mail." Het waren complexe, meerstaps avonturen waarbij de AI verschillende tools moest combineren, een mentale kaart moest bijhouden van wat hij aan het doen was, en moest zorgen dat hij het grote plaatje niet uit het oog verloor terwijl hij verdwaalde in de details. Ze trainden de AI op 363 van deze kantoortaken, maar hier komt de crux: niets van de trainingsopdrachten had te maken met software of programmeren.

Het resultaat? Toen ze de AI testten op een beroemde software engineering uitdaging genaamd SWE-Bench Pro, werd hij aanzienlijk beter. Hij verbeterde zijn succespercentage met 5,8 procentpunt. Het artikel suggereert dat door te leren hoe de AI complexe, meerstaps kantoorworkflows beheert, de AI een universele "spier" voor doelgerichte uitvoering heeft geleerd. De AI leerde hoe hij een doel stelt, een mentaal beeld van de situatie vormt, vasthoudt aan het oorspronkelijke plan wanneer de zaken rommelig worden, en zijn werk controleert. Deze vaardigheden zijn volgens de auteurs als een Zwitsers zakmes: zodra je leert hoe je ze gebruikt om een archiefkast te organiseren, kun je ze gebruiken om een computerprogramma te debuggen, ook al zien de twee taken er aan de oppervlakte volkomen verschillend uit.

De Geheime Saus: De "Doelloop"

Om te begrijpen hoe dit werkt, stel je voor dat de AI een ontdekkingsreiziger is die door een enorme, vertakkende doolhof navigeert. Het artikel noemt de strategie van de AI "Goal-Directed Execution" (GDE). Zie dit als een vierstapsdans die de AI steeds opnieuw uitvoert, zoals een loop in een videogame:

  1. Doelvorming (Goal Formation): De AI vraagt zich af: "Wat is het eerstvolgende dat ik moet doen om dichter bij de finishlijn te komen?"
  2. Toestandsconstructie (State Construction): Hij kijkt om zich heen en zegt: "Oké, wat weet ik nu? Wat heb ik zojuist ontdekt?" Hij boupt een mentale kaart van de huidige situatie.
  3. Doelstabiliteit (Goal Stability): Hij controleert zijn kompas. "Ben ik nog steeds op weg naar de grote schat, of ben ik afgeleid door een glimmende steen?" Hij zorgt ervoor dat de kleine stappen die hij neemt, het grote doel niet uit het oog verliezen.
  4. Verificatie (Verification): Ten slotte vraagt hij: "Heb ik het daadwerkelijk gedaan? Heb ik het bewijs?" Hij gokt niet alleen; hij controleert het bewijs.

Het artikel stelt dat complexe taken — of het nu gaat om het organiseren van het budget van een bedrijf of het oplossen van een bug in een videogame — allemaal bestaan uit deze zelfde loops. Soms zijn de loops in elkaar genest, zoals Russische matroesjka-poppetjes. Je hebt een groot doel (de app repareren), wat wordt onderverdeeld in kleinere doelen (de bug vinden), wat weer wordt onderverdeeld in nog kleinere doelen (dit specifieke bestand lezen).

Het Experiment: Van Spreadsheets naar Software

De onderzoekers namen een enorm AI-model (Qwen3.2-122B-A10B) en gaven het een speciaal trainingsdieet. In plaats van het model code te voeren, voerden ze het 363 realistische kantoorscenario's. Stel je voor dat de AI optreedt als een virtuele stagiair. Hij moest:

  • Door documenten en spreadsheets zoeken.
  • Webbrowsers gebruiken voor onderzoek.
  • Schema's plannen en bestanden beheren.
  • Coördineren tussen verschillende digitale tools.

Deze taken waren ontworpen om lastig te zijn. Ze vereisten dat de AI veel zaken tegelijk in de gaten hield, tussen verschillende tools kon schakelen en de rode draad van het verhaal niet verloor. De AI oefende deze taken totdat hij er heel goed in werd. Cruciaal is dat de trainingsdata nul software engineering taken bevatte. De AI zag tijdens zijn training geen enkele regel code.

Toen kwam de test. De onderzoekers vroegen de getrainde AI om problemen op te lossen op SWE-Bench Pro, een benchmark die test hoe goed een AI echte softwarebugs kan oplossen. Ze vergeleken deze getrainde AI met hetzelfde model voordat het de kantoorvaardigheden had geleerd.

De Resultaten: Een Universele Vaardigheid

De getrainde AI was een ster. Het succespercentage op de software engineering test sprong van 20,5% naar 26,3%. Dat is een verbetering van 5,8 procentpunt.

Maar het meest interessante deel was niet alleen de score; het was hoe de AI veranderde. De onderzoekers keken nauwgezet naar het "denkproces" (het traject) van de AI en ontdekten dat de getrainde AI de vierstapsdans veel beter uitvoerde dan de ongetrainde versie, zowel in de kantooropdrachten als in de softwaretaken.

Dit is wat er veranderde, gebruikmakend van de voorbeelden uit het artikel:

  • Betere Doelvorming: De ongetrainde AI koos vaak een "lokaal plausibel" doel dat eigenlijk fout was. Bijvoorbeeld, in een softwaretaak probeerde hij een hele functie te herschrijven terwijl er al een eenvoudige hulpprogramma (helper tool) bestond. De getrainde AI, die had geleerd om de juiste volgende stap te kiezen in kantooropdrachten, realiseerde zich: "Hé, daar is al een tool voor," en gebruikte die.
  • Betere Toestandsconstructie: De ongetrainde AI gooide vaak belangrijke informatie weg. In een kantoortaak zag hij een cel in een spreadsheet met een formule en dacht: "Dat is geen getal, dat negeer ik." Maar de getrainde AI realiseerde zich: "Wacht, deze formule berekent het getal dat ik nodig heb," en behield de data. Hij leerde een betere mentale kaart van de situatie op te bouwen.
  • Betere Doelstabiliteit: Dit gaat over het niet verliezen van het grote plaatje. In een softwaretaak zag de ongetrainde AI een mislukte test en paste de code aan om de test te laten slagen, ook al verbrak dit de oorspronkelijke vereiste. De getrainde AI herinnerde zich het "moederdoel" (de oorspronkelijke vereiste) en liet zich niet afleiden door het lokale probleem. Het was als een projectmanager die de deadline onthoudt, zelfs als de printer vastloopt.
  • Betere Verificatie: De ongetrainde AI controleerde zijn werk vaak oppervlakkig. Hij zei misschien: "Ik heb het bestand geëxporteerd, dus ik ben klaar." De getrainde AI was grondiger. Hij controleerde of het bestand daadwerkelijk de juiste gegevens bevatte en of de wijzigingen andere delen van het systeem beïnvloedden. Hij vinkte niet alleen het vakje aan; hij controleerde de realiteit.

Het Grotere Plaatje

Het artikel suggereert dat door de AI te trainen op complexe, langdurige kantoortaken, zij het vermogen hebben versterkt om hun gedachten en acties te organiseren. De AI heeft niet geleerd hoe je moet coderen; de AI heeft geleerd hoe je complexe plannen leert en uitvoert. De vaardigheden om een spreadsheet te beheren, meerdere bestanden bij te houden en een rapport te verifiëren, bleken verrassend vergelijkbaar met de vaardigheden die nodig zijn om een programma te debuggen.

De auteurs benadrukken dat dit een "gedragsmatige verklaring" is. Ze beweren niet dat de AI een letterlijke "doelstapel" in zijn brein heeft zoals een mens. In plaats daarvan observeren ze dat het gedrag van de AI lijkt alsof het deze vier capaciteiten gebruikt. De data tonen aan dat wanneer de AI beter wordt in deze gedragingen in één domein (kantoorwerk), hij ook beter wordt in een ander domein (software), zelfs zonder directe training op dat tweede domein.

Het is een beetje zoals het trainen van een turner. Je traint hen misschien op de balk, en hoewel ze niet de sprong oefenen, verbeteren hun kernkracht, balans en focus. Wanneer ze uiteindelijk voor de sprong staan, presteren ze beter omdat hun onderliggende "gymnastiekvaardigheden" zijn aangescherpt. In dit geval is de "gymnastiek" het vermogen om langdurige, complexe taken te beheren zonder de weg kwijt te raken.

Het artikel beweert niet dat dit een wondermiddel is dat alle AI-problemen oplost, noch zegt het dat dit de enige manier is om AI te verbeteren. Maar het biedt een fascinerend nieuw perspectief: misschien moeten we AI niet elke baan in de wereld leren. Misschien moeten we het simpelweg leren hoe het een goede, georganiseerde, doelgerichte werker kan zijn, en dan zal het de rest wel uitzoeken.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →