Computers zijn krachtige hulpmiddelen geworden voor het verwerken van complexe informatie, maar een machine vragen om een meerstaps kantoorbaan uit te voeren, voelt vaak als het proberen te leren aan een kind hoe het moet rijden door alleen de bestemming te beschrijven. Jarenlang hebben onderzoekers geprobeerd kunstmatige intelligentie-agenten te bouwen die naar een scherm kunnen kijken, begrijpen wat er moet gebeuren en op de juiste knoppen kunnen klikken om daar te komen. Deze systemen, bekend als GUI-agenten, hebben vooruitgang geboekt, maar ze worstelen met twee hardnekkige problemen. Ten eerste missen ze voldoende hoogwaardige trainingsdata om de subtiele, ongeschreven regels te leren van hoe mensen software daadwerkelijk gebruiken. Ten tweede zijn ze vaak te rigide; als een mens een vage instructie geeft, kan de machine het een keer door geluk wel redden, maar de volgende keer falen omdat hij niet kan aanpassen aan kleine veranderingen op het scherm of de specifieke gewoonten van de gebruiker. Het doel is om een digitale werker te creëren die niet alleen slim genoeg is om een script te volgen, maar ook betrouwbaar genoeg om de rommelige realiteit van een echt bureaublad aan te kunnen.

Een team van Tencent heeft een nieuw systeem geïntroduerd genaamd UI-Mate, dat deze problemen aanpakt door te veranderen hoe de agent leert en hoe hij hulp ontvangt. In plaats van alleen een lijst met klikken te memoriseren, wordt het systeem getraind in een gesimuleerde omgeving waar het duizenden taken kan oefenen, van het organiseren van spreadsheets tot het beheren van e-mail, terwijl een gespecialiseerde engine het werk in realtime controleert. Dit proces stelt het systeem in staat om niet alleen te leren hoe het eindresultaat eruit moet zien, maar ook hoe het kan herstellen wanneer het een fout maakt. De onderzoekers ontdekten dat ze door de agent op deze rigoureuze, closed-loop manier te trainen, een model konden creëren dat aanzienlijk beter presteert dan eerdere open-source systemen, en zelfs de capaciteiten van veel grotere, propriëtaire modellen evenaart.

De kern van deze verbetering ligt in een methode die de onderzoekers "environment-grounded training" noemen. Stel je voor dat een student leert koken, niet alleen door een recept te lezen, maar door daadwerkelijk in een keuken te staan, groenten te snijden en een leraar te hebben die onmiddellijk aanwijst als het mes uitschiet of het vuur te hoog is. Op dezelfde manier wordt UI-Mate getraind in een digitale omgeving waar elke actie die het onderneemt wordt getest tegen een echt, werkend computerscherm. Als de agent probeert een bestand op de verkeerde plek op te slaan, weet het systeem dat onmiddellijk en registreert die fout. Deze cyclus van proberen, falen en corrigeren vindt miljoenen keren plaats in verschillende applicaties, waardoor de agent een diep begrip ontwikkelt van hoe software werkt. De onderzoekers bouwden een enorme bibliotheek van deze oefentaken, variërend van eenvoudig bestandsbeheer tot complexe workflows die informatie vereisen die tussen een agenda, een e-mailclient en een projectmanagementtool wordt verplaatst. Door de soorten taken die de agent ziet zorgvuldig te balanceren, zorgden ze ervoor dat het systeem leerde om zowel korte, eenvoudige jobs als lange, ingewikkelde sequenties aan te pakken zonder in de war te raken.

Echter, zelfs een goed getrainde agent kan moeite hebben wanneer een mens een vage instructie geeft, zoals "verwerk dit aanbod voor een kandidaat". De agent weet mogelijk niet welke specifieke bestanden geopend moeten worden of op welke exacte knoppen geklikt moet worden omdat de instructie de nodige details mist. Om dit op te lossen, hebben de onderzoekers een nieuwe manier ontwikkeld waarop de agent kan leren van een demonstratie. In plaats van de agent te dwingen om blindelings een opgenomen sequentie van muisklikken te kopiëren, breekt het systeem de demonstratie af in een flexibel plan van subtaken. Het kijkt naar een video van een mens of een sterkere AI die een soortgelkijkbare taak voltooit en extraheert de doelen: "vind het aanbod", "verifieer het salaris", "stuur de e-mail". Tijdens het eigenlijke werk gebruikt de agent dit plan als gids, maar kijkt hij nog steeds naar het live scherm om te beslissen hoe hij de muis beweegt of de tekst typt. Dit betekent dat als het scherm er iets anders uitziet dan in de video, de agent zijn acties kan aanpassen in plaats van vast te lopen.

De resultaten van deze aanpak zijn opmerkelijk. Wanneer getest op een standaard reeks computergebruik-uitdagingen, behaalde het nieuwe systeem, specifelijk de 27-miljard parameters versie, een succespercentage van 77,0 procent, waarmee het andere open-source modellen overtreft en zeer dicht in de buurt komt van de beste beschikbare closed-source systemen. Belangrijker nog, de onderzoekers creëerden een nieuwe test genaamd OSWorkerBench, die realistisch kantoorwerk simuleert over tientallen verschillende applicaties. Op deze test verbeterde het systeem zijn prestaties met bijna 18 procentpunten vergeleken met het basismodel. De meest significante bevinding kwam echter toen ze een enkele demonstratie aan de instructies van de agent toevoegden. Voor een set van 33 lange, complexe taken, verhoogde het geven van slechts één voorbeeld van hoe de taak uitgevoerd moet worden het succespercentage van de agent van 17,2 procent naar 35,4 procent. Dit toont aan dat het systeem het voorbeeld niet alleen memoriseert; het begrijpt de onderliggende logica en kan deze toepassen op nieuwe situaties, wat het veel betrouwbaarder maakt voor echt gebruik.

De onderzoekers ontdekten ook dat het vermogen van de agent om lange taken aan te pakken niet alleen gaat over brute rekenkracht. Ze testten modellen van verschillende groottes en ontdekten dat hoewel grotere modellen over het algemeen beter presteren, de specifieke trainingsmethode belangrijker was dan de grootte alleen. Een kleiner model dat getraind is met hun rigoureuze, environment-grounded aanpak presteerde beter dan een veel groter model dat niet dezelfde training had ontvangen. Dit suggereert dat de kwaliteit van de trainingsdata en de feedbackloop crucialer zijn dan simpelweg het brein van de agent groter maken. Het systeem bleek ook in staat te zijn om taken aan te pakken die vereisen dat informatie uit het begin van een workflow wordt onthouden en aan het einde ervan wordt gebruikt, een veelvoorkomend faalpunt voor eerdere AI-agenten.

Om te verzekeren dat deze resultaten geen toevalstreffer waren, bouwde het team een benchmark die 100 verschillende kantoortaken omvatte, variërend van human resources tot sales en engineering. Ze evalueerden het systeem op zijn vermogen om deze taken te voltooien zonder enige hulp, en vervolgens weer met een demonstratie. De gegevens toonden aan dat de agent zijn prestaties consistent verbeterde wanneer er een visuele gids werd gegeven, maar dat hij er niet afhankelijk van werd. Hij bleef in staat om enkel op basis van instructies te werken, wat bewees dat de demonstratie fungeerde als een behulpzame kaart in plaats van een rigide set regels. Deze balans is cruciaal voor praktische implementatie, aangezien het betekent dat het systeem gebruikt kan worden in situaties waarin geen vooraf voorbeeld bestaat, terwijl het nog steeds snel kan leren wanneer een gebruiker er een verstrekt.

De implicaties van dit werk reiken verder dan alleen betere testscores. Door aan te tonen dat een agent met een hoge betrouwbaarheid complexe, multi-applicatie workflows kan navigeren, hebben de onderzoekers een belangrijke stap gezet naar het praktisch bruikbaar maken van digitale automatisering voor het dagelijkse kantoorwerk. Het systeem vereist niet dat een mens elke klik micromanaged; in plaats daarvan kan het een hoog niveau doel nemen en de noodzakelijke stappen uitwerken, waarbij het zijn koers corrigeert wanneer het onverwachte schermlay-outs of ontbrekende informatie tegenkomt. Het vermogen om te leren van een enkele demonstratie suggereert dat deze agenten uiteindelijk binnen minuten in plaats van maanden nieuwe, specifieke bedrijfsprocedures kunnen aanleren.

De studie benadrukt ook het belang van hoe we deze systemen evalueren. De onderzoekers ontdekten dat het simpelweg tellen of een taak is voltooid of niet, vaak de realiteit verbergt dat een agent aanzienlijke vooruitgang heeft geboekt voordat hij in de allerlaatste stap faalt. Door gedeeltelijke voortgang te meten, waren zij in staat om te zien dat de agent vaak 80 procent van een complexe taak had voltooid, zelfs als hij deze niet afmaakte. Deze nuance is belangrijk voor het begrijpen van waar de technologie vandaag de dag staat en waar het moet verbeteren. Het team identificeerde dat de meest voorkomende resterende fouten niet in de vroege stadia van een taak lagen, maar in de laatste stappen, zoals het vergeten te versturen van een bevestigingsmail of het missen van een specifiek veld in een formulier.

Uiteindelijk presenteert het werk een duidelijke weg voorwaarts voor het bouwen van meer capabele computeragenten. Het laat zien dat de combinatie van rigoureuze, gesimuleerde training en het vermogen om te leren van visuele voorbeelden een systeem creëert dat zowel krachtig als aanpasbaar is. De onderzoekers hebben hun trainingsdata en benchmarks beschikbaar gesteld aan de community, zodat anderen op deze bevindingen kunnen voortbouwen. Naarmate deze systemen blijven evolueren, bewegen ze dichter naar een toekomst waarin kunstmatige intelligentie de routinematige, repetitieve en complexe digitale taken kan afhandelen die momenteel zoveel van de menselijke werkdag consumeren, waardoor mensen vrij blijven om zich te concentreren op de beslissingen die werkelijk menselijk oordeel vereisen.