Technische Samenvatting: OSWorld-Human: Benchmarken van de Efficiëntie van Computer-Gebruiksagenten

1. Probleemstelling

Hoewel generatieve AI-aangedreven Computer-Gebruiksagenten (CUA's) een toenemende nauwkeurigheid hebben aangetoond op benchmarks zoals OSWorld, kampen ze met een kritieke bottleneck: extreme end-to-end latentie. State-of-the-art systemen vereisen vaak tientallen minuten om taken te voltooien die menselijke experts in seconden of minuten kunnen afhandelen. Deze discrepantie maakt huidige agenten in de praktijk onbruikbaar voor interactieve of tijdgevoelige workflows. Vorig onderzoek heeft zich voornamelijk gericht op het verbeteren van de taaksuccespercentages, waarbij de temporale efficiëntie die nodig is voor implementatie in de echte wereld grotendeels werd verwaarloosd. Er ontbreekt een systematisch inzicht in waar deze latentie vandaan komt (bijvoorbeeld specifieke agentstappen, modeloproepen) en hoeveel stappen er echt nodig zijn in vergelijking met menselijke uitvoering.

2. Methodologie

De auteurs voerden het eerste systematische onderzoek uit naar de temporale prestaties van CUA's met behulp van de OSWorld-benchmark, die 369 taken beslaat over 9 applicaties (bijvoorbeeld Chromium, GIMP, LibreOffice, VS Code) op Ubuntu, Windows en MacOS.

2.1 Latentie- en Stapanalyse

De studie voerde een gedetailleerde ontleding uit van agenttrajecten met behulp van twee toonaangevende open-source frameworks: Agent S2 en GTA1.

• Instrumentatie: De auteurs profileerden specifieke stappen, waaronder informatieopvraging, stapplanning, stapgrondering (coördinaten vinden), actie-uitvoering, screenshotten, beoordeling en reflectie.
• Modelconfiguratie: Agent S2 gebruikte GPT-4.1 voor planning en reflectie, met UI-TARS-7B-DPO voor grondering. GTA1 gebruikte o3 voor planning en beoordeling, met GTA1-7B voor grondering.
• Observatiemodi: De studie analyseerde de impact van verschillende perceptie-invoeren: ruwe screenshots, Accessibility (A11y)-bomen en Set-of-Marks (SoM).
• Kosten- en Foutanalyse: De auteurs analyseerden tokenaantallen, financiële kosten en faalmodi (specifiek gronderingsfouten die leiden tot lussen) voor GTA1.

2.2 Constructie van OSWorld-Human

Om een grondwaarde voor efficiëntie vast te stellen, construeerden de auteurs OSWorld-Human, een handmatig geannoteerde dataset die bevat:

• Minimale Menselijke Trajecten: Voor alle 369 OSWorld-taken bepaalden menselijke annotators het minimale aantal stappen dat nodig is voor succesvolle voltooiing, gebaseerd op geverifieerde grondwaarbronnen.
• Actiegroepering: De dataset bevat "gegroeperde-actie"-trajecten waarbij meerdere opeenvolgende acties (bijvoorbeeld klikken, typen, enter indrukken) die vanuit één visuele observatie kunnen worden uitgevoerd, worden samengevoegd tot één enkele stap. Dit identificeert kansen om het aantal Large Language Model (LLM)-oproepen te verminderen.

2.3 Evaluatiemaatstaf: Gewogen Efficiëntiescore (WES)

De auteurs stelden een nieuwe maatstaf voor, de Gewogen Efficiëntiescore (WES), om agenten te evalueren tegen menselijke trajecten.

• Formule: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$
  • $WES^+$: Het gemiddelde ratio van menselijke stappen tot agentstappen voor succesvolle taken ($t_{human} / t_{agent}$).
  • Strafmultiplicator: Straft agenten die taken mislukken nadat ze een groot deel van hun stappenbudget hebben verbruikt ($\bar{t}_{fail}$ is het gemiddelde aantal stappen genomen op mislukte taken; $S$ is het maximaal toegestane aantal stappen).
• Doel: Deze maatstaf belooft agenten die met minder stappen slagen en straft diegenen die inefficiënt falen, waardoor een holistisch beeld van nauwkeurigheid en temporale efficiëntie wordt geboden.

3. Belangrijkste Bevindingen en Resultaten

3.1 Bronnen van Latentie

• LLM-Oproepen zijn de Bottleneck: Grote modeloproepen voor planning, reflectie en beoordeling vormen het overgrote deel van de latentie.
  • Bij Agent S2 vormen planning en reflectie 76%–96% van de totale taaklatentie.
  • Bij GTA1 vormen planning en beoordeling 91%–96% van de totale latentie.
• Stap-afhankelijke Latentie: Naarmate een agent meer stappen nodig heeft om een taak te voltooien, neemt de latentie van elke opeenvolgende stap toe. Dit komt door het "geschiedenisaccumulatie"-mechanisme waarbij prompts alle vorige stappen bevatten, wat leidt tot langere contextvensters en hogere tokenaantallen.
• Impact van Observatie: Het opnemen van A11y-bomen verhoogt de latentie drastisch (door tijd voor boomgeneratie en tokenvolume) en verhoogt vaak het aantal benodigde stappen, hoewel het het aantal stappen kan verminderen voor specifieke applicaties zoals GIMP.

3.2 Efficiëntiekloven

• Inefficiëntie van Huidige Agenten: Zelfs de best presterende agenten maken 2,7× tot 4,3× meer stappen dan nodig is om een taak te voltooien in vergelijking met menselijke trajecten.
• WES-scores: De best presterende agent op de OSWorld-leaderboard (Agent S2 met Gemini 2.5) behaalde een succespercentage van 41,4%, maar slechts een 15,6% WES op single-action trajecten en 9,6% op gegroepeerde-actie trajecten.
• Foutanalyse: Voor GTA1 waren 23% van de mislukkingen te wijten aan gronderingsfouten waarbij de planning correct was, maar het gronderingsmodel onjuiste coördinaten genereerde, waardoor de agent stappen herhaalde of in lussen terechtkwam. In sommige gevallen verspillen agenten 72+ stappen in een enkele lus.

3.3 Kostenimplicaties

• De rekenkosten zijn sterk verschoven naar planning. Voor GTA1 vormt planning 87% van de totale kosten, terwijl beoordeling 13% uitmaakt. De kosten schalen kwadratisch met het aantal stappen door parallelle planningsrollouts en retry-mechanismen.

4. Belangrijkste Bijdragen

1. Eerste Systematische Latentiestudie: Een gedetailleerde analyse van de temporale prestaties van CUA's (Agent S2 en GTA1) op de OSWorld-benchmark, waarbij LLM-oproepen worden geïdentificeerd als de primaire bottleneck.
2. OSWorld-Human Dataset: Een handmatig samengestelde, cross-geverifieerde benchmark met optimale menselijke trajecten en gegroepeerde-actie trajecten voor alle 369 OSWorld-taken.
3. Nieuwe Maatstaf (WES): Het voorstellen van de Gewogen Efficiëntiescore om agenten te evalueren op basis van zowel succespercentage als stap-efficiëntie, met straf voor inefficiënte mislukkingen.
4. Actiegroeperingsanalyse: Demonstratie dat het groeperen van acties die vanuit één observatie uitvoerbaar zijn, het aantal benodigde LLM-oproepen en stappen aanzienlijk kan verminderen.
5. Uitgebreide Evaluatie: Een evaluatie van 16 state-of-the-art agenten met behulp van OSWorld-Human, die aantoont dat huidige systemen aanzienlijk minder efficiënt zijn dan menselijke benchmarks.
6. Fout- en Kostenanalyse: Identificatie van gronderingsfouten als een belangrijke oorzaak van verspilde stappen en lussen, en een ontleding van de financiële kosten die gepaard gaan met huidige agentarchitecturen.

5. Betekenis en Beweringen

Het artikel beweert het eerste geünificeerde raamwerk te vestigen voor het benchmarken, analyseren en verbeteren van de temporale efficiëntie van computer-gebruiksagenten. De auteurs betogen dat hoewel nauwkeurigheid belangrijk is, temporale efficiëntie even cruciaal is voor bruikbaarheid in de echte wereld.

De studie benadrukt dat huidige agenten in interactieve scenario's in de praktijk onbruikbaar zijn vanwege hoge latentie en excessieve stapcounts. Door OSWorld-Human en de WES-maatstaf te bieden, beogen de auteurs toekomstige ontwikkelingen te sturen naar:

• Het verminderen van de latentie van planning-, beoordelings- en reflectieoproepen.
• Het minimaliseren van het aantal stappen per taak door actiegroepering.
• Het verbeteren van gronderingsmechanismen om lussen en coördinaatfouten te voorkomen.
• Het comprimeren van geschiedenis om tokenkosten en latentie te beheersen.

De auteurs concluderen dat hun werk en de open-source dataset nieuwe onderzoeksrichtingen zullen stimuleren om de kloof te overbruggen tussen huidige agentcapaciteiten en de efficiëntie die nodig is voor praktische implementatie.