Technische Samenvatting: Het beoordelen van mens-agent interacties via PULSE

Probleemstelling

Huidige evaluatieparadigma's voor door Large Language Models (LLM) aangedreven agenten leunen zwaar op statische benchmarks die nauwkeurigheid meten onder de aanname van volledige automatisering. Deze benchmarks evalueren doorgaans het vermogen van een agent om een goed gespecificeerde taak te voltooien zonder gebruikersinterventie. Deze benchmarks evalueren echter vaak de mogelijkheid van een agent om een taak te voltooien zonder gebruikersinterventie. Deze benchmarks evalueren doorgaans het vermogen van een agent om een goed gespecificeerde taak te voltooien zonder gebruikersinterventie. Deze benchmarks evalueren doorgaals het vermogen van een agent om een goed gespecificeerde taak te voltooien zonder gebruikersinterventie. Echter, in de praktijk vereist de inzet van agenten vaak collaboratieve workflows waarbij mensen in de loop zitten (human-in-the-loop), waarbij agenten samenwerken met menselijke supervisoren. De bestaande literatuur mist een rigoureus evaluatieprotocol voor deze interactieve settings, en eerdere pogingen om menselijke interactie te simuleren blijven vaak beperkt tot gecontroleerde, benchmark-gestuurde condities in plaats van echte "in-the-wild" gebruikersfeedback te vangen. Als gevolg hiervan is er een gat in het begrip van hoe specifieke ontwerpbeslissingen van agenten de werkelijke gebruikerstevredenheid beïnvloeden en hoe benchmarkprestaties correleren met de echte menselijke ervaring.

Methodologie: Het PULSE-framework

Om deze hiaten aan te pakken, stellen de auteurs PULSE voor (Prediction-powered User Label Synthesis and Evaluation), een driestapsframework ontworpen voor efficiënte, mensgerichte evaluatie van agentontwerpen.

1. Feedbackgegevensverzameling

Het framework implementeert een minimaal invasief feedbackmechanisme binnen een webgebaseerde interface (gebouwd rond de open-source agent OpenHands). In plaats van willekeurig om feedback te vragen, vraagt het systeem gebruikers om de prestaties van de agent te beoordelen op een 5-sterrenschaal onmiddellijk na elk "werksegment". Een werksegment wordt gedefinieerd als de sequentie van gebeurtenissen vanaf het moment dat een gebruiker een commando stuurt, de agent in een "running"-status gaat en terugkeert naar de "stopped"-status. Dit ontwerp koppelt beoordelingen aan specifieke, net afgeronde taken, wat ruis en ongefocusde oordelen vermindert.

2. Het voorspellen van menselijke tevredenheid

Aangezien expliciete beoordelingen schaars zijn (slechts ~5% van de interacties in de studie ontving een beoordeling), hebben de auteurs een Machine Learning (ML) model getraind om de gebruikerstevredenheid voor niet-gelabelde trajecten te voorspellen.

• Feature Engineering: Door middel van een iteratief human-in-the-loop proces werden 15 features geïdentificeerd en gecategoriseerd in:
  • Gebruikersgericht: Gebruikersberichten, sentiment en aantal berichten.
  • Agentgericht: Taaktype (bijv. bugfixing versus nieuwe functies) en foutmodi (bijv. onvoldoende testen, instructies niet opvolgen).
  • Taakprogressie: Git-acties (push, commit, reset) die taakvoltooiing aangeven.
• Modeltraining: Verschillende ML-modellen (Logistische Regressie, Random Forest, HistGradientBoosting) werden getraind op gelabelde trajecten. De studie toonde aan dat deze feature-gebaseerde modellen "LLM-as-a-judge"-baselines (gebruikmakend van modellen zoals o3 en gemini-2.5-pro) aanzienlijk overtroffen in het voorspellen van tevredenheid, waarbij ze een hogere correlatie met menselijke beoordelingen en lagere foutmarges bereikten.

3. Het berekenen van de effectgrootte met Prediction-Powered Inference (PPI)

Om verschillende agentontwerpen te vergelijken (bijv. variërende LLM-backbones of planningsstrategieën), maakt het framework gebruik van Prediction-Powered Inference (PPI).

• Mechanisme: PPI maakt gebruik van het getrainde voorspellingsmodel $f$ om pseudo-labels te genereren voor niet-gelabelde gegevens. Het construeert een estimator voor de effectgrootte die het gemiddelde van de gelabelde gegevens combineert met een correctieterm afgeleid van het verschil tussen voorspellingen op gelabelde en niet-gelabelde gegevens.
• Statistisch voordeel: Deze aanpak vermindert de variantie van de estimator, waardoor de berekening van geldige betrouwbaarheidsintervallen mogelijk is, zelfs met schaarse gelabelde gegevens. Het framework vergelijkt de "naïeve" effectgrootte (gebruikmakend van alleen gelabelde gegevens) met de "geaugmenteerde" effectgrootte (via PPI).

Experimentele Implementatie en Casestudy's

Het framework werd uitgerold in een grootschalige software engineering context met 15.000 gebruikers en 36.000 sessies. De studie voerde drie specifieke casestudy's uit om ontwerpbeslissingen te evalueren:

1. LLM Backbone: Het vergelijken van claude-3.7-sonnet, claude-4-sonnet en gpt-5.
2. Planningsstrategie: Het vergelijken van agenten die een gestructureerd taakplan (TASKS.md) weergeven versus agenten die direct met de implementatie doorgaan.
3. Geheugenbeheer: Het vergelijken van strategieën voor het beheer van het contextvenster (het reduceren van max_step van 120 naar 80 om kosten te besparen).

Belangrijkste Resultaten

Impact van Agentontwerp op Gebruikerstevredenheid

• Dominantie van de LLM Backbone: De keuze van de onderliggende LLM had de grootste impact op de gebruikerstevredenheid. Gebruikers gaven significant de voorkeur aan claude-4-sonnet boven claude-3.7-sonnet (+5,86%) en boven gpt-5 (-7,83%).
• Scaffolding Effecten: Wijzigingen in scaffolding (planning en geheugen) hadden kleinere maar statistisch significante effecten. Het tonen van een plan verbeterde de tevredenheid met ~3,1%, terwijl het reduceren van de geheugenstappen de kosten bespaarde zonder de gebruikerservaring te verslechteren.
• Gedrag inzichten: Analyse van interactie-features toonde aan dat een lagere tevredenheid met gpt-5 correleerde met minder gebruikersberichten (wat duidt op vroege disengagement) en minder code pushes. Omgekeerd verminderde het tonen van plannen "misbegrepen intentie" en verhoogde het de gebruikersbetrokkenheid.

Efficiëntie van Evaluatie

• Reductie van Betrouwbaarheidsintervallen: Door PPI te gebruiken, heeft het framework de breedte van de betrouwbaarheidsintervallen gemiddeld met 39,5% verminderd vergeleken met standaard A/B-testen met alleen gelabelde gegevens. In verschillende gevallen maakte deze reductie het mogelijk om statistisch significante conclusies te trekken waar de naïeve aanpak dat niet kon.
• Modelprestaties: De feature-gebaseerde ML-modellen presteerden beter dan de "LLM-as-a-judge"-baselines, waarbij de correlatie met uitkomsten met ten minste 26% werd verbeterd.

Discrepanties tussen Benchmark en de Werkelijkheid

De studie benadrukte een kritieke mismatch tussen benchmarkprestaties en menselijke tevredenheid:

• Terwijl gpt-5 op 6 van de 7 code-gerelateerde benchmarks uitblonk boven claude-4-sonnet, gaven mensen in de praktijk in 4 van de 7 taaksubsets de voorkeur aan claude-4-sonnet.
• De correlatie tussen benchmark-delta's ($\Delta_B$) en menselijke beoordelings-delta's ($\Delta_H$) was zwak of negatief ($\rho = -0,18$) voor de vergelijking tussen claude-4 en gpt-5, wat suggereert dat verbeteringen in benchmarks niet altijd vertalen naar een betere gebruikerservaring.

Betekenis en Claims

De auteurs beweren dat PULSE een rigoureus, schaalbaar framework biedt voor het evalueren van mens-agent interacties, waarmee de beperkingen van volledig geautomatiseerde benchmarks worden overstegen. De studie toont aan dat:

1. Human-in-the-loop evaluatie essentieel is: Benchmarkprestaties zijn een imperfecte proxy voor de bruikbaarheid in de echte wereld, vooral in collaboratieve settings.
2. Efficiënte evaluatie mogelijk is: PPI maakt robuuste statistische conclusies mogelijk met aanzienlijk minder gelabelde samples, wat grootschalige mens-agent studies haalbaarder maakt.
3. Ontwerpprioriteiten: Voor software-agenten levert het investeren in sterkere basismodellen grotere rendementen op in gebruikerstevredenheid dan het optimaliseren van scaffolding-mechanismen, hoewel wijzigingen in scaffolding (zoals zichtbaarheid van planning) nog steeds meetbare voordelen bieden.

Het paper concludeert dat, hoewel software engineering de primaire testomgeving was, het PULSE-framework generaliseerbaar is naar andere domeinen waar agenten en mensen samenwerken, en daarmee een pad biedt om AI-systemen beter af te stemmen op de behoeften van gebruikers.