Technische Samenvatting: Online Agent-als-o-Oordeel (Agent-as-a-Judge)

Probleemstelling

Het evalueren van door LLM's aangestuurde interactieve sociale agenten presenteert een unieke uitdaging: sociaal relevante gedragingen zijn niet louter geïsoleerde outputs, maar hangen af van eerdere interacties, sociale rollen en downstream acties. Bestaande evaluatieparadigma's, zoals Offline LLM-als-o-Oordeel of Offline Agent-als-o-Oordeel, scoren doorgaans vooraf opgenomen trajecten of de uiteindelijke outputs. Deze passieve methoden lijden onder een kritieke flessenhals: situatiebeschikbaarheid.

In persistente sociale omgevingen (bijv. levenssimulaties) wordt succes gedefinieerd door contextgevoelige patronen (bijv. het behouden van een rol, het herstellen van sociale fouten, het afhandelen van conflicten). Echter, gewone interactietracés slagen er vaak niet in om de specifieke, zeldzame sociale situaties te genereren die nodig zijn om deze capaciteiten te testen (bijv. een gebroken belofte, een weigering of een moment van emotionele nood). Gevolgelijk geven passieve evaluatoren vaak een oordeel van "onvoldoende bewijs", omdat de noodzakelijke triggers nooit zijn opgekomen in het opgenomen logboek, in plaats van dat de agent niet aan het criterium voldeed.

Methodologie: Online Agent-als-o-Oordeel

De auteurs stellen Online Agent-als-o-Oordeel voor, een situatie-genererend evaluatiekader ontworpen om actief criterium-relevante situaties op te roepen binnen de natuurlijke omgeving van de doelagent.

Kernarchitectuur

1. In-World Oordelaar: In tegenstelling tot offline evaluatoren die van buitenaf observeren, wordt de oordelaar geïnstantieerd als een mede-bewoner (een NPC) binnen dezelfde simulatiewereld ($W$) als de doelagent ($\pi_T$).
2. Natieve Protocolinteractie: De oordelaar interageert met de doelagent via de natuurlijke dialoog- en actieprotocollen van de omgeving (bijv. bewegen, spreken, objecten gebruiken). De oordelaar beschikt niet over geprivilegieerde controle-interfaces om acties af te dwingen of de wereldstatus direct te wijzigen.
3. Read-Only Inspectietools: De oordelaar heeft toegang tot read-only tools om de scène, karakterattributen, geheugen en recente interacties te inspecteren. Dit stelt de oordelaar in staat om sondes (probes) te plannen op basis van de huidige staat zonder de wereld te veranderen.
4. De Evaluatielus: Voor elk door ontwerpers geautoriseerd criterium $c$, voert de oordelaar een iteratieve lus uit:
   • Inspecteren: De omgevingstoestand opvragen om context en continuïteit te begrijpen.
   • Plannen: Een sonde-strategie formuleren (bijv. "om hulp vragen", "beledigen", "een gunst vragen") om het specifieke gedrag op te roepen.
   • Oproepen: De sonde uitvoeren via natuurlijke acties/dialoog.
   • Observeren: De directe reactie van de doelagent en de daaropvolgende acties vastleggen.
   • Beslissen: Bewijslast accumuleren. Als er voldoende bewijs aanwezig is om een pass/fail te bepalen, stopt de oordelaar; anders verfijnt hij de sonde (bijv. door de situatie te escaleren of de inkadering te veranderen) en herhaalt hij de procedure.

Belangrijke Beperkingen en Waarborgen

Om te voorkomen dat de oordelaar onbedoeld de test voor de doelagent oplost, handhaaft het kader strikte sonde-beleidsregels:

• Geen Zelf-Scaffolding: De oordelaar mag het criterium-positieve gedrag zelf niet vertonen (bijv. als er getest wordt op conflictherstel, mag de oordelaar niet eerst excuses aanbieden).
• Geen Leidende Vragen: De oordelaar vermijdt hypothetische quizzen ("Wat zou u doen?") ten gunste van live, in-world enacties.
• Scheiding van Bewijslast: Oordelen zijn gebaseerd alleen op niet-oordelaar eigen bewijs van de doelagent. De eigen acties van de oordelaar zijn sondes, geen bewijs van de capaciteit van de doelagent.

Experimentele Opzet

Het kader werd geëvalueerd in een levenssimulatie-omgeving met een scenario bestaande uit een familie van vijf personages.

• Criteria: 32 door mensen gecureerde criteria verdeeld over acht domeinen (bijv. Familierol, Geheugen/Continuïteit, Conflictafhandeling, Emotionele Ondersteuning).
• Baselines:
  • Offline LLM-als-o-Oordeel: Scoort vooraf opgenomen logs zonder interventie.
  • Offline Agent-als-o-Oordeel: Kan logs doorzoeken en context ophalen, maar kan niet interveniëren.
  • Online Agent-als-o-Oordeel: De voorgestelde methode.
• Doelagenten: Drie backends werden getest: een willekeurige regelgebaseerde agent, single-shot LLM prompting, en een observe-think-act loop met geheugen.
• Metrieken:
  • Criteria Dekking: Het deel van de criteria waarvoor een definitief pass/fail oordeel kon worden afgegeven (versus "onvoldoende bewijs").
  • Menselijke Overeenstemming: Nauwkeurigheid ten opzichte van menselijke labels per criterium.

Belangrijkste Resultaten

De studie toont aan dat actieve situatie-generatie aanzienlijk beter presteert dan passieve observatie, met name voor gedragingen die niet spontaan voorkomen.

1. Criteria Dekking: Online Agent-als-o-Oordeel bereikte een gemiddelde dekking van 0,92, vergeleken met 0,56 voor de Offline LLM-oordelaar en 0,54 voor de Offline Agent-oordelaar.
   • Het gat was het grootst bij Conflict/Normovertreding (1,00 vs. ~0,20) en Emotionele/Sociale Ondersteuning (0,89 vs. ~0,50), domeinen waar passieve tracés zelden de noodzakelijke triggers bevatten.
2. Menselijke Overeenstemming: De online methode bereikte een nauwkeurigheid van 0,70 ten opzichte van menselijke labels, wat de Offline LLM (0,33) en de Offline Agent (0,40) baselines significant overtrof.
   • De winst was het hoogst in Conflict (0,96 vs. 0,17) en Emotionele Ondersteuning (0,82 vs. ~0,50).
3. Robuustheid: De online oordelaar identificeerde zowel passes (82%) als failures (60%) correct, terwijl offline baselines aanzienlijk moeite hadden met het identificeren van failures (de Offline LLM identificeerde slechts 8% van de door mensen gelabelde failures).
4. Efficiëntie: Hoewel een door een ontwerper geleide evaluatie ongeveer 60 minuten duurt, evalueerde de geautomatiseerde Online Agent-als-o-Oordeel alle 32 criteria in ongeveer 21 minuten wandkloktijd door criteria parallel te draaien.

Beperkingen

De auteurs merken op dat Geheugen/Continuïteit een uitdaging blijft voor alle oordelaars (inclusief de online variant), met lagere overeenstemming scores. Dit wordt toegeschreven aan de gedistribueerde aard van geheugenev evidence over lange interactiegeschiedenissen, waardoor het moeilijk is om specifieke attributiefouten binnen een enkele sonde-episode te isoleren.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Identificatie van een Bottleneck: Het stelt vast dat "situatiebeschikbaarheid" een centrale beperking is bij het evalueren van interactieve sociale agenten; relevante bewijslast is vaak afwezig omdat de passende sociale situatie niet spontaan optreedt in passieve logs.
2. Een Nieuw Kader: Het introduceert Online Agent-als-o-Oordeel, een methode waarbij een evaluator actief sociale situaties construeert via natuurlijke interactie om specifieke gedragscriteria op te roepen en te verifiëren.
3. Empirische Validatie: Het demonstreert dat actieve elicitatie zowel de bewijskracht als de afstemming met menselijk oordeel verbetert, met name voor complexe sociale gedragingen zoals conflictafhandeling en emotionele ondersteuning die moeilijk passief te observeren zijn.

De auteurs positioneren dit werk niet als een vervanging voor resultaatgerichte benchmarks (bijv. taakvoltooiingstijd), maar als een noodzakelijk methodologisch instrument voor het evalueren van sociaal gesitueerde agenten, waarbij succes wordt gedef Definieerd door contextgevoelige gedragspatronen in plaats van eindtoestanden. Zij suggereren dat deze aanpak toepasbaar is op life-simulation games, conversationele assistenten en multi-agent sociale benchmarks.