In de moderne digitale economie vertrouwen bedrijven steeds vaker op kunstmatige intelligentie om complexe gesprekken met klanten af te handelen. Dit zijn geen eenvoudige, eenmalige uitwisselingen waarbij een bot een enkele vraag beantwoordt en weer verdwijnt. In plaats daarvan gaat het om meerzaalgesprekken waarbij een klant bijvoorbeeld kan vragen naar een product, een prijscontrole kan aanvragen, een adres kan verifiëren en vervolgens kan klagen over een verzendvertraging, allemaal binnen één enkel gesprek. Om ervoor te zorgen dat deze digitale assistenten correct werken, hebben bedrijven een manier nodig om hun prestaties te beoordelen. Jarenlang hebben onderzoekers een methode gebruikt die "LLM-as-a-judge" wordt genoemd, waarbij één kunstmatig intelligentiemodel de antwoorden van een ander model evalueert. Deze aanpak is de standaard geworden voor het testen van eenvoudige taken, maar het heeft moeite wanneer het gesprek lang is, de regels van bedrijf naar bedrijf verschillen en het juiste antwoord afhangt van specifieke feiten die de AI mogelijk niet kent. De kernuitdaging is dat een gesprek kan falen om twee zeer verschillende redenen: de AI kan te verward zijn om de klant te begrijpen, of het bedrijf heeft er simpelweg niet in geslaagd de AI de benodigde informatie te verstrekken om zijn werk te doen. Het onderscheid tussen deze twee soorten falen is cruciaal, omdat het oplossen van een verwarde AI een andere oplossing vereist dan het vragen aan een bedrijf om zijn gegevens bij te werken.

Een team onderzoekers bij Meta heeft een nieuw, uitgebreid systeem ontwikkeld dat specifiek ontworpen is om dit probleem op te lossen. In plaats van de evaluatie van deze agenten te behandelen als een eenvoudige oefening in het schrijven van prompts, hebben ze een volledig meetinstrument gebouwd dat de complexiteit van de echte wereld nabootst. Hun aanpak combineert vier afzonderlijke onderdelen: een duidelijke definitie van wat succes betekent voor een specifiek bedrijf, een reeks gespecialiseerde AI-rechters die verschillende aspecten van het gesprek controleren, een gesimuleerde gebruiker die met de agent kan interageren om diens grenzen te testen, en een menselijk beoordelingsproces dat de nauwkeurigheid van het hele systeem constant controleert. De onderzoekers ontdekten dat door deze onderdelen te verbinden tot een enkele, zelfcorrigerende lus, ze betrouwbaar konden meten of een agent faalde vanwege diens eigen beperkingen of vanwege ontbrekende bedrijfsgegevens. Na verloop van tijd zorgde dit systeem ervoor dat zowel de menselijke beoordelaars als de geautomatiseerde rechters samen verbeterden, wat een nauwkeuriger beeld van de prestaties gaf dan elk van hen alleen zou kunnen bereiken.

De onderzoekers begonnen met de erkenning dat er niet voor elk gesprek één "correct" antwoord bestaat. In een standaardtest wordt een model beoordeeld tegen een vaste lijst van goede en foute antwoorden. Maar in een echte zakelijke omgeving is een uitspraak als "we verzenden naar dat adres binnen drie dagen" alleen correct als het bedrijf daadwerkelijk dat verzendbeleid heeft. Als de gegevens van het bedrijf ontbreken, kan de AI het antwoord niet weten, en het een fout noemen zou onrechtvaardig zijn. Het team realiseerde zich dat ze, om deze agenten eerlijk te kunnen meten, eerst het doel van het gesprek duidelijk moesten definiëren. Ze creëerden een specificatie die elke interactie onderverdeelt in specifieke eindtoestanden. In plaats van alleen "goed" of "slecht" te zeggen, categoriseert het systeem de uitkomst in zeven verschillende mogelijkheden. Deze variëren van een volledige oplossing waarbij het probleem van de klant is opgelost, tot gedeeltelijke oplossingen, of gevallen waar de conversatie ongeldig was maar goed werd afgehandeld. Cruciaal is dat het systeem fouten veroorzaakt door het onvermogen van de AI om te begrijpen (een modeltekort) scheidt van fouten veroorzaakt door ontbrekende bedrijfsfeiten (een kennisgat). Dit onderscheid is essentieel omdat het het bedrijf precies vertelt wie het probleem moet oplossen: de ingenieurs die de AI bouwen of het bedrijfsleven dat de gegevens bijwerkt.

Om deze agenten te testen zonder dat er duizenden echte klanten nodig zijn om ze uit te proberen, bouwden de onderzoekers een gesimuleerde gebruiker. Dit is een AI-programma dat is ontworpen om te fungeren als een menselijke klant, maar met strikte regels om ervoor te zorgen dat het trouw blijft aan de oorspronkelijke taak. De simulator heeft twee modi. In de ene modus speelt het historische gesprekken af, waarbij de exacte intenties en feiten van een echt klantgesprek worden genomen en aan de nieuwe agent worden gevoerd om te zien hoe deze reageert. In de andere modus volgt het een reeks instructies om nieuwe scenario's te creëren, zoals een klant die verward is of een spammer die probeert het systeem te misleiden. Het belangrijkste kenmerk van deze simulator is dat deze wordt gecontroleerd om te garanderen dat het niet per ongelig het oorspronkelijke doel van de klant verandert. Als de simulator een nieuw verzoek bedennt dat de echte klant nooit heeft gedaan, zou dit een vals beeld geven van de prestaties van de agent. De onderzoekers verifieerden dat deze gesimuleerde gebruiker de oorspronkelijke taak kon behouden terwijl hij zich aanpaste aan de veranderende reacties van de agent, wat het een betrouwbaar instrument maakt voor tests voorafgaand aan de lancering.

Zodra de gesprekken waren gegenereerd, werden ze geëvalueerd door een team van gespecialiseerde AI-rechters. In plaats van te vertrouwen op één grote AI die een enkele score geeft, gebruikt het systeem veel kleine, gefocuste rechters. Eén rechter controleert of de AI feiten heeft verzonnen, een andere controleert of de AI de specifieke procedures van het bedrijf heeft gevolgd, en een derde controleert of de AI de intentie van de klant correct heeft afgehandeld. Deze individuele controles worden vervolgens gecombineerd met behulp van een duidelijke set regels om tot een definitief oordeel te komen. Deze structuur maakt het systeem transparant; als een gesprek als een fout wordt gemarkeerd, kan het systeem wijzen naar het specifieke bewijsstuk dat de oorzaak was, zoals een ontbrekende prijslijst of een verkeerd begrepen instructie. De onderzoekers bouwden ook een laag van menselijk toezicht in. Een menselijke beoordelaar bekijkt een steekproef van de gesprekken onafhankelijk, zonder te zien wat de AI-rechters hebben besloten. Als de mens en de AI van mening verschillen, grijpt een senior expert in om de definitieve beslissing te nemen. Dit proces produceert niet alleen een label; het creëert een feedbackloop. De meningsverschillen worden geanalyseerd om te zien of de mens een fout heeft gemaakt, of de richtlijnen onduidelijk waren, of dat de AI-rechter opnieuw getraind moet worden.

De resultaten van dit systeem, dat gedurende tweeënhalf jaar is getest op echte productie-agenten, lieten een duidelijk patroon van verbetering zien. Aanvankelijk waren de geautomatiseerde rechters niet veel beter dan een willekeurige gok bij het identificeren van specifieke soorten fouten. Echter, naarmate het systeem doorlopende cycli van controle en aanpassing doorliep, nam de nauwkeurigheid van de geautomatiseerde rechters aanzienlijk toe. In één dimensie verbeterde het vermogen van het systeem om ontbrekende bedrijfsgegevens te detecteren van een lage score naar een hoog niveau van nauwkeurigheid, waarbij het uiteindelijk de prestaties van de menselijke beoordelaars op die specifieke taak overtrof. Daarentegen bleven de menselijke beoordelaars op andere dimensies iets nauwkeuriger, maar de kloof tussen de twee nam in de loop der tijd af. De belangrijkste bevinding was dat de gecombineerde workflow — waarbij mens en machine samenwerkten in een gedeelde feedbackloop — de meest betrouwbare resultaten opleverde. Het systeem verving het menselijk oordeel niet; in plaats daarvan creëerde het een partnerschap waarbij de machine het zware werk deed van het controleren van feiten en de mensen zich concentreerden op de complexe nuances, waarbij beide zijden leerden van de fouten van de ander.

De onderzoekers merkten er zorgvuldig bij op dat deze bevindingen gebaseerd zijn op observationele gegevens uit hun eigen productieomgeving, en niet op een gecontroleerd experiment tegenover een andere methode. Ze beweerden niet dat hun systeem universeel perfect is of dat het op precies dezelfde manier zal werken voor elk bedrijf. Ook waren de menselijke beoordelaars zelf niet onfeilbaar, en de prestaties van het systeem bereikten uiteindelijk een plateau, wat betekent dat het na een bepaald punt stopte met verbeteren. De studie toonde echter aan dat het behandelen van AI-evaluatie als een onderhouden meetinstrument, in plaats van een eenmalige test, ruimte biedt voor continue verfijning. Door duidelijke doelen te definiëren, gespecialiseerde rechters te gebruiken, gebruikers zorgvuldig te simuleren en mensen in de loop te houden om fouten te corrigeren, kunnen bedrijven een betrouwbare manier opbouwen om hun digitale agenten te meten. Deze aanpak zorgt ervoor dat wanneer een gesprek mislukt, het bedrijf precies weet waarom, en de juiste actie kan ondernemen om het te herstellen, of dat nu het bijwerken van een database is of het hertrainen van een model.