The Authenticity Gap in Human Evaluation

In de wereld van computertalen, waar machines worden geleerd om verhalen te schrijven, vragen te beantwoorden en gesprekken te voeren, bestaat er een hardnekkig probleem: hoe weten we of de machine het eigenlijk goed doet? Jarenlang was de standaardmethode om mensen in te huren om de tekst die de computer produceert te lezen en er een score aan te geven, vergelijkbaar met een rechter bij een talentenjacht. Deze menselijke beoordelingen worden beschouwd als de ultieme waarheid, de gouden standaard waartegen alle nieuwe computerprogramma's worden afgemeten. De logica lijkt simpel: als een computer een verhaal schrijft dat door mensen hoog wordt beoordeeld, is het een goede schrijver. Maar deze benadering rust op een verborgen aanname—dat wanneer een persoon een cijfer geeft aan een stuk tekst, dat cijfer hun werkelijke gevoel erover perfect vangt. Het gaat ervan uit dat de afstand tussen een "goede" score en een "geweldige" score voor iedereen hetzelfde is, en dat het middelen van deze scores ons precies vertelt welke computer beter is.

Een team onderzoekers aan Stanford University besloot dit proces nauwkeuriger te bekijken, niet alleen om te zien of de jury's hun werk deden, maar om te vragen of het beoordelingssysteem zelf gebrekkig was. Ze benaderden het probleem vanuit de optiek van hoe economen menselijke keuzes begrijpen, waarbij ze het vermogen van een computer om tekst te genereren zagen als een soort gok. Wanneer een computer schrijft, produceert hij niet één enkel, vast resultaat; hij produceert een reeks mogelijke uitkomsten, sommige briljant en andere verschrikkelijk. De onderzoekers ontdekten dat de standaardmanier om mensen naar deze uitkomsten te laten beoordelen, vaak faalt in het vastleggen van wat mensen daadwerkelijk verkiezen. Sterker nog, ze ontdekten dat het louter middelen van deze beoordelingen soms de resultaten kan omdraaien, waardoor een slechtere computer beter lijkt dan een betere, of het verhult het feit dat mensen het verschil kunnen zien tussen een machine en een mens.

Om dit op te lossen, stelden de onderzoekers een volledig nieuwe manier voor om meningen te vragen. In plaats van een persoon te vragen een enkel verhaal te beoordelen op een schaal van één tot vijf, vroegen ze hen om twee computers naast elkaar te leggen en de waarschijnlijkheid in te schatten dat de één als geheel beter is dan de ander. Deze methode, die zij systeemniveau probabilistische beoordeling noemen, behandelt de menselijke beoordelaar niet als een rekenmachine van scores, maar als een expert die een waarschijnlijkheid inschat. Toen ze deze nieuwe methode tegen de oude methode testten met verschillende versies van een krachtig taalmodel, waren de resultaten opmerkelijk. De oude methode, die al jaren de industriestandaard is, slaagde er niet in om duidelijke verschillen tussen de modellen te detecteren die overduidelijk hadden moeten zijn. Het kon niet detecteren dat een grotere, geavanceerdere computer beter was dan een kleinere, en het suggereerde zelfs dat een computer aanzienlijk beter was dan een menselijke schrijver, een bevinding die in strijd is met eerder onderzoek.

De nieuwe methode werkte echter precies zoals de onderzoekers hadden gehoopt. Wanneer mensen de waarschijnlijkheidsgebaseerde benadering gebruikten, identificeerden zij consistent de juiste volgorde van de computermodellen, waarbij zij erkenden dat de grotere, complexere systemen betere verhalen produceerden. Zij identificeerden ook correct dat terwijl de kleinste computer duidelijk slechter was dan een mens, de grootste computer ononderscheidbaar was van een menselijke schrijver. Dit succes kwam niet door meer mensen of meer data te gebruiken; de onderzoekers gebruikten voor beide tests dezelfde groep van negentig vrijwilligers. Het verschil lag volledig in de manier waarop de vraag werd gesteld. De standaardmethode, die vraagt om een beoordeling op een vaste schaal, dwingt mensen om oordelen te vellen waar hun brein niet op bedraad is om ze consistent te maken. Het gaat ervan uit dat de kloof tussen een score van drie en een score van vier voor iedere persoon hetzelfde betekent, een aanname die in de werkelijkheid zelden standhoudt.

De onderzoekers toonden aan dat dit gebrek niet slechts een kleine technische fout is, maar een fundeel misverstand van hoe menselijke voorkeur werkt. Wanneer mensen gevraagd worden tekst op een schaal te beoordelen, zijn ze vaak aan het gissen naar de afstand tussen de punten, en die gissingen kunnen van persoon tot persoon enorm variëren. De één vindt een score van vier misschien slechts iets beter dan een drie, terwijl een ander vindt dat het twee keer zo goed is. Wanneer je deze tegenstrijdige visies middelt, ontstaat er een troebel signaal dat de waarheid vertroebelt. De nieuwe methode omzeilt deze verwarring door mensen te vragen een stap terug te doen en naar het grote plaatje te kijken. In plaats van een enkele zin te beoordelen, beoordelen zij het hele systeem, waarbij zij inschatten hoe vaak zij de ene computer boven de andere zouden verkiezen als zij veel voorbeelden zouden zien. Deze benadering erkent dat mensen niet elke mogelijke output die een computer kan genereren kunnen zien, maar dat zij nog steeds een betrouwbaar gevoel kunnen vormen over welk systeem superieur is op basis van een steekproef.

De implicaties van deze bevinding reiken veel verder dan alleen het testen van verhalen schrijvende computers. Het daagt de manier uit waarop het hele vakgebied van kunstmatige intelligentie zijn eigen vooruitgang evalueert. Jarenlang hebben onderzoekers nieuwe modellen gebouwd en beweerd dat ze beter zijn omdat ze hogere gemiddelde scores ontvingen van menselijke beoordelaars. Als die scores wiskundig gezien niet trouw zijn aan menselijke voorkeur, dan kunnen veel van die claims onjuist zijn. De studie suggereert dat het vakgebied zich moet bewegen weg van eenvoudige beoordelingsschalen en naar methoden die de complexiteit van menselijk oordeel respecteren. Door mensen te vragen waarschijnlijkheden in te schatten in plaats van getallen toe te kennen, kunnen we een duidelijker en eerlijker beeld krijgen van wat deze machines werkelijk in staat zijn.

In hun experimenten gebruikten de onderzoekers een specifieke set verhaalprompts en vroegen de vrijwilligers om verschillende versies van een taalmodel te vergelijken, variërend van een kleine, basisversie tot een massieve, geavanceerde versie. Ze voegden ook verhalen toe geschreven door echte mensen om als benchmark te dienen. De resultaten waren duidelijk: de nieuwe methode herstelde alle verwachte voorkeuren, waarbij de computers correct werden gerangschikt van slecht naar goed en de menselijke schrijver correct in het geheel plaatste. De oude methode, ondanks het gebruik van dezelfde vrijwilligers en dezelfde verhalen, herstelde slechts twee van de vijf verwachte voorkeuren. Het slaagde er niet in het verschil te zien tussen de middelgrote computers en concludeerde, even verrassend, dat de menselijke schrijver aanzienlijk slechter was dan de grootste computer. Deze fout benadrukt een gevaarlijk blinde vlek in de huidige evaluatiepraktijken, waarbij een gebrekkig protocol kan leiden tot de overtuiging bij onderzoekers dat hun machines de menselijke capaciteit hebben overtroffen, terwijl dat niet zo is.

De onderzoekers testten deze nieuwe benadering ook op beeldgeneratie, waarbij ze mensen vroegen welke computer betere afbeeldingen produceerde. De resultaten hielden opnieuw stand, wat aantoont dat de methode werkt over verschillende soorten creatieve taken heen. Ze ontdekten dat naarmate mensen meer voorbeelden zagen, ze zekerder werden over hun voorkeuren, maar zelfs met een klein aantal voorbeelden was de waarschijnlijkheidsgebaseerde methode in staat om de juiste winnaar te detecteren. Dit suggereert dat de methode robuust en efficiënt is, in staat om betrouwbare antwoorden te bieden zonder dat daar een onmogelijke hoeveelheid data voor nodig is. Het respecteert de grenzen van de menselijke aandacht terwijl het nog steeds de essentie van menselijke voorkeur vangt.

Uiteindelijk gaat dit werk over het afstemmen van onze instrumenten op de realiteit. Het standaardprotocol voor het evalueren van kunstmatige intelligentie is gebouwd op een fundament van aannames die niet overeenkomen met hoe mensen daadwerkelijk denken of voelen. Door de focus te verleggen van willekeurige getallen naar eerlijke schattingen van waarschijnlijkheid, hebben de onderzoekers een pad geboden naar nauwkeurigere en betrouwbaardere evaluaties. Het is een herinnering aan het feit dat, in de zoektocht naar betere machines, we eerst moeten verzekeren dat onze methoden om ze te meten deugdelijk zijn. Het doel is niet alleen om te weten welke computer wint, maar om te begrijpen wat die overwinning werkelijk betekent voor de toekomst van de mens-computerinteractie. Naarmate deze systemen meer geïntegreerd raken in ons leven, is het juist maken van de evaluatie niet slechts een academische oefening; het is een noodzaak om te garanderen dat de technologie die we bouwen werkelijk de mensen dient die het gebruiken.