Position: Evaluation Scores Are Perishable Knowledge Claims

De Scorecard-valstrik: Waarom "Gemiddeld" een Leugen Kan Zijn

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met aanwijzingen van drie verschillende getuigen. De ene getuige is een supernauwkeurige robot die nooit liegt, maar het misdrijf alleen van een afstandje heeft gezien. Een andere is een praatgrage mens die alles van dichtbij heeft gezien, maar soms dingen verzint om indruk te maken. De derde is een spiegel die simpelweg herhaalt wat de verdachte zegt. Als je het "gemiddelde" van hun verhalen neemt, krijg je misschien een netjes, gemiddeld verslag van de gebeurtenissen dat volkomen redelijk klinkt. Maar hier is de crux: als de menselijke getuige zegt dat de verdachte een rode hoed droeg (terwijl hij eigenlijk een blauwe droeg), dan ruïneert dat ene foute detail het hele verhaal, ongeacht hoe perfect de beschrijving van het weer door de robot was. In de wereld van Kunstmatige Intelligentie, specifiek wanneer we proberen te meten hoe slim deze computerehersenen zijn, maken we vaak precies deze fout. We behandelen testscores als eenvoudige wiskundige problemen waarbij we ze gewoon kunnen optellen en delen door het aantal tests om een "eindcijfer" te krijgen. Maar de auteurs van dit artikel betogen dat deze scores niet slechts getallen zijn; het zijn claims over de waarheid die een vervaldatum hebben, specifieke grenzen hebben waar ze van toepassing zijn, en verschillende niveaus van betrouwbaarheid bezitten. Als we deze verborgen regels negeren en alles simpelweg samen middelen, eindigen we bij "Trust Inflation" (vertrouwensinflatie)—een chique manier om te zeggen dat we overmoedig worden in een systeem dat in werkelijkheid misschien op de meest gevaarlijke manieren kapot is.

Het Grote Idee van het Papier: Stop met Middelen, Begin met de Zwakste Schakel Controleren

Het artikel, geschreven door Sankalp en Shlok Gilda, stelt dat de huidige manier waarop AI-modellen worden gerangschikt fundamenteel gebrekkig is, omdat alle testresultaten worden behandeld alsof ze even sterk en permanent zijn. De auteurs noemen dit probleem Trust Inflation. Dit gebeurt wanneer we verschillende soorten bewijs—zoals geautomatiseerde computercontroles, menselijke meningen en AI-beoordelaars—mengen in één enkele "gemiddelde" score. Het probleem is dat één zwak punt het hele plaatje kan vernietigen, maar middelen die zwakte verbergen.

Om dit uit te leggen, gebruiken de auteurs een eenvoudige analogie: stel je een ketting voor. De sterkte van de hele ketting wordt niet bepaald door de gemiddelde sterkte van alle schakels; zij wordt bepave door de zwakste schakel. Als je een ketting hebt waarbij 99 schakels van staal zijn en één van papier, zal de hele ketting breken onder het gewicht van een veer. Vergelijkbaar daarmee: als een AI-model geweldig is in het schrijven van poëzie maar verschrikkelijk in het vertellen van de waarheid (feitelijkheid), kan een "gemiddelde" score het doen lijken als een goede allrounder. Maar in de echte wereld, als die AI wordt gebruikt voor medisch advies, is het onvermogen om de waarheid te spreken een ramp, ongeacht hoe mooi de poëzie is.

Het artikel suggerekt dat we stoppen met het "gemiddelde" als onze standaardmethode te gebruiken. In plaats daarvan zouden we een "zwakste-schakel"-benadering moeten gebruiken, vooral voor taken waarbij veiligheid cruciaal is. Dit betekent dat als een AI zelfs één belangrijke test faalt, de algemene beoordeling moet dalen om die mislukking te weerspiegelen, in plaats van te worden opgepompt door de andere goede scores.

De Drie Regels van AI-Waarheid

De auteurs stellen voor dat elke AI-testscore vergezeld moet gaan van een "label" dat ons drie specifieke dingen vertelt, net zoals een voedselverpakking je vertelt wat erin zit, waar het vandaan komt en wanneer het verloopt:

1. Formaliteit (Hoe sterk is het bewijs?): Niet alle tests zijn gelijk. Het artikel creëert een "tier"-systeem (niveau).

   • Tier F0 (De Zwakste): Dit omvat scores van andere AI-modellen die het werk beoordelen of publieke opinies via crowdsourcing. De auteurs suggereren dat deze slechts tot een betrouwbaarheidsplafond van 0,70 vertrouwd kunnen worden, omdat AI-beoordelaars vaak gewoon van lange, chique antwoorden houden, zelfs als ze fout zijn.
   • Tier F1 & F2 (Sterker): Dit zijn gestructureerde computercontroles of gecontroleerde menselijke tests. Ze zijn betrouwbaarder, maar zelfs menselijke tests hebben grenzen (betrouwbaarheid tot 0,95).
   • Tier F3 (De Sterkste): Dit is een formeel wiskundig bewijs. Dit is het enige dat een perfecte betrouwbaarheid van 1,00 kan bereiken.
   • De Regel: Als je een Tier F0-score combineert met een Tier F2-score, wordt het hele resultaat begrensd op het F0-niveau (0,70). Je kunt een zwakke test niet sterk maken door er een sterke test aan toe te voegen.

2. Scope (Waar is dit van toepassing?): Een testscore is alleen waar voor de specifieke situatie waarin deze is getest. Als een AI is getest op Engelse vragen, betekent die score niet dat hij goed is in Spaans. Als hij is getest op algemene kennis, betekent dat niet dat hij goed is in juridisch advies. Het artikel betoogt dat scores expliciet hun grenzen moeten aangeven, zodat we ze niet per ongeluk op de verkeerde plek gebruiken.

3. Geldigheidsvensters (Wanneer verloopt het?): Testscores hebben een houdbaarheid. Net als melk worden ze slecht. De auteurs wijzen erop dat zodra een AI-model de testvragen heeft gezien tijdens zijn training (een probleem dat "contaminatie" wordt genoemd), de score betekenisloos wordt. Ze suggereren dat elke score een vervaldatum moet hebben. Een door AI gegenereerde mening is misschien slechts enkele weken geldig, terwijl een formeel wiskundig bewijs eeuwig kan duren.

Praktijkbewijs: "Trust Inflation" in Actie

De auteurs hebben niet alleen over de theorie gesproken; ze hebben een echt testingsysteem voor AI-agenten gebouwd en ontdekten enkele angstaanjagende bugs.

• De Stille Bug: Ze ontdekten dat een mismatch tussen hun computer talen ervoor zorgde dat elke enkele fout werd geregistreerd als een succes. Het systeem loog tegen hen en blafte de scores op zonder dat iemand het merkte. Dit is "trust inflation" op het niveau van de infrastructuur.
• De "Gemiddelde" Leugen: Ze testten deze theorie op een beroemde publieke leaderboard genaamd HELM. Ze bekeken 54 top AI-modellen over 10 verschillende scenario's.
  • Wanneer ze de modellen rangschikten op basis van de gemiddelde score, waren de top 5 modellen één groep.
  • Wanneer ze ze rangschikten op basis van de zwakste schakel (de laagste score in een categorie), waren de top 5 modellen een volkomen andere groep.
  • Sterker nog, de overlap tussen de twee top-5 lijsten was nul. De modellen die er volgens de oude methode als de beste "allrounders" uitzien, bleken juist de modellen te zijn met de grootste verborgen zwaktes. De modellen die volgens de oude methode "gemiddeld" leken, waren in werkelijkheid de meest betrouwbare omdat ze geen catastrofale fouten hadden.

Wat Dit Betekent voor de Toekomst

Het artikel sluit af met een oproep tot actie voor de AI-gemeenschap. Ze willen dat we stoppen met het verbergen van de wiskunde achter de scores.

• Laat je werk zien: Elke score moet een label dragen dat aangeeft hoe sterk het bewijs is, waar het van toepassing is en wanneer het verloopt.
• Kies je gif: Als we scores moeten combineren, moeten we toegeven welke methode we gebruiken. Zijn we optimistisch (het gebruik van het gemiddelde) of conservatief (het gebruik van de zwakste schakel)? Het artikel betoogt dat we voor de veiligheid standaard voor de conservatieve "zwakste schakel"-methode moeten kiezen, maar dat we tenminste moeten toegeven dat we die keuze hebben gemaakt.
• Versiebeheer: Net zoals softwarecode, moet de manier waarop testresultaten worden vastgelegd versiebeheer hebben, zodat we niet per ongeluk appels met peren vergelijken.

De auteurs geven toe dat dit een "position paper" is, wat betekent dat ze een nieuwe manier van denken voorstellen gebaseerd op sterke logica en engineeringervaring, in plaats van een massaal nieuw experiment dat alles 100% correct bewijst. Ze erkennen dat te conservatief zijn goede modellen slecht kan laten lijken, maar ze betogen dat het beter is om veilig te zijn dan een systeem te implementen dat er gemiddeld geweldig uitziet, maar op een manier faalt die mensen schade berokkent. Door de "epistemische status" (de waarachtigheid en de grenzen) van scores transparant te maken, kunnen we betere beslissingen nemen over welke AI-systemen we kunnen vertrouwen.