There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
Dit artikel toont aan dat moderne LLM-leaderboards fundamenteel onbetrouwbaar zijn omdat configuraties van evaluatieharnesses (zoals de formulering van prompts en scoringsmethoden) de primaire drijfveren zijn van prestatievariantie, waarbij ze vaak de rangschikking van modellen meer bepalen dan de werkelijke capaciteiten van de modellen zelf.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie vertrouwen onderzoekers op gestandaardiseerde tests om te meten hoe goed computerprogramma's taal begrijpen. Deze tests, vaak benchmarks genoemd, presenteren een reeks meerkeuzevragen aan een model en registreren hoeveel antwoorden het goed heeft. De resulterende score wordt behandeld als een definitief feit over de intelligentie van de machine, waardoor wetenschappers verschillende modellen tegen elkaar kunnen afzetten en een winnaar kunnen uitroepen. Jarenlang heeft de gemeenschap gehandeld onder de aanname dat, hoewel de prestaties van een model licht kunnen fluctueren door toeval, de algehele ranglijst een stabiele waarheid weerspiegelt over de capaciteiten van de technologie. De vraag of een model werkelijk slimmer is dan een ander, werd beantwoord door naar één enkel getal te kijken: het percentage correcte antwoorden.
Echter, een nieuw onderzoek suggereert dat dit enkele getal een veel complexer verhaal vertelt. De studie onthult dat de score die een model ontvangt niet alleen een maatstaf is voor de intelligentie ervan, maar ook een product is van de specifieke regels die worden gebruikt om het te beoordelen. Deze regels, bekend als de evaluatie-harness, bevatten keuzes die aan de oppervlakte triviaal lijken: de volgorde waarin de antwoordopties worden vermeld, de exacte bewoording van de instructies die aan de machine worden gegeven, en de methode die wordt gebruikt om te beslissen of een antwoord correct is. Ho
Hoewel deze keuzes vaak willekeurig of op basis van gemak worden gemaakt, vond de onderzoeker dat het veranderen ervan de ranglijst volledig kan herschrijven, waardoor een model dat als laatste werd gerangschikt de top performer wordt, of andersom. De bevindingen impliceren dat de huidige manier waarop we kunstmatige intelligentie rangschikken, veel minder stabiel is dan voorheen werd aangenomen, en dat het "beste" model volledig afhangt van hoe de test wordt afgenomen.
Om deze verborgen instabiliteit te ontdekken, ontwierp een onderzoeker aan de Universiteit van Californië, San Diego, een grootschalig experiment dat de testregels zelf als een variabele behandelde. In plaats van één enkele test uit te voeren en het resultaat te accepteren, creëerde hij een raster van zesentwintig verschillende manieren om dezelfde toets af te nemen. Hij nam twaalf verschillende taalmodellen van vier grote families en vroeg hen om dezelfde 3.679 meerkeuzevragen te beantwoorden. Voor elke enkele vraag liet hij de modellen door elke mogelijke combinatie van de testregels lopen. Dit omvatte het door elkaar husselen van de volgorde van de antwoordopties, het veranderen van de formulering van de vragen, en het wisselen tussen twee verschillende methoden voor het scoren van de antwoorden: één waarbij het model een tekstuele reactie genereert, en een andere waarbij de computer de wiskundige waarschijnlijkheid berekent dat elke optie correct is.
De resultaten waren verbijsterend. Wanneer de onderzoeker naar de scores van een enkel model keek, vond hij geen enkel punt van nauwkeurigheid. In plaats daarvan vond hij een brede band van mogelijke scores. Voor een van de best presterende modellen varieerde de score van een laag van 31 procent tot een hoog van 89 procent, afhankelijk van welke van de zesentwintig regelsets werd gebruikt. Dit betekent dat dezelfde machine, met dezelfde interne code en dezelfde kennis, de eer kan krijgen dat hij bijna alle antwoorden goed had of dat hij minder dan een derde van de antwoorden goed had, simpelweg omdat de testbeheerder de volgorde van de letters of de stijl van de prompt veranderde. Gemiddeld kon 85 procent van de antwoorden die een model volgens de standaardregels als correct werd beschouwd, als fout worden gemarkeerd onder een andere, even geldige set regels.
De meest cruciale ontdekking was dat deze fluctuaties geen willekeurige ruis waren die gelijkmatig over de test verspreid was. De instabiliteit was geconcentreerd op precies de vragen die de modellen van elkaar onderscheidden. Wanneer de onderzoeker naar de vragen keek die twee naburige modellen zowel correct als incorrect beantwoordden, ongeacht de regels, waren de modellen in essentie gelijk. De verschillen die de rangschikkingen creëerden, bestonden alleen bij de vragen waarbij de modellen onzeker waren. Sterker nog, voor de paren modellen die naast elkaar in de ranglijst stonden, werd bijna de gehele kloof in hun scores — gemiddeld 96 procent — gedragen door deze onstabiele vragen. Als men de vragen die heen en weer sprongen zou verwijderen, zouden de rangschikkingen verdwijnen en zouden de modellen ononderscheidbaar worden.
Deze fragiliteit betekende dat de identiteit van de "winnaar" geen vaste eigenschap van de modellen was, maar een keuze gemaakt door de evaluator. Onder één set regels zou een specifiek model de eerste plaats kunnen bezetten, terwijl onder een andere set regels een totaal ander model zou winnen. In deze studie waren vier verschillende modellen in staat om de eerste plaats te bereiken, afhankelijk van welke configuratie werd gebruikt. Eén model dat als elfde van de twaalf eindigde onder de standaardregels, sprong naar de eerste plaats onder een andere scoringsmethode. De onderzoeker merkte op dat de keuze van hoe te scoren — ofwel de tekst lezen die het model schreef, ofwel de waarschijnlijkheden berekenen — de meest krachtige factor was, wat meer verschuivingen in de rangschikkingen veroorzaakte dan de volgorde van de opties of de bewoording van de prompt.
De studie onderzocht ook een populaire trend in het veld: het comprimeren van deze grote tests tot een kleinere set van de meest "informatieve" vragen om tijd te besparen. De logica was dat een paar honderd goed gekozen vragen het geheel konden vertegenwoordigen. De onderzoeker kwam tot de conclusie dat deze praktijk het probleem juist verergert. De vragen die worden geselecteerd als de meest informatieve, zijn precies de vragen die het meest gevoelig zijn voor de testregels. Door alleen deze moeilijke, cruciale vragen over te houden, worden gecomprimeerde benchmarks zelfs volatieler dan de volledige tests die ze vervangen. Een kleinere test biedt geen duidelijker beeld; het biedt een fragieler beeld, waarbij de rangschikking nog waarschijnlijker verandert op basis van kleine aanpassingen in de opzet.
Uiteindelijk betoogt het artikel dat de huidige praktijk om een enkel getal te rapporteren als de waarheid over de bekwaamheid van een model, misleidend is. De score is niet alleen een eigenschap van het model; het is een eigenschap van het model in interactie met een specifieke set regels. De onderzoeker stelt voor dat toekomstige rapportages moeten stoppen met het behandelen van de ranglijst als een vaste hiërarchie en in plaats daarvan de bandbreedte van mogelijke scores moeten presenteren. Hij stelt voor dat wetenschappers, bij het vergelijken van modellen, zich moeten richten op de vragen waar de modellen stabiel zijn en het met elkaar eens zijn, in plaats van op de vragen waar de regels de uitkomst bepalen. Totdat de gemeenschap het eens wordt over één onveranderlijke manier om deze tests uit te voeren, zullen de ranglijsten een reflectie blijven van de keuzes van de evaluator in plaats van een definitieve maatstaf van kunstmatige intelligentie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.