Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks
Dit artikel evalueert de voorspellende validiteit van veelgebruikte benchmarks voor gezond verstand door 23 modellen te testen over diverse taken en stelt vast dat deze benchmarks slechts taakafhankelijke, in plaats van brede, bewijzen leveren voor de competentie van een LLM bij downstream taken in de echte wereld.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken of een nieuwe leerling slim is. Je geeft ze een gestandaardiseerde toets met meerkeuzevragen over het dagelijks leven, zoals: "Als ik een glas laat vallen, zal het dan breken?" of "Waarom huilt de jongen?". Als ze een hoge score halen, ga je ervan uit dat ze goed zijn in het begrijpen van de wereld. Dit is hoe wetenschappers momenteel kunstmatige intelligentie (AI) testen. Ze gebruiken "benchmarks"—statische quizzen die bedoeld zijn om te zien of AI modellen over "gezond verstand" beschikken, wat gewoon een chic woord is voor de basis, ongeschreven regels over hoe de wereld, mensen en natuurkunde werken. Maar hier is de crux: alleen omdat een leerling een meerkeuzetoets met een hoog cijfer afsluit, betekent dat nog niet dat hij ook daadwerkelijk een echte levenssituatie kan navigeren, zoals onderhandelen met een vriend of een kapot speelgoedje repareren. De grote vraag die onderzoekers stellen is: voorspellen deze testscores daadwerkelijk hoe goed de AI zal presteren bij taken in de echte wereld, of zijn ze gewoon goed in het maken van de test zelf?
Dit artikel, getiteld "Benchmarking the Benchmarks", gaat op een detectivesmissie om uit te zoeken of deze populaire AI-quizzen eigenlijk wel nuttig zijn. De auteurs, Ine Gevers en Walter Daelemans, behandelden deze benchmarks als een weersvoorspelling. Ze wilden weten: als de voorspelling "zonnig" zegt (een hoge benchmarkscore), betekent dat dan ook echt dat de dag zonnig zal zijn (de AI zal slagen voor een echte taak)? Om dit te testen, keken ze niet naar slechts één test; ze verzamelden 23 verschillende AI-modellen (denk aan 23 verschillende leerlingen) en gaven ze vier beroemde quizzen over gezond verstand, plus vier "herziene" versies van diezelfde quizzen die waren opgeschoond om lastige fouten te verwijderen. Vervolgens observeerden ze hoe deze zelfde modellen presteerden op acht verschillende, complexere uitdagingen uit de echte wereld, zoals het uitzoeken of iemand sarcastisch is, het begrijpen van verborgen betekenissen in een gesprek, of het voorspellen wat er daarna gebeurt bij een fysieke gebeurtenis.
De resultaten zullen je misschien verrassen. De auteurs ontdekten dat het opschonen van de quizzen de voorspellende waarde voor prestaties in de echte wereld niet echt verbeterde. Het is alsof je een wiskundetoets neemt, de typfouten uitgumt en de toets opnieuw print; de leerlingen die eerst een A haalden, halen nog steeds een A, en degenen die moeite hadden, blijven moeite hebben, maar de test vertelt je nog steeds niet of ze daadwerkelijk een auto kunnen repareren. Sterker nog, voor de meeste taken in de echte wereld waren de quizscores slechte voorspellers. De enige momenten waarop de quizzen nuttig waren, waren voor zeer specifieke taken: het begrijpen van "False Beliefs" (begrijpen dat iemand anders iets kan weten wat jij niet weet) en "TRIP" (het voorspellen van de fysieke stappen van een gebeurtenis). Zelfs toen was de connectie niet perfect.
De studie suggereert dat deze benchmarks niet één enkele, brede "gezond verstand"-superkracht meten. In plaats daarvan meten ze hoe goed een model een specifiek type meerkeuzetoets kan maken. Als je wilt dat een AI goed wordt in het begrijpen van sarcasme of sociale emoties, garandeert een hoge score op deze standaardquizzen dat niet. De auteurs concluderen dat we niet simpelweg naar een ranglijst kunnen kijken en ervan uitgaan dat de beste AI de slimste is voor elke baan. De scores zijn nuttig voor sommige zeer specifieke zaken, maar ze zijn geen magische kristallen bol voor algemene intelligentie. Het artikel betoogt dat we moeten stoppen met aannemen dat het repareren van de testvragen automatisch de capaciteit van de test om succes in de echte wereld te voorspellen herstelt, en in plaats daarvan moeten focussen op het testen van AI op manieren die daadwerkelijk lijken op de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.