The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance
Dit artikel introduceert BenchDrift, een framework dat kwantificeert hoe betekenisbehoudende herformuleringen van benchmarkproblemen leiden tot significante tweerichtingsprestatiesfluctuaties in LLM's, wat onthult dat formuleringgevoeligheid voortduurt over de sterkte van modellen heen en dat fragiliteit meer voortkomt uit specifieke herformuleringen dan uit individuele zwakheden van modellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een jurylid bent bij een talentenjacht, maar in plaats van naar een optreden te kijken, beoordeel je het vermogen van een robot om puzzels op te lossen. In de wereld van kunstmatige intelligentie worden deze puzzels "benchmarks" genoemd. Beschouw een benchmark als een gestandaardiseerde toets, zoals een eindexamen voor een computer. Jarenlang hebben wetenschappers geloofd dat als een robot een hoge score haalt op deze test, hij de stof echt begrijpt. Maar er is een addertje onder het gras: elke puzzel op de test is op precies één specifieke manier geschreven. Het is alsof je een student vraagt: "Wat is 2 plus 2?" en hem een perfect cijfer geeft, maar nooit vraagt: "Kun je de som van twee en twee vertellen?" of "Als je twee appels hebt en er twee bij krijgt, hoeveel heb je er dan?"
Dit artikel duikt in een hoek van de wetenschap genaamd Natural Language Processing, die bestudeert hoe computers menselijke woorden begrijpen. Het kernidee hier is dat computers verrassend gevoelig zijn voor hoe een vraag wordt gesteld. Net zoals een mens in de war kan raken als een leraar een vreemd accent gebruikt of een verwarrende zinsstructuur, kan een computer struikelen als de woorden veranderen, zelfs als de wiskunde of de logica precies hetzelfde blijft. Waarom is dit belangrijk? Omdat als de score van een robot volledig afhangt van de specifieke bewoording van de test, we die score niet echt kunnen vertrouwen om te vertellen hoe slim de robot werkelijk is. Het kan zijn dat hij gewoon goed is in het raden van het juiste antwoord op een specifieke raadsel, in plaats van het probleem zelf op te lossen.
De onderzoekers achter deze studie, werkend bij IBM, besloten dit "wording effect" (bewordingseffect) te onderzoeken met een nieuw hulpmiddel dat ze bouwden genaamd BenchDrift. Stel je een magische fotokopieermachine voor die een testvraag op tientallen verschillende manieren kan herschrijven zonder het antwoord te veranderen. Je zou dezelfde wiskundige vraag kunnen stellen als een beleefd verzoek, een dramatisch verhaal, een lijst met opsommingstekens, of zelfs als een reeks kleinere vragen. Het team gebruikte BenchDrift om echte testvragen te herschrijven langs vier verschillende "assen": Linguïstisch (het veranderen van woorden en stijl), Referentieel (het vervangen van namen of getallen), Pragmatisch (het veranderen van toon of setting, zoals doen alsof de robot een kunstenaar is) en Structureel (het veranderen van de manier waarop de informatie is georganiseerd).
Ze haalden deze herschreven vragen door acht verschillende AI-modellen, variërend van kleiner tot zeer groot. Wat ze ontdekten, was een schok. Ze ontdekten een fenomeen dat ze "drift" noemen. Soms hielp het herschrijven van een vraag de robot om het juiste antwoord te krijgen wanneer hij dat eerder niet lukte (positieve drift). Maar vaak zorgde het herschrijven van een vraag ervoor dat een robot een probleem niet meer oploste dat hij eerder correct had opgelost (negatieve drift).
De meest verrassende ontdekking was dat hoe slimmer de robot, hoe fragieler hij leek te zijn. De sterkste modellen, die meestal de hoogste scores halen, verloren daadwerkelijk meer correcte antwoorden wanneer de vragen werden geherformuleerd dan ze erbij wonnen. Het is alsof de beste studenten zo gewend waren aan de specifieke manier waarop de leraar vragen stelde, dat ze een licht andere formulering niet aankonden. Sterker nog, voor de beste modellen was een enkele testscore vaak een overschatting van hun werkelijke vermogen. De onderzoekers ontdekten dat de kloof tussen de "best-case" score van een model (wanneer het geluk heeft met de bewoording) en de "worst-case" score (wanneer de bewoording het model in de war brengt) enorm was—gemiddeld een verschil van 74,7 procentpunt. Bijvoorbeeld, een model dat 93,4% scoorde op de originele test, zakte naar 38,2% wanneer de vragen op een bepaalde manier werden geherformuleerd.
Het team sloot ook een aantal makkelijke excuses uit. Ze bewezen dat de robots niet simpelweg faalden omdat de vragen moeilijker of langer werden; soms veroorzaakte het korter of langer maken van een vraag evenveel problemen. Ze ontdekten ook dat zelfs wanneer een robot extreem zelfverzekerd was over zijn antwoord (een hoge waarschijnlijkheidsscore gaf), een eenvoudige herformulering de logica nog steeds kon breken. Dit suggereert dat de fragiliteit niet alleen gaat over het feit dat de robot onzeker is; het gaat erom dat de robot te zwaar leunt op de specifieke vorm van de woorden.
Bovendien merkten de onderzoekers op dat verschillende modellen vaak op dezelfde soorten herformuleringen faalden. Bijvoorbeeld, het opbreken van een probleem in een reeks kleinere, expliciete vragen (een structurele verandering) veroorzaakte de meeste fouten over de hele linie, terwijl het simpelweg toevoegen van extra spaties of het veranderen van het lettertype nauwelijks problemen opleverde. Dit betekent dat het probleem niet uniek is voor één specifieke robot; het is een gebrek in de manier waarop deze systemen bepaalde soorten taalstructuren afhandelen.
Uiteindelijk betoogt het artikel dat een enkele benchmarkscore als een snapshot is van een rijdende auto; het vertelt je waar de auto zich op exact dat ene moment bevond, maar niet hoe stabiel hij is. De onderzoekers stellen voor dat we, in plaats van alleen één getal te rapporteren, een bereik moeten rapporteren: de slechtste score die het model kon halen, de beste score, en het gemiddelde. Dit geeft een veel duidelijker beeld van wat de AI daadwerkelijk kan. Ze ontdekten dat je, om een betrouwbaar beeld van de werkelijke kracht van een model te krijgen, het model op veel verschillende versies van hetzelfde probleem moet testen, en niet alleen op de originele versie. Als we dit niet doen, riskeren we het vieren van robots die eigenlijk behoorlijk broos zijn, simpelweg omdat ze toevallig de bewoording van de test precies goed hadden gekregen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.