Beyond Accuracy: A Multidimensional Evaluation of Statistical Reasoning in Large Language Models
Deze studie stelt een multidimensionaal evaluatiekader voor dat verder gaat dan eenvoudige nauwkeurigheidsmetrieken om te onthullen hoe 15 grote taalmodellen statistische redeneringen construeren en communiceren, waarbij wordt aangetoond dat hoewel de nauwkeurigheid aanzienlijk varieert, modellen gemeenschappelijke conceptuele structuren delen maar doch onderscheidende leveranciersspecifieke verklarende stijlen vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme bibliotheek binnenloopt waar de boeken zijn geschreven door een nieuw soort bibliothecaris: een Kunstmatige Intelligentie. Deze AI-bibliothecarissen, genaamd Large Language Models (LLM's), zijn ongelooflijk goed in lezen, schrijven en chatten. Ze kunnen trivia beantwoorden, gedichten schrijven en wiskundige problemen oplossen die voorheen mensen in de war brachten. Maar hier komt de adder onder het gras: alleen omdat een AI het juiste antwoord geeft, betekent dat niet dat de AI de vraag ook echt begrijpt. Het kan zijn dat de AI gokt op basis van patronen die hij in zijn trainingsdata heeft gezien, zoals een papegaai die een zin herhaalt die hij duizend keer heeft gehoord zonder te weten wat het betekent.
In de wereld van de statistiek — de wetenschap van het begrijpen van getallen en onzekerheid — is dit een groot ding. Statistiek gaat niet alleen over het verwerken van getallen; het gaat over redeneren onder onzekerheid, begrijpen waarom een patroon een toevalstreffer kan zijn, en uitleggen hoe je tot je antwoord bent gekomen. Al een lange tijd testen wetenschappers deze AI-bibliothecarissen door ze vragen te stellen en te controleren of het uiteindelijke antwoord goed of fout is. Het is also word een student beoordeelt op een toets door alleen naar het invulblaadje te kijken, waarbij de rommelige tussenberekeningen die het echte denkwerk vormen, worden genegeerd. Maar wat als de AI het juiste antwoord geeft om de verkeerde redenen? Of wat als de AI het fout heeft, maar zijn denkproces zo prachtig uitlegt dat het heel slim klinkt? Om echt te weten of deze AI-bibliothecarissen klaar zijn om ons te helpen met statistiek, moeten we dieper kijken dan alleen de eindscore.
Dit is precies wat een team onderzoekers van Southern Methodist University van plan was te doen. Ze behandelden 15 verschillende AI-modellen als een klas studenten die vier verschillende statistiekexamens afleggen, variërend van het niveau van de middelbare school tot aan de masteropleiding. In plaats van alleen te tellen hoeveel antwoorden goed waren, besloten ze naar het "tussenwerk" te kijken — de verklaringen die de AI opschreef. Ze gebruikten een speciaal soort digitale loep om niet alleen te zien wat de AI zei, maar ook hoe hij het zei en welke ideeën hij daadwerkelijk gebruikte.
Dit is wat ze vonden, en het is een beetje een plotwending. Ten eerste lagen de scores alle kanten op. Afhankelijk van welke AI je vroeg, kregen ze tussen de 55% en 78% van de vragen goed. Dat is een enorme kloof, alsof de ene student een C haalt en de andere een A. Maar toen de onderzoekers naar de verklaringen keken, gebeurde er iets verrassends. Ondanks de verschillende scores, maakte bijna elk AI-model gebruik van dezelfde "mentale gereedschapskist". Ze praatten allemaal over dezelfde statistische concepten — zoals betrouwbaarheidsintervallen, steekproeven en hypotheseonderzoeken — op zeer vergelijkbare manieren. Het was alsof elke student in de klas, of ze nu een A of een C haalden, exact hetzelfde tekstboek gebruikten om te studeren.
De echte verschillen zaten niet in wat ze wisten, maar in hoe betrouwbaar ze het gebruikten. De slimste modellen wisten niet alleen meer feiten; ze waren simpelweg beter in het toepassen van de feiten die ze allemaal deelden. Ze waren minder snel in de war, minder snel geneigd om op te geven, en eerder geneigd om te zeggen: "Ik kan deze vraag niet beantwoorden omdat ik informatie mis," in plaats van wild te gokken.
De onderzoekers merkten ook een grappig klein patroon op over wie de AI had gemaakt. Modellen gemaakt door hetzelfde bedrijf (zoals de verschillende versies van OpenAI's GPT of Anthanthic's Claude) neigden er een beetje meer op te lijken als elkaar dan op modellen van andere bedrijven. Het is alsof broers en zussen weliswaar een iets ander stemgeluid hebben, maar hetzelfde familieaccent delen. Echter, zelfs dit "familieaccent" was vrij subtiel; de verschillen in hoe ze spraken waren klein vergeleken met het feit dat ze allemaal over dezelfde kernideeën nadachten.
Dus, wat is de belangrijkste les? Het artikel suggereert dat we deze AI-modellen niet alleen kunnen beoordelen op het feit of ze het juiste antwoord geven. Het juiste antwoord geven is slechts de helft van het verhaal. De andere helft is het begrijpen van de redenering erachter. De studie laat zien dat hoewel deze AI-modellen beter worden in statistiek, ze niet noodzakelijkerwijs op een fundamenteel nieuwe manier "denken" dan voorheen. Ze putten allemaal uit dezelfde bron van statistische concepten; de winnaars zijn simpelweg degenen die het meest consistent en zorgvuldig met die concepten omgaan.
Uiteindelijk waarschuwen de auteurs ons dat we voorzichtig moeten zijn nu we deze AI-tools in scholen en bij echte data-analyses gaan gebruiken. We moeten niet alleen op het eindcijfer vertrouwen. We moeten ook naar de uitleg kijken. Want in de statistiek is weten waarom iets waar is, vaak net zo belangrijk als weten dat iets waar is. De AI kan je misschien het juiste antwoord geven, maar als hij met een zelfverzekerde stem slechts aan het gokken is, is hij geen betrouwbare partner in het redeneren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.