Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
Dit artikel introduceert ProverbIT, een Italiaanse spreekwoordenbenchmark die onthult dat grote taalmodellen moeite hebben met het onderscheiden van de juiste afloop van een spreekwoord van letterlijke synoniemen in meerkeuzevragen, wat suggereert dat hun prestaties meer berusten op gememoriseerde patronen dan op een diep semantisch begrip van cultureel ingebed figuurlijk taalgebruik.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een gigantische bibliotheek loopt waar de planken niet alleen gevuld zijn met boeken, maar met de volledige geschiedenis van de menselijke conversatie. Dit is de wereld van Large Language Models (LLM's). Zie deze AI-systemen als super-snelle, super-obsessieve lezers die bijna alles wat er op het internet geschreven is, hebben verslonden. Ze zijn ongelooflijk goed in het herkennen van patronen, zoals weten dat als iemand zegt "Het regent katten en...", het volgende woord bijna zeker "honden" is. Ze gebruiken dit patroonherkenning om e-mails te schrijven, wiskundige problemen op te lossen en zelfs code te schrijven.
Maar hier komt het lastige deel: alleen omdat een AI een miljoen verhalen heeft gelezen, betekent dat niet dat het de grappen, de sarcasme of de oude gezegden die erin verborgen zitten, echt begrijpt. Hier komen spreekwoorden om de hoek kijken. Een spreekwoord is een kort, wijs gezegde dat van generatie op generatie is doorgegeven, zoals "Je moet de koe niet bij de horens vatten" (of in het Engels: "Don't count your chickens before they hatch"). Dit zijn niet zomaar willekeurige woorden; het zijn culturele afkortingen die vertrouwen op gedeelde menselijke ervaringen. Voor een computer is het ontcijferen van een spreekwoord als het proberen op te lossen van een raadsel waarbij het antwoord afhangt van het kennen van het gevoel van de cultuur, en niet alleen de woordenboekdefinitie van de woorden. Wetenschappers zijn nieuwsgierig: begrijpen deze AI-modellen de grap echt, of gokken ze alleen op basis van welke woorden gewoon vaak bij elkaar staan?
Dit is precies wat de onderzoekers achter het ProverbIT-paper eruit wilden willen vinden. Ze creëerden een speciale test, een "quiz" die volledig uit Italiaanse spreekwoorden bestond, om te zien hoe goed verschillende AI-modellen deze culturele raadsels konden afhandelen. Ze vroegen de AI niet alleen om de zin af te maken; ze zetten een valstrik op. Ze gaven de modellen een lijst met eindes, maar ze zorgden ervoor dat het juiste einde niet op de lijst stond. In plaats daarvan was de lijst gevuld met slimme neppen: sommige die er vergelijkbaar uitzagen, sommige die hetzelfde betekenden maar belachelijk klonken, en sommige die gewoon compleet fout waren. De enige juiste keuze was "Geen van de bovenstaande".
De resultaten waren een schok. Wanneer de onderzoekers de AI simpelweg vroegen om het spreekwoord zelfstandig af te maken, kreeg bijna elk model het goed. Het was alsof je een student vroeg om een gedicht op te zeggen dat hij uit het hoofd had geleerd; ze slaagden er uitstekend in. Maar op het moment dat de onderzoekers overgingen op de meerkeuzequiz met de "valstrikvraag", stortten de scores spectaculair in. Zelfs de meest geavanceerde "redenerende" modellen — die ontworpen zijn om stapsgewijs na te denken zoals een mens — struikelden er zwaar over. In plaats van te beseffen dat het juiste antwoord ontbrak en "Geen van de bovenstaande" te kiezen, kozen ze koppig voor een van de neppe opties.
Waarom gebeurde dit? De onderzoekers keken in het "brein" van de AI (het denkproces) en vonden een fascante fout. De modellen wisten het juiste einde wel. In hun interne gedachten zouden ze de juiste frase keer op keer noemen. Maar op het moment dat het aankwam op het maken van een definitieve keuze, leken ze hun eigen kennis te negeren. Ze waren zo gefocust op het vinden van een woord dat goed klonk of op een synoniem leek, dat ze niet konden zeggen: "Wacht even, het echte antwoord staat hier niet." Het is als een student die weet dat het antwoord "42" is, een toets ziet met de opties "40", "44" en "46", en dan vol vertrouwen "44" inkleurt omdat het het dichtst bij het getal ligt, waarbij hij volledig vergeet dat het echte antwoord niet eens op de pagina staat.
De studie suggereert dat hoewel deze AI-modellen geweldig zijn in het onthouden van patronen en het ophalen van feiten, ze nog steeds worstelen met een specifiek soort denken: negatieve redenering. Dit is het vermogen om naar een reeks keuzes te kijken en te beseffen: "Geen van deze is juist." Ze vertrouwen zwaar op wat ze eerder hebben gezien in plaats van de betekenis achter de woorden echt te begrijpen. Dus hoewel deze digitale breinen elke dag slimmer worden, hebben ze nog veel te leren over de subtiele, verraderlijke en soms ontbrekende stukjes menselijke wijsheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.