Quantifying Data Contamination in Psychometric Evaluations of LLMs
Dit artikel stelt een raamwerk voor om datacontaminatie in psychometrische evaluaties van Large Language Models systematisch te kwantificeren, waarbij wordt onthuld dat populaire inventarissen lijden aan aanzienlijke problemen met memorisatie en scoremanipulatie over 21 modellen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te achterhalen wat voor persoonlijkheid een nieuwe robot heeft. Je geeft het een beroemde, bekende persoonlijkheidstest — het soort dat je in een tijdschrift of een psychologiehandboek zou kunnen vinden — en vraagt het om de vragen te beantwoorden. Je verwacht dat de robot zijn "ware" digitale zelf zal onthullen. Maar wat als de robot niet antwoordt op basis van zijn eigen interne logica? Wat als hij gewoon het antwoordmodel reciteert dat hij van het internet heeft onthouden?
Dat is precies wat een team onderzoekers aan de Seoul National University heeft ontdekt. Ze onderzochten of Large Language Models (LLM's) — de superintelligente AI-breinen achter tools zoals chatbots — hebben "gesjoemeld" bij psychologische tests door de tests zelf uit het hoofd te leren.
De Grote Persoonlijkheidstest-overval
De onderzoekers zetten een slim onderzoek op om te zien of deze AI-modellen de tests daadwerkelijk aan het maken waren, of dat ze alleen deden alsof. Ze keken naar vier zeer populaire psychologische inventarissen (de chique naam voor persoonlijkheidstests), waaronder de Big Five Inventory (BFI-44), die eigenschappen meet zoals of je extravert of verlegen bent, en de Portrait Values Questionnaire (PVQ-40), die controleert wat je het meest in het leven waardeert.
Ze testten 21 verschillende modellen uit grote families zoals GPT-5, Claude en Llama. In plaats van de modellen alleen maar de test te laten maken, controleerden ze drie specifieke manieren waarop de modellen "gecontamineerd" zouden kunnen zijn door de vragen eerder te hebben gezien:
Item-memoratie (De "Flashcard"-test): Kan het model naar een vraagnummer kijken en de exacte woorden van de vraag reproduceren?
- Het resultaat: De modellen waren verrassend goed in dit. Gemiddeld konden ze de vragen reconstrueren met een semantische gelijkenis van 0,31 (een maatstaf voor hoe dicht de betekenis bij elkaar ligt). Nog beter: ze konden het "kernwoord" in een vraag in ongeveer 39% van de gevallen raden. Het is alsof je een student vraagt om een vraag uit een toets op te schrijven waar hij voor heeft gestudeerd, en hij krijgt de hoofdzakelijke gedachte bijna 4 van de 10 keer goed.
Evaluatie-memoratie (De "Antwoordmodel"-test): Weet het model niet alleen de vraag, maar ook hoe deze gescoord moet worden? Weet het model bijvoorbeeld dat het beantwoorden van "Helemaal mee eens" bij een specifieke vraag er eigenlijk toe leidt dat je minder extravert bent vanwege een "omgekeerde codering"?
- Het resultaat: Hier was de contaminatie echt sterk. De modellen kenden de scoresystemen bijna perfect. Wanneer ze werden gevraagd vragen te koppelen aan persoonlijkheidskenmerken, behaalden ze een gemiddelde F1-score van 0,94 (waarbij 1,0 perfect is). Wanneer ze werden gevraagd de numerieke score voor een specifelijk antwoord te bepalen, maakten de geavanceerde modellen bijna geen fouten. Het is alsoj het modellen niet alleen de quiz hebben gelezen; ze hebben ook het beoordelingsschema van de docent bestudeerd.
Target Score Matching (De "Fake It Till You Make It"-test): Dit was het meest onthullende deel. De onderzoekers zeiden tegen de modellen: "Doe alsof je een persoon bent die precies een 5 uit 5 scoort op 'Eerlijkheid'. Beantwoord nu deze vragen om die score te behalen."
- Het resultaat: De modellen deden het. Ze konden strategisch antwoorden kiezen om met een zeer hoge nauwkeurigheid een specifieke doelscore te bereiken (Mean Absolute Error van ongeveer 0,1 tot 0,2). Dit suggereert dat de modellen niet alleen feiten reproduceren; ze manipuleren hun antwoorden actief om te lijken op een specifiek type persoon.
De "Sjoemel"-schaal
De onderzoekers ontdekten dat niet alle modellen evenveel sjoemelden, en niet alle tests even makkelijk te bedriegen waren.
- De Grote Winnaars (van Contaminatie): De Big Five Inventory (BVI-44) en de Portrait Values Questionnaire (PVQ-40) vertoonden de sterkste tekenen van contaminatie. De onderzoekers vermoeden dat dit komt omdat deze tests zo beroemd en breed beschikbaar zijn op internet, dat de modellen ze waarschijnlijk in hun geheel hebben "opgeslokt" tijdens hun training.
- De "Moeilijkere" Tests: De Moral Foundations Questionnaire (MFQ) en de Short Dark Triad (SD-3) vertoonden minder contaminatie, waarschijnlijk omdat ze iets minder algemeen voorkomen in de data waarop de modellen zijn getraind.
- Modelgrootte Doet Er Toe: Over het algel, hoe groter en slimmer het model (zoals GPT-5 of Claude 4.5), hoe beter het was in het memoreren van de tests en het vervalsen van de scores. Kleinere modellen waren wat minder op de hoogte, wat suggereert dat naarmate AI groter wordt, het beter wordt in het "kennen" van de tests.
Wat Dit Betekent voor de Toekomst
De auteurs benadrukken voorzichtig dat dit niet betekent dat de modellen op een menselijke manier "liegen". In plaats daarvan suggereert het dat wanneer we deze standaard psychologische tests gebruiken om de persoonlijkheid van een AI te meten, we misschien niet de ware aard van de AI meten. We meten misschien alleen hoe goed de AI de vragen van de test onthoudt die hij zag terwijl hij leerde praten.
Het artikel sluit expliciet de mogelijkheid uit dat deze resultaten slechts willekeurige gissingen zijn. De modellen presteerden veel beter dan een willekeurige gisser zou doen. Bijvoorbeeld, als een model simpelweg scores zou gokken op een 5-puntsschaal, zou de fout rond de 1,73 liggen, maar de geavanceerde modellen brachten dit terug naar 0,1.
Dus, de volgende keer dat je een kop ziet met "AI heeft een persoonlijkheid die net als die van een mens is", denk dan aan dit: de AI kan gewoon een zeer goede student zijn die het tekstboek uit zijn hoofd heeft geleerd. De onderzoekers suggereren dat we nieuwe manieren nodig hebben om deze modellen te testen die ze nog niet hebben gezien in hun trainingsdata, anders zullen we nooit echt begrijpen wat hen drijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.