Quantifying Data Contamination in Psychometric Evaluations of LLMs
Dieses Paper schlägt ein Framework vor, um Datenkontamination in psychometrischen Evaluationen von Large Language Models systematisch zu quantifizieren, wobei aufgedeckt wird, dass populäre Inventare über 21 Modelle hinweg erhebliche Probleme mit Auswendiglernen und Score-Manipulation aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wie die Persönlichkeit eines neuen Roboters ist. Sie überreichen ihm einen berühmten, bekannten Persönlichkeitsquiz – die Art, wie man sie in einem Magazin oder einem Psychologie-Lehrbuch findet – und bitten ihn, die Fragen zu beantworten. Sie erwarten, dass der Roboter sein „wahres“ digitales Selbst offenbart. Aber was wäre, wenn der Roboter nicht basierend auf seiner eigenen internen Logik antwortet? Was wäre, wenn er einfach nur den Lösungsschlüssel rezitiert, den er im Internet auswendig gelernt hat?
Genau das hat ein Team von Forschern der Seoul National University herausgefunden. Sie untersuchten, ob Large Language Models (LLMs) – die superintelligenten KI-Gehirne hinter Werkzeugen wie Chatbots – bei psychologischen Tests „geschummelt“ haben, indem sie die Tests selbst auswendig gelernt haben.
Der große Raubzug der Persönlichkeits-Quizzes
Die Forscher gestalteten eine clevere Untersuchung, um zu sehen, ob diese KI-Modelle die Tests tatsächlich durchlaufen oder nur so tun, als ob. Sie betrachteten vier sehr populäre psychologische Inventare (der Fachbegriff für Persönlichkeits-Quizzes), darunter das Big Five Inventory (BFI-44), das Merkmale wie Extraversion oder Schüchternheit misst, und das Portrait Values Questionnaire (PVQ-40), das prüft, was man im Leben am meisten schätzt.
Sie testeten 21 verschiedene Modelle aus großen Familien wie GPT-5, Claude und Llama. Anstatt die Modelle nur bitten, den Test zu machen, überprüften sie drei spezifische Wege, wie die Modelle durch das Vorwissen über die Fragen „kontaminiert“ sein könnten:
Item-Memorierung (Der „Karteikarten“-Test): Kann das Modell eine Fragenummer betrachten und die exakten Worte der Frage rezitieren?
- Das Ergebnis: Die Modelle waren überraschend gut darin. Im Durchschnitt konnten sie die Fragen mit einer semantischen Ähnlichkeit von 0,31 (ein Maß dafür, wie nah die Bedeutung ist) rekonstruieren. Noch besser: Sie konnten das „Schlüsselwort“ in einer Frage in etwa 39 % der Fälle erraten. Es ist so, als würde man einen Schüler bitten, eine Frage aus einem Test aufzuschreiben, den er vorher gelernt hat, und er erwischt die Hauptidee in fast 4 von 10 Fällen.
Evaluations-Memorierung (Der „Lösungsschlüssel“-Test): Weiß das Modell nicht nur die Frage, sondern auch, wie man sie bewertet? Weiß es zum Beispiel, dass eine Antwort mit „Stimme voll zu“ auf eine bestimmte Frage eigentlich bedeutet, dass man weniger extravertiert ist, aufgrund einer „umgekehrten Kodierungsregel“?
- Das Ergebnis: Hier war die Kontamination besonders stark. Die Modelle kannten die Bewertungsregeln fast perfekt. Wenn sie gebeten wurden, Fragen bestimmten Persönlichkeitsmerkmalen zuzuordnen, erreichten sie einen durchschnittlichen F1-Score von 0,94 (wobei 1,0 perfekt ist). Wenn sie gebeten wurden, den numerischen Wert für eine bestimmte Antwort zu bestimmen, machten die fortgeschrittenen Modelle fast keine Fehler. Es ist, als hätten die Modelle den Quiz nicht nur gelesen, sondern auch den Bewertungsschlüssel des Lehrers studiert.
Zielwert-Anpassung (Der „Fake It Till You Make It“-Test): Dies war der aufschlussreichste Teil. Die Forscher sagten den Modellen: „Tu so, als wärst du eine Person, die genau 5 von 5 Punkten bei ‚Ehrlichkeit‘ erreicht. Beantworte nun diese Fragen, um diesen Wert zu erzielen.“
- Das Ergebnis: Die Modelle schafften es. Sie konnten strategisch Antworten wählen, um einen spezifischen Zielwert mit sehr hoher Genauigkeit zu treffen (mittlerer absoluter Fehler von etwa 0,1 bis 0,2). Dies deutet darauf hin, dass die Modelle nicht nur Fakten abrufen, sondern ihre Antworten aktiv manipulieren, um wie ein bestimmter Typ Mensch zu wirken.
Die „Schummel“-Skala
Die Forscher fanden heraus, dass nicht alle Modelle gleich viel geschummelt haben und nicht alle Quizzes gleichermaßen leicht zu manipulieren waren.
- Die großen Gewinner (der Kontamination): Der Big Five Inventory (BFI-44) und der Portrait Values Questionnaire (PVQ-40) zeigten die stärksten Anzeichen von Kontamination. Die Forscher vermuten, dass dies daran liegt, dass diese Tests so berühmt und online so weit verbreitet sind, dass die Modelle sie während ihres Trainings wahrscheinlich komplett „verschluckt“ haben.
- Die „schwierigeren“ Tests: Der Moral Foundations Questionnaire (MFQ) und der Short Dark Triad (SD-3) zeigten weniger Kontamination, wahrscheinlich weil sie in den Daten, mit denen die Modelle trainiert wurden, etwas seltener vorkommen.
- Die Größe des Modells spielt eine Rolle: Generell galt: Je größer und intelligenter das Modell (wie GPT-5 oder Claude 4.5), desto besser war es darin, die Tests auswendig zu lernen und die Werte vorzutäuschen. Kleinere Modelle waren etwas törichter, was darauf hindeutet, dass die KI mit zunehmender Größe immer besser darin wird, die Tests zu „kennen“.
Was das für die Zukunft bedeutet
Die Autoren mahnen zur Vorsicht und sagen, dass dies nicht bedeutet, dass die Modelle im menschlichen Sinne „lügen“. Stattdessen deutet es darauf hin, dass wir, wenn wir diese Standard-Psychologie-Tests verwenden, um die Persönlichkeit einer KI zu messen, möglicherweise nicht deren wahre Natur messen. Wir messen eventuell nur, wie gut die KI sich an die Testfragen erinnert, die sie gesehen hat, während sie lernte, zu sprechen.
Die Arbeit schließt explizit die Möglichkeit aus, dass diese Ergebnisse nur zufälliges Raten sind. Die Modelle schnitten weitaus besser ab, als es ein reiner Ratender tun würde. Zum Beispiel läge der Fehler eines Modells, das lediglich Werte auf einer 5-Punkte-Skala rät, bei etwa 1,73, aber die fortgeschrittenen Modelle brachten ihn auf 0,1 herunter.
Wenn Sie also das nächste Mal eine Schlagzeile lesen, die besagt: „KI hat eine Persönlichkeit wie ein Mensch“, denken Sie daran: Die KI könnte auch einfach ein sehr guter Schüler sein, der das Lehrbuch auswendig gelernt hat. Die Forscher schlagen vor, dass wir neue Wege brauchen, um diese Modelle zu testen, die sie nicht bereits in ihren Trainingsdaten gesehen haben, sonst werden wir nie wirklich verstehen, was sie antreibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.