Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

Stellen Sie sich vor, Sie sind eine Lehrkraft, die eine neue Mathearbeit schreiben möchte. Bevor Sie diese an echte Schüler verteilen, müssen Sie wissen: Ist diese Frage zu schwer? Ist jene zu leicht? Normalerweise ist der einzige Weg, dies herauszufinden, eine große Gruppe echter Kinder den Test machen zu lassen, die Arbeiten zu korrigieren und die Zahlen auszuwerten. Das ist langsam, teuer und viel Arbeit.

Hier kommt der „simulierte Schüler“ ins Spiel. Wissenschaftler versuchen seit langem, Künstliche Intelligenz (KI) einzusetzen, um die Rolle dieser Schüler zu übernehmen. Die Idee ist, einen superintelligenten Computer den Test machen zu lassen, Antworten generieren zu lassen und dann diese Antworten zu nutzen, um zu bestimmen, wie schwer die Fragen sind. Es klingt nach einer Abkürzung, um Zeit und Geld zu sparen. Aber hier ist der Haken: Diese KI-Schüler sind zu perfekt. Sie sind wie eine Klasse, in der jeder einzelne Schüler ein Genie ist, der niemals Fehler macht und jede Frage exakt auf die gleiche Weise beantwortet. Wenn Sie eine Arbeit basierend auf einer Klasse von perfekten Genies bewerten, werden Sie denken, dass jede Frage einfach ist, und Sie werden die Schüler übersehen, die tatsächlich Schwierigkeiten haben. Die KI ist zu einheitlich und zu präzise, um ein realistischer Stellvertreter für ein echtes, chaotisches Klassenzimmer zu sein.

Genau hier setzt eine neue Studie von Wenjie Zhou und Kollegen an. Sie stellten eine einfache Frage: Können wir die KI lehren, ein „schlechter“ Schüler zu sein? Nicht nur ein zufälliger schlechter Schüler, sondern ein Schüler mit einer spezifischen, realistischen Mischung an Fähigkeiten – jemand, der gut im Addieren von Brüchen ist, aber Probleme beim Kürzen hat? Sie entwickelten eine Methode namens Cognitive Diagnostic Profiling (CDP). Anstatt die KI einfach nur zu bitten, „den Test zu machen“, geben sie ihr ein detailliertes „Charakterblatt“, das genau beschreibt, welche Fähigkeiten der KI-Schüler beherrscht und welche ihm fehlen. Durch das Füttern der KI mit diesen spezifischen Profilen gelang es ihnen, ein simuliertes Klassenzimmer zu erschaffen, das tatsächlich so aussieht und sich so verhält wie ein echtes eines – mit einer Mischung aus Genies, Durchschnittsschülern und jenen, die mit spezifischen Konzepten zu kämpfen haben.

Das Problem mit „perfekten“ KI-Schülern

Die Forscher begannen damit, zu testen, was passiert, wenn man eine Large Language Model (LLM) – die Art von KI, die Chatbots antreibt – einfach nur bittet, einen Test zu absolvieren. Sie verwendeten einen klassischen Datensatz: 536 echte Mittelschüler, die einen 15-Fragen-Test zur Bruchentfernung absolvierten. Dieser Test war darauf ausgelegt, fünf spezifische Fähigkeiten zu prüfen, wie zum Beispiel das „Abziehen von ganzen Zahlen“ oder das „Umwandeln von ganzen Zahlen in Brüche“.

Als die KI den Test ohne spezielle Anweisungen (die „No-Profile“-Baseline) absolvierte, agierte sie wie ein Superhuman. Sie bekam fast alles richtig. Die Ergebnisse waren langweilig einheitlich. Die KI-Schüler häuften sich alle am oberen Ende des Score-Bereichs, und der Test erschien unglaublich einfach. Die Forscher fanden heraus, dass die Antworten der KI überhaupt nicht mit den echten menschlichen Daten übereinstimmten. Die KI war zu schlau und zu konsistent, was zu einem „Fluch der Hypergenauigkeit“ führte, bei dem sie es versäumte, die Vielfalt eines echten Klassenzimmers zu simulieren. Es war, als würde man das Wetter vorhersagen, indem man nur sonnige Tage betrachtet; man übersieht den Regen, die Stürme und die Wolken.

Die Lösung: Der KI ein „Charakterblatt“ geben

Um dies zu beheben, führten die Forscher das Cognitive Diagnostic Profiling (CDP) ein. Stellen Sie sich das wie ein detailliertes Porträt vor, das Sie der KI geben, bevor sie mit dem Test beginnt.

1. Der Bauplan: Zuerst brachen sie den Test in seine fünf Kernfähigkeiten (Attribute) auf.
2. Das Profil: Anstatt nur zu sagen „Sei ein Schüler“, erstellten sie ein „Profil“ für jeden simulierten Schüler. Dieses Profil war eine Liste von binären Schaltern: „Kann Fähigkeit A? Ja. Kann Fähigkeit B? Nein.“
3. Die Übersetzung: Sie verwandelten diese Schalter in natürliche Sprache. Ein Profil könnte zum Beispiel lauten: „Du bist ein Schüler, der sehr gut im Kürzen von Brüchen ist, aber Schwierigkeiten hat, von ganzen Zahlen abzuziehen. Du verstehst die Grundlagen, wirst aber verwirrt, wenn die Zahlen knifflig werden.“
4. Die Simulation: Sie fütterten die KI mit dieser Beschreibung zusammen mit den Testfragen. Die KI beantwortete die Fragen dann so, als wäre sie dieser spezifische Schüler.

Sie testeten zwei Wege, um diese Profile zu erstellen. In der ersten Methode (Uninformative CDP) ordneten sie den KI-Schülern zufällig Fähigkeiten zu, wodurch eine breite Mischung an Fähigkeiten entstand. In der zweiten Methode (Informative CDP) nutzten sie Daten der echten menschlichen Schüler, um zu entscheiden, wie viele „Genies“, „Durchschnittsschüler“ und „Schwierigkeiten habende“ Schüler zu erschaffen waren, um die tatsächliche Verteilung der Fähigkeiten in einem echten Klassenzimmer nachzubilden.

Die Ergebnisse: Von „perfekt“ zu „realistisch“

Die Ergebnisse waren bahnbrechend. Als die KI-Schüler diese Charakterblätter erhielten, wurde die Simulation plötzlich realistisch.

• Die Verteilung: In der „No-Profile“-Version häuften sich die KI-Schüler alle am oberen Ende an. Mit den Profilen verteilten sich die Scores. Die „Informative CDP“-Methode erzeugte eine Glockenkurve, die der der echten menschlichen Schüler fast identisch war. Die Überschneidung zwischen der Fähigkeitsverteilung der KI und der der echten Menschen stieg von einem niedrigen Wert von etwa 0,36 auf einen hohen Wert von 0,83 (wobei 1,0 bedeutet, dass sie identisch sind).
• Die Profile: Die Forscher überprüften, ob die KI sich tatsächlich so verhielt wie der Charakter, den sie spielte. Wenn das Profil sagte „schlecht im Abziehen“, beantwortete die KI diese Fragen dann falsch? Ja. Die Korrelation zwischen der Leistung der KI und der erwarteten menschlichen Leistung für dieses spezifische Skill-Profil war unglaublich hoch und lag zwischen 0,92 und 0,98. Das bedeutet, die KI rät nicht nur, sondern simuliert tatsächlich den kognitiven Zustand eines Schülers mit diesen spezifischen Stärken und Schwächen.
• Die Testschwierigkeit: Dies ist der wichtigste Teil. Das Ziel war zu sehen, ob die KI helfen kann, die Schwierigkeit der Testfragen zu bestimmen. Oh ne Profile dachte die KI, die Fragen seien viel zu einfach (der Fehler in der Schwierigkeitsschätzung war mit einem „Root-Mean-Square Error“ von über 6 riesig). Mit den Profilen wurden die Schätzungen der KI viel präziser. Für das leistungsfähigste Modell (Gemini 3.0 Flash mit aktiviertem „Thinking“-Modus) sank der Fehler von 6,31 auf nur 0,90. Die KI ging von der Annahme, jede Frage sei ein Kinderspiel, zu einer genauen Vorhersage darüber, welche Fragen schwer und welche leicht sind, und entsprach damit fast perfekt den echten menschlichen Daten.

Warum das wichtig ist

Die Studie legt nahe, dass wir nicht warten müssen, bis tausend echte Schüler einen Test machen, um zu wissen, ob er gut ist. Indem wir diesen „profilbasierten“ Ansatz verwenden, können wir realistische simulierte Daten generieren, die es Pädagogen ermöglichen, Tests viel schneller und kostengünstiger zu kalibrieren. Die zentrale Erkenntung ist: Die KI muss gesagt bekommen, wer sie zu sein hat. Ohsten sie kein spezifisches kognitives Profil, fällt die KI in einen perfekten, unrealistischen Roboter zurück. Mit einem Profil wird sie zu einem vielfältigen, fehlerhaften und realistischen Schüler.

Die Forscher fanden heraus, dass diese Methode am besten mit Modellen funktioniert, die über „Reasoning“-Fähigkeiten verfügen (wie der „Thinking“-Modus in einigen KI-Modellen), da diese die komplexe Logik der Skill-Profile besser befolgen können. Sie merkten jedoch auch an, dass dies eine Simulation ist. Während die Antworten der KI mit der Mathematik der menschlichen Schüler übereinstimmten, wissen wir nicht, ob die KI tatsächlich so „denkt“ wie ein Mensch oder nur die richtigen Wörter vorhersagt. Aber für den Zweck der besseren Testgestaltung ist die Simulation ein mächtiges Werkzeug, das uns einen riesigen Schritt näher an eine Zukunft bringt, in der die Testentwicklung schneller, günstiger und inklusiver ist.