🤖 AI

BEAGLE: Behavior-Enforced Agent for Grounded Learner Emulation

BEAGLE ist ein neuro-symbolisches Framework, das die Theorie des selbstgesteuerten Lernens mit einem semi-Markov-Modell, einer Bayesian Knowledge Tracing mit Fehleinspeisung und einem entkoppelten Agentendesign integriert, um authentische, fehleranfällige Lernverhalten von Studierenden bei offenen Problemlösungsaufgaben zu simulieren und dabei effektiv einen menschlichen Turing-Test gegen echte Studentendaten besteht.

Ursprüngliche Autoren: Hanchen David Wang, Clayton Cohn, Zifan Xu, Siyuan Guo, Gautam Biswas, Meiyi Ma

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hanchen David Wang, Clayton Cohn, Zifan Xu, Siyuan Guo, Gautam Biswas, Meiyi Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die einen neuen Weg entwickelt, um Schülern das Programmieren beizubringen. Um Ihre neue Lehrmethode zu testen, müssen Sie sehen, wie sie bei Schülern funktioniert, die Schwierigkeiten haben, verwirrt sind und Fehler machen. Aber Sie können echte Kinder nicht einfach immer wieder scheitern lassen; das ist teuer, dauert zu lange und wirft Datenschutzbedenken auf.

Sie möchten also einen digitalen Roboter-Schüler bauen, der sich exakt wie ein echter menschlicher Lernender verhält.

Das Problem ist, dass aktuelle KI-Modelle (Large Language Models) zu intelligent sind. Wenn Sie sie bitten, „einen verwirrten Anfänger zu spielen", lösen sie das Problem meistens trotzdem perfekt. Sie sind wie ein genialer Schauspieler, der seine Zeilen vergisst und stattdessen ein perfektes Ende improvisiert, anstatt durch die Szene zu stolpern.

Diese Arbeit stellt BEAGLE vor, eine neue Art von KI, die absichtlich als „schlechter" Schüler konzipiert ist. Es geht nicht nur ums Vorgeben; sie verfügt über einen speziellen internen Mechanismus, der sie zwingt, zu kämpfen, festzustecken und auf die harte Tour zu lernen, genau wie ein echter Mensch.

So funktioniert BEAGLE, aufgeteilt in einfache Teile:

1. Das „Gehirn" vs. die „Hände" (Der Architekt)

Die meisten KI-Modelle versuchen gleichzeitig zu denken und Code zu schreiben. BEAGLE teilt diese Aufgabe in zwei distincte Rollen auf:

Der Strategist (Das Gehirn): Dieser Teil entscheidet, was der Schüler denkt. Er sagt: „Ich bin verwirrt", oder „Ich denke, die Gravitationsberechnung ist falsch", oder „Ich werde einfach raten." Er legt die Stimmung und das Ziel fest.
Der Executor (Die Hände): Dieser Teil schreibt tatsächlich den Code. Entscheidend ist, dass ihm nicht erlaubt ist, eigene Fehler zu korrigieren, wenn das „Gehirn" ihm angewiesen hat, einen spezifischen Fehler zu machen. Wenn der Strategist sagt: „Ich habe vergessen, die Gravitation hinzuzufügen", muss der Executor Code schreiben, der die Gravitation vergisst, selbst wenn die KI es besser weiß. Dies verhindert, dass die KI durch stilles Selbstkorrigieren „schummelt".

2. Der „Verkehrspolizist" (Die symbolische Steuerung)

Echte Schüler arbeiten nicht in einer geraden Linie. Sie bauen ein wenig, stecken fest, versuchen es zu reparieren, stecken noch fester fest, machen dann eine Pause und versuchen es erneut.
BEAGLE verwendet einen Verkehrspolizisten (ein semi-Markov-Modell), um den Ablauf zu steuern. Er entscheidet:

„Okay, für die nächsten 5 Minuten müssen Sie Debuggen (an einem Fehler feststecken)."
„Wechseln Sie jetzt für 2 Minuten zum Planen."
„Jetzt Handeln Sie (tippen einfach blindlings herum, ohne nachzudenken)."
Dies stellt sicher, dass die KI das Problem nicht in 6 perfekten Schritten löst. Sie zwingt die KI, Zeit in den chaotischen, iterativen Schleifen zu verbringen, in denen echte Schüler gefangen sind.

3. Die „Verblindung" (Wissensverfolgung und Fehlerinjektion)

Echte Anfänger leiden unter dem „Fluch der Inkompetenz": Sie machen nicht nur Fehler; sie wissen nicht einmal, was sie nicht wissen. Sie versuchen möglicherweise, ein mathematisches Werkzeug zu verwenden, von dem sie noch nie gehört haben.
BEAGLE verwendet ein Verblindungs-System:

Es verfolgt, was der Schüler „weiß" (wie eine Wissenskarte).
Wenn der Schüler ein Anfänger in „Trigonometrie" sein soll, blockiert BEAGLE die KI daran, mathematische Bibliotheken zu verwenden, die damit zusammenhängen.
Anstatt das richtige Werkzeug zu verwenden, muss die KI improvisieren. Sie könnte versuchen, die Antwort zu erraten oder eine gefälschte, defekte Version der mathematischen Funktion zu schreiben. Dies erzeugt „unbekannte Unbekannte" – Fehler, die auftreten, weil dem Schüler das Konzept tatsächlich fehlt und nicht, weil er einen Tippfehler gemacht hat.

4. Der „Turing-Test" (Hat es funktioniert?)

Die Forscher testeten BEAGLE, indem sie echten Menschen (Schülern, Lehrkräften und Experten) eine Mischung aus Code echter Schüler und Code von BEAGLE zeigten. Sie fragten: „Welches ist der Mensch?"

Das Ergebnis war erschreckend: Die Menschen konnten keinen Unterschied erkennen.

Die Genauigkeit des Rätens lag bei etwa 53 %, was im Grunde einem Münzwurf entspricht.
Selbst Experten mit jahrelanger Erfahrung konnten die KI nicht entlarven.
Der Code der KI wirkte chaotisch, emotional („Ugh, warum funktioniert das nicht?") und voller derselben sich wiederholenden Fehler, die echte Schüler machen.

Warum das wichtig ist

BEAGLE ist nicht nur ein cooler Trick; es ist ein sicherer Sandkasten für Bildungsforschung.

Stresstests: Lehrkräfte können BEAGLE nutzen, um neue Tutoring-Software zu testen. Sie können sehen, ob ihre neue App einem „verwirrten Roboter-Schüler" beim Lernen hilft, ohne die Bildung eines echten Kindes zu gefährden.
Datenschutz: Sie müssen keine privaten Daten echter Kinder sammeln, um diese Systeme zu trainieren.
Verstehen von Schwierigkeiten: Es hilft Forschern zu untersuchen, warum Schüler feststecken, weil BEAGLE aus den richtigen Gründen feststeckt (Wissensmangel) und nicht nur, weil die KI zufällig agiert.

Kurz gesagt: BEAGLE ist die erste KI, die erfolgreich gelernt hat, ein kämpfender Schüler zu sein, indem sie gezwungen wurde, den Regeln menschlicher Verwirrung zu folgen, anstatt nur angewiesen zu werden, „verwirrt zu spielen". Es beweist, dass man, um einen menschlichen Lernenden zu simulieren, nicht einfach eine intelligente KI bitten kann, zu spielen; man muss ein System bauen, das sie zwingt, unvollkommen zu sein.

Technische Zusammenfassung: BEAGLE – Behavior-Enforced Agent for Grounded Learner Emulation

Problemstellung

Der Fortschritt generativer KI im Bildungsbereich hängt stark von authentischen Schülerdaten ab, um pädagogische Modelle zu trainieren, zu evaluieren und zu verfeinern. Die Beschaffung solcher Daten wird jedoch durch strenge Datenschutzbestimmungen (z. B. FERPA, GDPR), die hohen Kosten longitudinaler Studien und ethische Bedenken bezüglich Interventionen an echten Minderjährigen behindert. Während Large Language Models (LLMs) eine potenzielle Lösung zur Simulation von Schülerverhalten bieten, leiden sie unter einer fundamentalen Kompetenzverzerrung. Präferenzoptimierte LLMs sind auf Ergebnisqualität und Effizienz optimiert, was dazu führt, dass sie selbst dann lineare, korrekte Lösungen generieren, wenn sie angewiesen werden, als Novizen zu agieren. Dies führt zu drei spezifischen Arten von Untreue:

Verhaltensuntreue: LLMs vermeiden die iterativen Trial-and-Error-Zyklen (z. B. persistente Debugging-Schleifen), die für das Selbstregulierte Lernen (SRL) charakteristisch sind.
Epistemische Untreue: LLMs agieren als „maskierte Experten", die oft die Einsicht besitzen, Fehler zu diagnostizieren, die sie nicht kennen sollten, und scheitern daran, den „Fluch der Inkompetenz" (unbekannte Unbekannte) zu simulieren.
Wahrnehmungsuntreue: Das RLHF-Training glättet die Vielfalt der Ausgaben und erfasst nicht das Rauschen und die emotionale Variabilität authentischen Schülerausdrucks.

Methodik: Das BEAGLE-Framework

BEAGLE (Behavior-Enforced Agent for Grounded Learner Emulation) ist ein neuro-symbolisches Framework, das darauf ausgelegt ist, Kompetenzverzerrungen durch architektonische Zwänge zu überwinden, anstatt sich allein auf Prompt-Engineering zu verlassen. Es arbeitet als trainingsfreies System mit eingefrorenen LLM-Rückgraten und integriert drei gekoppelte Subsysteme:

1. Symbolische Steuerung (Der „Governor")

Dieses Subsystem erzwingt die zeitlichen und strukturellen Dynamiken des Lernens basierend auf der SRL-Theorie.

Semi-Markov-Dynamik: Im Gegensatz zu Standard-Markov-Modellen, die geometrische Dauerverteilungen erzwingen, verwendet BEAGLE einen Semi-Markov-Controller mit Gamma-verteilten Dauern. Dies erfasst die unregelmäßige Persistenz echter Schüler (z. B. das „Steckenbleiben" in einem Zustand) und steuert die Übergänge zwischen metakognitiven Verhaltensweisen (Planen, Ausführen, Überwachen, Reflektieren) und kognitiven Verhaltensweisen (Konstruieren, Debuggen, Bewerten).
Explizite Fehlerinjektion (EFI) & Bayesian Knowledge Tracing (BKT): Um „unbekannte Unbekannte" zu simulieren, kombiniert BEAGLE BKT mit EFI. BKT verfolgt die Wahrscheinlichkeit der Meisterschaft für spezifische Wissenselemente (Knowledge Components, KCs). Wenn ein KC nicht gemeistert ist, blockiert EFI den Zugriff des Agents auf dieses Konzept in seinem Vokabular. Der Agent ist gezwungen, falsche Lösungen zu improvisieren oder verwirrt zu bleiben, was verhindert, dass das LLM sein latentes Expertenwissen nutzt, um zu „schummeln".
Beobachtungsfilterung: Feedback wird durch den metakognitiven Zustand des Agents gesteuert. Während impulsiver „Ausführungs"-Zustände werden Fehlerprotokolle geschwärzt, wodurch der Agent gezwungen wird, realistische Trial-and-Error-Prozesse einzuleiten, anstatt eine sofortige Diagnose zu stellen.

2. Neuronale Aktion (Der „Actor")

Dieses Subsystem nutzt eine Strategist/Executor-Architektur, um die Hochlevel-Planung von der Codegenerierung zu entkoppeln und damit eine stille Selbstkorrektur zu verhindern.

Strategist: Synthetisiert einen Hochlevel-Plan, bestehend aus einem Ziel, einer Haltung und einer Direktive, basierend auf dem aktuellen symbolischen Zustand. Er fungiert als innerer Monolog.
Executor: Generiert die finale Aktion (Code und Monolog) strikt konditioniert auf die Direktive des Strategisten. Entscheidend ist, dass der Executor gezwungen ist, die Direktive umzusetzen, selbst wenn sie fehlerhaft ist; er kann den Plan nicht durch eine „bessere" Lösung überschreiben. Diese architektonische Trennung stellt sicher, dass der Agent dem fehlerhaften Denkweg eines Novizen folgt, anstatt ihn zu korrigieren.

3. Umgebung

Die Umgebung führt den generierten Code in einer Python-Sandbox (IDE Oracle) aus und liefert gefilterte Beobachtungen an den Agenten zurück. Sie aktualisiert die BKT-Meisterungswahrscheinlichkeiten nur während bewusster Bewertungsphasen (Überwachen/Reflektieren) und spiegelt so wider, wie Menschen Wissen konsolidieren.

Hauptbeiträge

Neuartige Architektur: Das erste System, das sowohl Verhaltensdynamiken (via Semi-Markov-Steuerung) als auch Wissensbeschränkungen (via BKT + EFI) gemeinsam erzwingt, um Novizen-Lernende zu simulieren.
Entkoppeltes Agentendesign: Die Aufteilung in Strategist/Executor verhindert effektiv die bei LLMs übliche „stille Selbstkorrektur" und erzwingt epistemische Treue, indem der Agent gezwungen wird, fehlerhafte Pläne umzusetzen.
Explizite Fehlerinjektion: Ein Mechanismus zur Simulation von „unbekannten Unbekannten" durch deterministisches Blockieren des Zugriffs auf spezifische Konzepte, wodurch der Agent gezwungen wird zu improvisieren, anstatt auf latentes Expertenwissen zuzugreifen.
Umfassende Evaluation: Eine rigorose Evaluation über vier Aufgaben (drei in-distribution Physiksimulationen, eine out-of-distribution Mathematikaufgabe), sechs führende LLM-Rückgrate und neun Baselines.

Ergebnisse

BEAGLE wurde an Metriken für Verhaltens-, epistemische und wahrnehmungsbezogene Treue evaluiert:

Verhaltens-Treue: BEAGLE reduzierte die KL-Divergenz ( $D_{KL}$ ) zwischen simulierten und realen kognitiven Verhaltensverteilungen signifikant (0,31 vs. Baselines $\ge$ 0,53). Es reproduzierte erfolgreich iterative Debugging-Schleifen (C $\leftrightarrow$ D-Übergänge), die von Baselines systematisch umgangen wurden.
Epistemische Treue: BEAGLE erreichte eine Fehlerwiederholungsrate von 86,2 %, was dem „Fluch der Inkompetenz" entspricht, bei dem Novizen wiederholt mit denselben Fehlern kämpfen. Im Gegensatz dazu lösten Baselines wie Vanilla-LLMs Fehler sofort (7,8 % Wiederholung).
Wahrnehmungs-Treue (Human Turing Test): In einer Studie mit N=71 Teilnehmern (einschließlich Schüler, Fachkräfte und Pädagogen) konnten die Teilnehmer BEAGLE-Spuren nicht zuverlässig von echten Schülerdaten unterscheiden. Die Klassifikationsgenauigkeit lag bei 52,8 %, was statistisch dem Zufall gleichkam ( $p=0,053$ ). Eine Analyse mittels Signal Detection Theory ergab einen Diskriminabilitätsindex von $d' = 0,15$ , und der Äquivalenztest (TOST) bestätigte, dass die Spuren wahrnehmungsbezogen von echten Daten nicht zu unterscheiden waren ( $p_{TOST} = 0,038$ ).
Generalisierung: Das Framework behielt eine hohe Treue über verschiedene LLM-Rückgrate (Gemini, GPT, Claude) und out-of-distribution-Aufgaben (Gradient Descent) bei und zeigt, dass die architektonischen Zwänge über spezifische Modellfähigkeiten hinaus generalisieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BEAGLE einen bedeutenden Fortschritt in der synthetischen Schülergenerierung darstellt, indem es über die persona-basierte Annahme durch Prompts hinausgeht hin zur architektonischen Durchsetzung von Lerntheorien. Durch die erfolgreiche Simulation des „Kampfes" des Lernens – einschließlich persistenter Fehler, mangelnder Selbsteinsicht und nicht-linearer Problemlösung – ermöglicht BEAGLE skalierbare, ethische KI-Bildungsforschung. Es erlaubt Forschern, pädagogische Interventionen zu stress-testen und adaptive Tutor-Systeme zu trainieren, ohne die Risiken und Kosten, die mit Experimenten an echten Schülern verbunden sind. Die Autoren stellen fest, dass zwar auf den stärksten Rückgraten eine verbleibende Kompetenzverzerrung besteht, das Framework jedoch eine prinzipielle Grundlage für zukünftige Arbeiten in Multi-Agenten-Klassenzimmern und kapazitätsadaptiver symbolischer Steuerung bietet.