TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

Stellen Sie sich vor, Sie sind eine Lehrkraft, die versuchen möchte, einen Quiz für Ihren naturwissenschaftlichen Unterricht zu erstellen. Sie haben ein dickes, offizielles Lehrbuch, das alle Antworten enthält, aber Sie haben keine Zeit, jede Seite durchzublättern, um die perfekten Fragen zu finden. Sie wenden sich an einen superintelligenten Computerroboter (eine Künstliche Intelligenz), um Ihnen zu helfen. Sie fragen ihn: „Erstelle mir ein Quiz über sauren Regen“, und der Roboter beginnt zu tippen. Aber hier ist der Haken: Manchmal sind diese Roboter wie übereifrige Schüler, die ein paar Fakten auswendig gelernt haben, dann aber anfangen, Dinge zu erfinden, um klug zu klingen. Sie erfinden eine falsche wissenschaftliche Regel oder ziehen einen Fakt aus einem ganz anderen Kapitel heran. Dies nennt man „Halluzinieren“. Um dies zu verhindern, nutzen Wissenschaftler einen Trick namens Retrieval-Augmented Generation (RAG). Betrachten Sie RAG als das Geben eines Bibliotheksausweises an den Roboter und die strikte Regel: „Du darfst dein Quiz nur schreiben, wenn du die exakte Seite im Lehrbuch angeben kannst, auf der du die Antwort gefunden hast.“

Doch selbst mit einem Bibliotheksausweis kann der Roboter immer noch verwirrt werden. Wenn das Lehrbuch auf eine komplexe Weise organisiert ist oder wenn der Roboter einen winzigen, isolierten Satz ohne den umgebenden Kontext erfasst, könnte er trotzdem eine schlechte Frage formulieren. Die große Frage für Forscher ist: Wie bauen wir einen Roboter, der nicht nur irgendeine Seite greift, sondern die Struktur der Lektion versteht, weiß, wann er nicht genügend Informationen hat, um zu antworten, und seine eigene Arbeit überprüft, bevor er sie der Lehrkraft zeigt? Dies ist das Problem, das eine neue Studie lösen will, speziell für Naturwissenschaftslehrer in Bangladesch, die ein sehr spezifisches nationales Lehrbuch verwenden.

---

Treffen Sie TeachMateGPT: Den Bibliotheks-Roboter mit Sicherheitsnetz

Das Paper stellt ein neues System namens TeachMateGPT vor. Sie können es sich nicht als einen einzelnen Roboter vorstellen, sondern als ein Team spezialisierter Arbeiter in einer Hightech-Fabrik, die alle zusammenarbeiten, um die Anfrage einer Lehrkraft in ein perfektes, lehrbuchgenaues Quiz zu verwandeln. Das System wurde speziell für das Naturwissenschafts-Lehrbuch der 8. Klasse des National Curriculum and Textbook Board (NCTB) in Bangladesch entwickelt – eine Ressource, die für Schüler entscheidend ist, aber für KI oft schwierig perfekt zu navigieren ist.

So funktioniert die Fabrik, Schritt für Schritt:

1. Der intelligente Index (COPE)
Zuerst muss das System das Lehrbuch organisieren. Stellen Sie sich vor, das Lehrbuch ist ein riesiger, unordentlicher Dachboden. Ein normaler Roboter würde vielleicht einfach eine zufällige Kiste mit Zeug herausgreifen. TeachMateGPT nutzt ein spezielles Werkzeug namens COPE (Curriculum-Oriented Pedagogical Embedding). Anstatt den Text einfach in zufällige Stücke zu schneiden, versteht COPE den „Stammbaum“ des Buches. Es weiß, dass ein „Kapitel“ „Lektionen“ enthält, die wiederum „Abschnitte“ enthalten, die „Definitionen“ enthalten. Es erstellt eine Karte, auf der jedes Informationsstück mit seinen Eltern und Nachbarn verknüpft ist. Wenn der Roboter etwas über ein bestimmtes Tier wissen muss, sucht er nicht nur nach dem Wort „Tier“; er findet den gesamten Absatz darüber, wo dieses Tier in den Stammbaum des Lebens einzuordnen ist. Dies stellt sicher, dass der Roboter den Kontext versteht, nicht nur die Wörter.

2. Die Gatekeeper (Die Routing-Agenten)
Bevor der Roboter überhaupt nach Antworten sucht, prüft ein Team von „Gatekeeper“-Agenten die Anfrage der Lehrkraft.

• Der Intent-Agent fragt: „Ist dies eine echte naturwissenschaftliche Frage, oder hat die Lehrkraft nur ‚Hallo‘ gesagt?“
• Der Ambiguity-Agent fragt: „Ist die Frage klar? Wenn die Lehrkraft sagt ‚Erstelle ein Quiz über Tiere‘, stoppt der Agent und fragt: ‚Welches Kapitel? Welche Art von Tieren?‘“
• Der Safety-Agent stellt sicher, dass keine schädlichen oder themenfremden Anfragen durchkommen.
  Wenn die Anfrage zu vage oder unsicher ist, stoppt das System höflich und bittet um mehr Details. Es weigert sich, zu raten.

3. Das Detektiv-Team (Hybride Abfrage)
Sob sobald die Anfrage klar ist, geht das System auf die Suche nach Beweisen. Es nutzt zwei Arten der Suche gleichzeitig:

• Der semantische Detektiv: Sucht nach der Bedeutung der Wörter (z. B. findet er „saurer Regen“, auch wenn im Text „Regen mit hoher Azidität“ steht).
• Der lexikalische Detektiv: Sucht nach exakten wissenschaftlichen Begriffen, die allein durch die Bedeutung vielleicht übersehen würden.
  Wenn das System Beweise findet, verwendet es eine „Fail-Closed“-Regel. Das ist wie eine strenge Lehrerin, die sagt: „Wenn du nicht genug Beweise hast, bekommst du eine Null.“ Wenn das System nicht genügend Lehrbuchseiten findet, um eine Frage zu stützen, verweigert es die Generierung einfach, anstatt etwas zu erfinden.

4. Die Schreiber (Spezialisierte Agenten)
Sob nachdem die Beweise gesammelt wurden, übernehmen verschiedene „Schreiber“ das Kommando.

• Der MCQ-Spezialist schreibt Multiple-Choice-Fragen (wie „A, B, C oder D?“).
• Der Spezialist für kreative Fragen schreibt die längeren, szenariobasierten Fragen, die bei Board-Prüfungen üblich sind (bei denen ein Schüler ein Szenario liest und vier Teile beantwortet).
  Diese Schreiber werden gezwungen, nur die Beweise zu verwenden, die die Detektive gefunden haben. Sie dürfen nicht ihr eigenes „Gedächtnis“ nutzen, um Fakten zu erfinden.

5. Der Inspektor (SAVER)
Bevor das Quiz der Lehrkraft übergeben wird, prüft ein finaler Inspektor namens SAVER (Source-Attributed Verification and Evidence Ranking) die Arbeit. Er betrachtet jede einzelne Frage und stellt drei Fragen:

1. Treue (Faithfulness): Hast du diesen Fakt tatsächlich im Lehrbuch gefunden?
2. Relevanz (Relevance): Passt dies zu dem, was die Lehrkraft gefragt hat?
3. Halluzinationsrisiko (Hallucination Risk): Hast du irgendetwas erfunden?
   Wenn die Punktzahl zu niedrig ist, markiert das System die Frage zur Überprüfung durch die menschliche Lehrkraft. Es löscht sie nicht automatisch; es sagt lediglich: „Hey, überprüfe das bitte, ich bin mir nicht zu 100 % sicher.“

Was haben sie herausgefunden?

Die Forscher testeten dieses System, indem sie 198 naturwissenschaftliche Fragen (143 Multiple-Choice- und 55 kreative Fragen) generierten, die alle 14 Kapitel des Klassen-8-Lehrbuchs abdeckten. Sie ließen dann drei echte Naturwissenschaftslehrer die Ergebnisse bewerten.

Die Ergebnisse waren recht beeindruckend. Im Vergleich zu einem Standard-„Vanilla“-KI-System, das einfach Text greift und schreibt, ergab sich Folgendes:

• Treue (Faithfulness) (wie wahr die Fakten im Vergleich zur Quelle sind) sprang von 0,68 auf 0,96. Das bedeutet, das neue System ist fast perfekt ehrlich darüber, woher es seine Informationen hat.
• Antwort-Relevanz (Answer Relevancy) (wie gut die Antwort zur Frage passt) stieg von 0,60 auf 0,89.
• Nutzen für die Lehrkraft (Teacher Utility) (wie nützlich die Lehrkräfte die Fragen fanden) schoss von einem Wert von 2,00 auf 4,80 auf einer 5-Punkte-Skala hoch.

Die Studie zeigte auch, dass die Qualität signifikant sinkt, wenn man den „intelligenten Index“ (COPE) entfernt. Wenn man den „Inspektor“ (SAVER) entfernt, fängt das System wieder an, Fakten zu erfinden. Dies beweist, dass sowohl das Verständnis der Struktur des Buches als auch die Doppelprüfung der Arbeit essenziell sind.

Die Grenzen und die Zukunft

Die Autoren weisen vorsichtig darauf hin, was ihr System derzeit noch nicht kann.

• Es ist rein textbasiert: Das System liest die Wörter des Lehrbuchs, hat aber Schwierigkeiten mit Bildern. Wenn eine Frage die Betrachtung eines Diagramms eines Stromkreises oder einer Zelle erfordert, kann das System das Bild nicht „sehen“. Es muss sich auf die Textbeschreibung verlassen, was dazu führen kann, dass der Punkt einer visuellen Frage verpasst wird.
• Es braucht menschliche Augen: Das System ist als Helfer konzipiert, nicht als Ersatz. Es markiert Fragen zur Überprüfung durch die Lehrkräfte, trifft aber nicht die endgültige Entscheidung. Die Lehrkräfte müssen die Arbeit immer noch überprüfen, bevor sie sie an die Schüler weitergeben.
• Spezifisch für ein Buch: Dieses System wurde speziell für das Naturwissenschafts-Lehrbuch der 8. Klasse in Bangladesch entwickelt. Es funktioniert möglicherweise nicht perfekt für ein anderes Schuljahr, ein anderes Fach oder das Curriculum eines anderen Landes, ohne wesentliche Änderungen vorzunehmen.

Kurz gesagt: TeachMateGPT legt nahe, dass wir, indem wir einer KI eine bessere Karte des Lehrbuchs geben, eine strikte Regel zur Vermeidung von Vermutungen einführen und einen eingebauten Inspektor nutzen, ein Werkzeug schaffen können, das Lehrkräften hilft, Zeit zu sparen, ohne die Genauigkeit zu opfern. Es ist ein Schritt in Richtung einer Zukunft, in der KI ein zuverlässiger Co-Pilot für die Bildung ist, statt eines riskanten Autopiloten.