💬 NLP

KNIGHT: Knowledge Graph-Driven Multiple-Choice Question Generation with Adaptive Hardness Calibration

KNIGHT ist ein auf Wissensgraphen basierendes Framework, das große Sprachmodelle nutzt, um effizient hochwertige, schwierigkeitsgesteuerte Multiple-Choice-Fragedatensätze aus externen Quellen zu generieren und damit die Kosten- und Zeitengpässe der manuellen Erstellung von Assessments zur Evaluierung von RAG-Systemen zu überwinden.

Ursprüngliche Autoren: Mohammad Amanlou, Erfan Shafiee Moghaddam, Yasaman Amou Jafari, Mahdi Noori, Farhan Farsi, Behnam Bahrak

Veröffentlicht 2026-06-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohammad Amanlou, Erfan Shafiee Moghaddam, Yasaman Amou Jafari, Mahdi Noori, Farhan Farsi, Behnam Bahrak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die ein Quiz für ihre Schüler erstellen muss. Normalerweise verbringen Sie Stunden damit, Lehrbücher zu lesen, Fakten herauszusuchen und Fragen zu formulieren, die genau die richtige Schwierigkeit haben. Wenn Sie ein schwierigeres Quiz erstellen wollen, müssen Sie wieder ganz von vorne anfangen.

Die vorliegende Arbeit stellt ein neues Werkzeug namens KNIGHT (Knowledge Graph-Driven Natural Item Generation with Adaptive Hardness Tuning) vor. Betrachten Sie KNIGHT nicht als einen Roboter, der Fragen aus dem Nichts schreibt, sondern als einen intelligenten Bibliothekar, der zuerst eine maßgeschneiderte Karte erstellt, bevor er das Quiz schreibt.

So funktioniert es, unterteilt in einfache Schritte:

1. Die „Karte“ (Der Knowledge Graph)

Anstatt die KI jedes Mal zu bitten, ein ganzes Buch zu lesen, wenn sie eine Frage schreiben soll, erstellt KNIGHT zuerst eine vereinfachte Karte des Themas.

Die Analogie: Stellen Sie sich vor, Sie möchten jemandem etwas über „Biologie“ beibringen. Anstatt ihm eine 500-seitige Enzyklopädie zu überreichen, zeichnet der Bibliothekar ein einzelnes Blatt Papier mit Punkten (Entitäten wie „Zellen“, „DNA“, „Pflanzen“) und Linien, die diese verbinden (Beziehungen wie „Zellen bilden DNA“).
Warum das hilft: Diese Karte ist klein, schnell zu lesen und kann wiederverwendet werden. Sobald die Karte für „Biologie“ gezeichnet ist, kann der Bibliothekar sie nutzen, um einfache Fragen, schwere Fragen oder knifflige Fragen zu erstellen, ohne jemals wieder die große Enzyklopädie lesen zu müssen.

2. Den Pfad zeichnen (Multi-Hop-Fragen)

Um eine Frage zu erstellen, wählt KNIGHT nicht einfach nur einen Punkt aus; es verfolgt einen Pfad entlang der Linien der Karte.

Einfache Frage (Level 1): Der Pfad ist kurz. Er führt von Punkt A zu Punkt B.
- Beispiel: „Was verbindet Biologie mit Zellen?“
Schwere Frage (Level 3): Der Pfad ist lang und gewunden. Er geht von Punkt A zu Punkt B, dann zu Punkt C, dann zu Punkt D.
- Beispiel: „Wenn Biologie zu Zellen führt und Zellen zu DNA führen und DNA zu Genetik führt, welches Fachgebiet untersucht den letzten Schritt?“
Die Magie: Das System steuert den Schwierigkeitsgrad einfach dadurch, dass es entscheidet, wie viele „Hops“ (Schritte) auf der Karte unternommen werden.

3. Der „Qualitätskontroll“-Inspektor

Nur weil ein Roboter einen Satz schreiben kann, bedeutet das noch lange nicht, dass es eine gute Frage ist. KNIGHT hat einen eingebauten Inspektor (eine weitere KI), der jede Frage vor der Aufnahme in das endgültige Quiz gegen fünf strenge Regeln prüft:

Grammatik: Ist das Englisch korrekt?
Eine Antwort: Gibt es nur eine richtige Antwort? (Keine Fangfragen mit zwei korrekten Optionen).
Einzigartige Optionen: Sind die falschen Antworten (Distraktoren) tatsächlich voneinander verschieden?
Wahrheitsgetreu: Kann die Antwort nur mithilfe der Karte und des Quelltextes gefunden werden? (Dies verhindert, dass die KI Dinge erfindet oder „halluziniert“).
Themenbezogen: Passt die Frage tatsächlich zum Thema?

4. Warum es besser ist als alte Methoden

Die Arbeit vergleicht KNIGHT mit anderen Wegen, Quizze zu erstellen:

Der „normale“ Weg: Einfach einer KI zu sagen: „Schreibe eine Biologiefrage.“ Dies führt oft zu erfundenen Fakten oder Fragen, die zu einfach sind.
Der „RAG“-Weg: Einer KI jedes Mal ein langes Dokument zum Lesen zu geben. Das ist langsam, teuer und die KI wird trotzdem oft verwirrt.
Der „KNIGHT“-Weg: Durch die Verwendung der Karte ist KNIGHT günstiger und schneller. Es erstellt die Karte einmal und generiert dann hunderte von Fragen aus dieser kleinen Karte. Es produziert zudem Fragen, die schwieriger und logischer sind, da sie auf den tatsächlichen Verbindungen in der Karte basieren und nicht auf bloßem Raten.

Die Ergebnisse

Die Forscher haben KNIGHT in drei Fächern getestet: Geschichte, Biologie und Mathematik. Sie fanden heraus:

Die Fragen waren grammatikalisch perfekt und klar.
Die „schweren“ Fragen waren tatsächlich schwerer (Schüler und KI-Modelle beantworteten sie häufiger falsch) und die „einfachen“ waren einfach.
Das System machte sehr wenige Fehler, bei denen die Antwort nicht im Quellmaterial zu finden war (was bedeutet, dass es nicht „halluziniert“ oder lügt).
Es ordnete KI-Modelle in derselben Reihenfolge ein wie berühmte, teure Benchmarks, was beweist, dass es eine zuverlässige Methode zum Testen von Intelligenz ist.

Kurz gesagt: KNIGHT ist ein System, das eine kleine, wiederverwendbare Wissenskarte zeichnet und diese Karte dann nutzt, um schnell und kostengünstig qualitativ hochwertige, im Schwierigkeitsgrad kontrollierte Quizze zu erstellen, ohne für jede einzelne Frage ganze Bücher neu lesen zu müssen.

Technisches Resümee: KNIGHT

Problemstellung

Der rasante Fortschritt bei Large Language Models (LLMs) hat sie zu einem zentralen Bestandteil von Anwendungen wie Retrieval-Augmented Generation (RAG) gemacht. Die Evaluierung dieser Systeme steht jedoch vor einem erheblichen Engpass: dem Zeit-, Kosten- und Fachwissenaufwand, der für die Erstellung spezialisierter, hochwertiger Bewertungsdatensätze erforderlich ist. Bestehende öffentliche Evaluierungsdatensätze sind aufgrund proprietärer Beschränkungen oft rar gesät, während Standard-Benchmarks wie MMLU weitgehend statisch sind, schwer zu aktualisieren sind und es nicht an feingranularer instruktiver Kontrolle über die themenspezifische Schwierigkeit oder Multi-Hop-Reasoning-Strukturen mangelt. Darüber hinaus fehlt es bisherigen automatisierten Datensatz-Generierungsbemühungen an weit verbreiteten, reproduzierbaren Open-Source-Frameworks, die Fragen mit kontrollierter Schwierigkeit generieren können, ohne lange Quelltexte wiederholt neu einlesen zu müssen.

Methodik

Die Autoren führen KNIGHT (Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning) ein, ein vollautomatisches Framework, das darauf ausgelegt ist, groß angelegte, themenspezifische Multiple-Choice-Fragebogen-Datensätze (MCQ) aus externen Dokumentensammlungen und Ontologien zu synthetisieren. Das Framework operiert durch eine vierstufige Pipeline:

Konstruktion des Wissensgraphen (Knowledge Graph, KG): Gegeben ein benutzerdefiniertes Thema $\tau$ , konstruiert das System einen gerichteten Eigenschaftsgraphen $G=(V, E, R)$ mittels einer Retrieve-Generate-Filter-Schleife.
- Retrieval & Synthese: Es ruft rangfolgig geordnete Belege aus Quellen (z. B. Wikipedia) ab und nutzt ein LLM, um eine strukturierte, achtpunktige Glossierung (Beschreibung) für die Seed-Entität zu generieren.
- Tripel-Induktion: Das System extrahiert Subjekt-Prädikat-Objekt-Tripel aus diesen Beschreibungen und filtert nach nahezu identischen Duplikaten.
- Kuration & Expansion: Ein Kuratormodul wendet Typenprüfungen (instanziiert mit Wikidata), Natural Language Inference (NLI)-Konsistenzprüfungen und Inhaltsrichtlinien-Screenings an. Der Graph expandiert breitensuchend bis zu einem benutzerdefinierten Tiefenlimit $d_{max}$ und erstellt so eine kompakte, wiederverwendbare Repräsentation von Entitäten und Relationen.
MCQ-Synthese: Das System generiert Fragen durch das Traversieren von Multi-Hop-Pfaden innerhalb des konstruierten KG.
- Es sampelt Pfade mit konfigurierbarer Länge (Tiefe) und Orientierung (vorwärts oder rückwärts).
- Knoten-Glossierungen und Relationslabels werden in ein Kontext-Template verbalisiert, welches ein LLM dazu auffordert, eine Fragestellung (Question Stem), eine einzige korrekte Antwort und drei semantisch nahe liegende Distraktoren (falschen Antwortmöglichkeiten) zu generieren.
Kalibrierung der Schwierigkeit: Die Schwierigkeit wird explizit über die Pfadlänge (Anzahl der Hops) und den Abstraktionsgrad innerhalb des KG gesteuert. Das System validiert, dass längere Pfade mit erhöhter Modell-Unsicherheit (Entropie) und menschlich wahrgenommener Schwierigkeit korrelieren.
Validierung & Filterung: Ein Validator-LLM bewertet Kandidaten-Items anhand von fünf Kriterien, die aus Best Practices der Item-Erstellung adaptiert wurden:
- Grammatikalische Flüssigkeit.
- Eindeutigkeit der korrekten Einzelantwort.
- Einzigartigkeit der Optionen (nicht überlappende Distraktoren).
- Beantwortbarkeit anhand der bereitgestellten Belege (dient als Proxy für Halluzinationen).
- Themenrelevanz.
  Items, die eines dieser Kriterien nicht erfüllen, werden verworfen.

Das Framework wird unter Verwendung von Wikipedia/Wikidata als Ontologie instanziiert, ist jedoch konzipiert, domänen- und ontologieagnostisch zu sein. Es verwendet GPT-4o-mini für alle LLM-Aufrufe, um ein kosten- und tokenbewusstes Evaluierungssetting aufrechtzuerhalten.

Zentrale Beiträge

Wiederverwendbare KG-Repräsentation: KNIGHT führt eine Methode ein, um einen themenspezifischen KG einmalig zu erstellen und zu cachen, was die Generierung mehrerer Fragenvarianten (unterschiedliche Schwierigkeitsgrade, Formate und Zielsetzungen) ermöglicht, ohne lange Quelltexte wiederholt einspeisen zu müssen. Dies reduziert den Token-Verbrauch und die Kosten im Vergleich zu naivem Prompting oder Standard-RAG-Baselines erheblich.
Adaptive Härte-Kontrolle: Durch die Nutzung von Graph-Tiefe und Pfadstruktur ermöglicht KNIGHT eine explizite Kontrolle über die Schwierigkeit der Fragen und erleichtert so die Erstellung von lehrplanorientierten Evaluationen mit Multi-Hop-Reasoning-Anforderungen.
Umfassende Evaluierungs-Pipeline: Das Framework integriert RAG-basierte Extraktion, KG-gestützte Generierung und LLM-basierte Validierung in eine modulare Pipeline, die Halluzinationen mindert und die pädagogische Validität sicherstellt.
Open-Source-Implementierung: Die Autoren stellen ein öffentlich verfügbares Paket auf PyPI und GitHub bereit, das eine reproduzierbare, token-effiziente Alternative zu statischen Benchmarks bietet.

Experimentelle Ergebnisse

Die Autoren evaluierten KNIGHT über sechs Datensätze in den Bereichen Geschichte, Biologie und Mathematik, die zwei Schwierigkeitsstufen (Level 1 und Level 3) abdecken. Sie verglichen das vollständige KNIGHT gegen Ablationen: Plain (keine Belege), RAG (nur Belege), RAG+KG (Belege + KG, kein Validator) und RAG+Val (Belege + Validator, kein KG).

Qualitätsmetriken: KNIGHT erreichte hohe Werte in der linguistischen Qualität (Flüssigkeit, Grammatik) und übertraf die Baselines in Validitätsmetriken signifikant. Es produzierte die niedrigsten Raten an „unbeantwortbaren“ Items (Halluzinations-Proxy), ambigen Schlüsseln und duplizierten Optionen.
Schwierigkeits-Kalibrierung: Eine prädiktive Entropie-Analyse mittels eines festen Probe-Modells (LLaMA 3.2-3B) zeigte, dass KNIGHT erfolgreich schwierigere Items auf Level 3 (höhere Entropie, geringere Probe-Genauigkeit) im Vergleich zu Level 1 generierte. Entscheidend war, dass die Erhöhung der Schwierigkeit die Item-Validität nicht verschlechterte.
Distraktor-Qualität: Der KG-gestützte Ansatz (RAG+KG) wurde als primärer Treiber für die Generierung kompetitiver Distraktoren (höhere Entropie) identifiziert, während RAG allein oder die Validierung allein es nicht schafften, eine bedeutsame Schwierigkeitstrennung zu induzieren.
Benchmark-Nutzen: Die Modell-Rankings auf den KNIGHT-Datensätzen stimmten eng mit etablierten Benchmarks wie MMLU, ARC und CSQA überein, was darauf hindeutet, dass die generierten Datensätze allgemeine Kompetenzfaktoren der QA (Question Answering) erfassen.
Effizienz: Das Framework demonstrierte Token-Effizienz und verbrauchte durchschnittlich ~600 Tokens pro Frage durch die Wiederverwendung des gecachten KG, verglichen mit den höheren Kosten des erneuten Einlesens langer Kontexte in Standard-RAG-Ansätzen. Die Generierungszeiten auf Commodity-Hardware (Google Colab T4) waren praktikabel (Minuten bis ~40 Minuten pro Datensatz).

Bedeutung und Ansprüche

Das Paper positioniert KNIGHT nicht bloß als neuen Datensatz, sondern als ein skalierbares, kostengünstiges Benchmark-Generator-Tool. Seine primäre Bedeutung liegt in der Adressierung des Engpasses bei der Kuratierung von Datensätzen für die LLM-Evaluierung. Durch die Entkopplung der teuren Wissensextraktionsphase (KG-Konstruktion) von der Generierungsphase ermöglicht KNIGHT:

Schnelle Aktualisierbarkeit: Im Gegensatz zu statischen Benchmarks, die eine erhebliche Expertenarbeit zur Aktualisierung erfordern, erlaubt KNIGHT häufige, themenspezifische Updates.
Instruktive Kontrolle: Es bietet eine explizite Kontrolle über Schwierigkeit und Multi-Hop-Struktur, was in breit gefächerten, statischen Suiten oft fehlt.
Kosteneffizienz: Es bietet eine token-effiziente Alternative zu naiven Prompting-Pipelines und macht hochwertige Evaluationen ohne prohibitive Rechenkosten zugänglich.

Die Autoren kommen zu dem Schluss, dass KNIGHT bestehende breite Benchmarks ergänzt, indem es ein flexibles, reproduzierbares und domänenadaptierbares Werkzeug zur Erstellung rigoroser, faktengestützter Evaluationssets bietet. Sie räumen Einschränkungen hinsichtlich der Generalisierung auf berechnungsintensive Domänen (z. B. Physik) und das verbleibende Vorkommen von Halluzinationen ein, betonen jedoch, dass das Framework die Validität gegenüber rein retrieval-basierten Ansätzen erheblich verbessert.