💬 NLP

Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

Diese Studie stellt eine neue Methode zur generierung von Schwierigkeitsgrad-kontrollierten Multiple-Choice-Fragen für Leseverständnis vor, die ein großes Sprachmodell mittels direkter Präferenzoptimierung (DPO) trainiert, um die Genauigkeit der Schwierigkeitssteuerung zu verbessern und gleichzeitig die direkte Generierung von Multiple-Choice-Fragen zu ermöglichen.

Ursprüngliche Autoren: Yuto Tomikawa, Masaki Uto

Veröffentlicht 2026-03-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuto Tomikawa, Masaki Uto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der gerade eine neue Klasse übernimmt. Ihre Schüler haben ganz unterschiedliche Fähigkeiten: Manche sind noch Anfänger, andere sind schon fast Experten. Wenn Sie nun eine Prüfung erstellen wollen, stehen Sie vor einem riesigen Problem: Wie finden Sie für jeden Schüler genau die richtige Frage? Eine Frage, die für den Anfänger zu schwer ist, frustriert ihn. Eine Frage, die für den Experten zu leicht ist, langweilt ihn.

Früher mussten Lehrer jede einzelne Frage mühsam von Hand schreiben, um den Schwierigkeitsgrad zu steuern. Das kostet viel Zeit und Nerven.

In diesem Papier stellen die Forscher eine neue, intelligente Maschine vor, die diese Aufgabe übernimmt. Sie nennen es eine „KI, die Fragen auf Knopfdruck erstellt". Aber nicht nur das: Diese KI kann den Schwierigkeitsgrad der Fragen genau einstellen, wie einen Thermostat für die Heizung.

Hier ist die Geschichte der Forschung, einfach erklärt:

1. Das Problem: Die alte KI war wie ein blindes Kochmesser

Bisher gab es schon KI-Systeme, die Fragen zu Texten schreiben konnten. Aber sie hatten zwei große Mängel:

Sie konnten keine Multiple-Choice-Fragen machen: Die meisten Schulklausuren bestehen aus Fragen mit vier Antwortmöglichkeiten (A, B, C, D). Die alten KIs konnten nur Lückentexte oder Fragen mit einer direkten Textstelle als Antwort erstellen. Das war für den Schulalltag wenig brauchbar.
Sie konnten den Schwierigkeitsgrad nicht wirklich kontrollieren: Man konnte der KI sagen: „Mach eine leichte Frage" oder „Mach eine schwere Frage". Aber die KI war oft ungenau. Es war, als würde man einem Koch sagen: „Mach es scharf", und er würde einfach eine ganze Schale Chili hineinwerfen, ohne zu wissen, wie scharf „scharf" eigentlich ist.

2. Die Lösung: Ein neuer Trainings-Trick (DPO)

Die Forscher haben eine neue Methode entwickelt, um die KI zu trainieren. Sie nutzen ein großes Sprachmodell (eine Art „Super-KI", ähnlich wie ChatGPT) und geben ihr einen speziellen Trainings-Trick namens DPO (Direct Preference Optimization).

Die Analogie des Geschmacks-Tests:
Stellen Sie sich vor, Sie trainieren einen Koch (die KI).

Der alte Weg (SFT): Sie sagen dem Koch: „Hier ist ein Rezept, kopiere es genau nach." Der Koch lernt die Wörter, aber er weiß nicht wirklich, ob das Essen gut schmeckt oder ob es genau die richtige Schärfe hat.
Der neue Weg (DPO): Sie geben dem Koch zwei Teller. Auf dem einen ist das Essen perfekt (die richtige Schärfe), auf dem anderen ist es zu scharf oder zu mild. Sie sagen: „Ich mag diesen Teller hier mehr." Der Koch lernt daraus nicht nur die Wörter, sondern den Geschmack. Er lernt, genau das zu kochen, was Sie wollen.

In diesem Fall „schmeckt" die KI die richtige Schwierigkeit. Sie vergleicht die Frage, die sie gerade geschrieben hat, mit einer Frage, die genau richtig war, und passt sich an.

3. Wie funktioniert das in der Praxis?

Die Forscher haben eine riesige Bibliothek mit Texten und Fragen (das RACE-Datenset) genommen. Aber da dort keine Schwierigkeitsgrade dabei waren, mussten sie diese erst berechnen.

Die virtuellen Schüler: Sie haben 77 verschiedene Computer-Programme (KI-Modelle) gebaut, die wie Schüler mit unterschiedlichen Intelligenzquotienten funktionieren. Manche sind sehr schlau, manche etwas langsamer.
Der Testlauf: Sie haben alle Fragen von diesen „virtuellen Schülern" lösen lassen. Wenn ein „schlauer Schüler" eine Frage falsch macht, ist sie sehr schwer. Wenn ein „langsamer Schüler" sie richtig macht, ist sie sehr leicht. So haben sie für jede Frage einen genauen Schwierigkeitswert berechnet.

Mit diesen Daten haben sie ihre neue KI trainiert. Das Ergebnis?

Wenn Sie sagen: „Schwierigkeitsgrad 2,0" (schwer), erstellt die KI eine Frage, die wirklich schwer ist.
Wenn Sie sagen: „Schwierigkeitsgrad -2,0" (leicht), erstellt sie eine einfache Frage.
Und das Wichtigste: Die KI erstellt dabei Multiple-Choice-Fragen mit einer richtigen Antwort und drei falschen (den sogenannten „Distraktoren").

4. Das Ergebnis: Besser als bloßes „Nachahmen"

Die Forscher haben ihre neue KI mit einer alten KI verglichen, die nur den alten Weg (bloßes Kopieren) gelernt hatte.

Die alte KI konnte den Schwierigkeitsgrad nur ungefähr treffen.
Die neue KI (mit dem DPO-Trick) traf den Schwierigkeitsgrad viel genauer. Es war, als würde sie den Thermostat nicht nur grob auf „warm" stellen, sondern auf exakt 21,5 Grad.

Außerdem haben sie geprüft, ob die Fragen noch gut klingen (Grammatik) und ob sie Sinn ergeben. Hier war die neue KI genauso gut wie die alte – sie hat also nichts von der Qualität geopfert, um die Genauigkeit zu verbessern.

5. Warum ist das wichtig?

Stellen Sie sich eine adaptive Lern-App vor, wie ein persönlicher Fitness-Trainer für das Gehirn.

Wenn ein Schüler eine Aufgabe leicht löst, weiß die App: „Okay, der Schüler ist stark."
Die neue KI kann sofort eine etwas schwierigere Frage generieren, die genau auf diesem Niveau liegt.
Wenn der Schüler scheitert, generiert sie sofort eine leichtere Frage, damit der Schüler nicht frustriert wird.

Das spart Lehrern enorme Zeit und hilft jedem Schüler, genau dort zu lernen, wo er gerade steht.

Fazit

Die Forscher haben eine KI entwickelt, die nicht nur Fragen erfindet, sondern diese Fragen wie ein erfahrener Lehrer maßschneidert. Mit einem cleveren neuen Trainings-Trick (DPO) lernt die KI, den Schwierigkeitsgrad so präzise zu steuern, dass sie perfekt für den Einsatz in Schulen und Lern-Apps geeignet ist. Es ist ein großer Schritt weg von „Fragen generieren" hin zu „intelligentes, persönliches Lernen ermöglichen".

1. Problemstellung

Die automatische Generierung von Fragen (Question Generation, QG) für das Leseverstehen ist ein zentrales Werkzeug für adaptives Lernen. Bisherige neuronale Methoden zur Schwierigkeitssteuerung von Fragen weisen jedoch zwei wesentliche Einschränkungen auf:

Fehlende Unterstützung für Multiple-Choice-Fragen: Konventionelle Ansätze generieren meist Fragen mit extraktiven Antworten (d. h., die Antwort ist ein Wortspanne im Text). Sie können keine Multiple-Choice-Fragen (MCQs) mit Distraktoren (falschen Antwortoptionen) direkt generieren, obwohl dies der in der Bildung am weitesten verbreitete Fragetyp ist.
Mangelnde Optimierung der Schwierigkeitskontrolle: Herkömmliche Modelle werden durch Supervised Fine-Tuning (SFT) trainiert, um die bedingte Wahrscheinlichkeit des Textes zu maximieren. Dabei wird die Genauigkeit der Schwierigkeitssteuerung nicht explizit als Zielgröße optimiert, was zu Abweichungen zwischen der gewünschten und der tatsächlichen Schwierigkeit führt.

Ziel der Studie ist es, eine Methode zu entwickeln, die Multiple-Choice-Fragen generieren kann und deren Schwierigkeitsgrad präzise steuerbar ist, basierend auf der Item-Response-Theorie (IRT).

2. Methodik

Der vorgeschlagene Ansatz nutzt ein Large Language Model (LLM), spezifisch Llama 3.1, und kombiniert zwei Trainingsphasen:

A. Datengrundlage und Schwierigkeitsschätzung

Da Standard-Datensätze keine Schwierigkeitslevel enthalten, wurde ein Datensatz mit geschätzten Schwierigkeiten konstruiert:

Es wurden 77 verschiedene QA-Systeme (basierend auf verschiedenen Transformer-Modellen wie BERT, RoBERTa, ALBERT, DeBERTa mit variierenden Trainingsdatenmengen) als „virtuelle Lernende" mit unterschiedlichen Fähigkeitsniveaus ( $\theta$ ) erstellt.
Mithilfe des Rasch-Modells (ein IRT-Modell) wurden die Antworten dieser Systeme genutzt, um den Schwierigkeitsparameter ( $b$ ) für jede Frage im RACE-Datensatz zu schätzen.
Der resultierende Datensatz enthält für jede Passage ( $c$ ) eine Frage ( $q$ ), die korrekte Antwort ( $a$ ), drei Distraktoren ( $d_1, d_2, d_3$ ) und den geschätzten Schwierigkeitswert ( $b$ ).

B. Zwei-Stufen-Trainingsprozess

Initial Fine-Tuning (SFT):
Das LLM wird zunächst mittels Supervised Fine-Tuning auf den konstruierten Datensatz trainiert. Das Ziel ist es, die Likelihood der Ausgabe (Frage + Optionen) gegeben den Input (Passage + gewünschtes Schwierigkeitslevel) zu maximieren. Dies erzeugt das Basismodell $QG_{sft}$ .
Direct Preference Optimization (DPO):
Um die Genauigkeit der Schwierigkeitskontrolle explizit zu optimieren, wird DPO angewendet. DPO ist eine effiziente Alternative zu Reinforcement Learning from Human Feedback (RLHF).
- Konzept: Anstatt eine Reward-Funktion zu berechnen und das Modell iterativ zu aktualisieren (wie bei RLHF), wird DPO als überwachtes Lernverfahren formuliert, das die Präferenzen direkt aus dem Datensatz lernt.
- Datensatz für DPO ( $D_{dpo}$ ): Für jeden Input $x$ (Passage + Ziel-Schwierigkeit) wird ein „gutes" Beispiel $y_w$ (die tatsächlich generierte Frage mit hoher Übereinstimmung der Schwierigkeit) und ein „schlechtes" Beispiel $y_l$ (eine zufällig ausgewählte Frage zur gleichen Passage, aber mit abweichender Schwierigkeit) gebildet.
- Zielfunktion: Das Modell wird so trainiert, dass es $y_w$ gegenüber $y_l$ bevorzugt. Die Reward-Funktion $r(x, y')$ ist definiert als der negative quadratische Fehler zwischen der vorgegebenen Schwierigkeit und der geschätzten Schwierigkeit der generierten Frage.
- Das resultierende Modell wird als $QG_{dpo}$ bezeichnet.

3. Wichtige Beiträge

Erster Ansatz für MCQs: Entwicklung einer Methode, die direkt Multiple-Choice-Fragen mit korrekten Antworten und Distraktoren generiert, im Gegensatz zu rein extraktiven Ansätzen.
DPO für Schwierigkeitskontrolle: Einführung von DPO als effizientes Trainingstool, um die Genauigkeit der Schwierigkeitssteuerung explizit zu optimieren, ohne die Instabilität und hohen Kosten von RLHF.
IRT-Integration: Nahtlose Integration von Item-Response-Theorie, um Schwierigkeiten in Bezug auf die Lernfähigkeitsniveaus zu quantifizieren und zu steuern.

4. Ergebnisse

Die Evaluation erfolgte auf dem RACE-Datensatz (Leseverstehen).

Genauigkeit der Schwierigkeitskontrolle:
- Das DPO-Modell ( $QG_{dpo}$ ) zeigte eine deutlich bessere Korrelation zwischen dem spezifizierten Schwierigkeitslevel und der tatsächlichen Schwierigkeit (gemessen durch die Antwortraten der 77 QA-Systeme) als das SFT-Modell ( $QG_{sft}$ ).
- Der mittlere absolute Fehler (MAE) zwischen spezifizierter und geschätzter Schwierigkeit sank von 1,41 ( $QG_{sft}$ ) auf 1,07 ( $QG_{dpo}$ ).
- Die Fisher-Information (ein Maß für die Genauigkeit der Fähigkeitsmessung) war bei $QG_{dpo}$ höher, was bedeutet, dass die generierten Fragen besser geeignet sind, das Fähigkeitsniveau eines Lernenden präzise zu schätzen.
Qualität der generierten Fragen:
- Eine Evaluation mittels „LLM-as-a-Judge" (GPT-4.1 mini) bezüglich Flüssigkeit, Inhaltsrelevanz und Beantwortbarkeit zeigte, dass die Anwendung von DPO die Qualität der Fragen nicht verschlechterte. Die Scores für Flüssigkeit und Relevanz blieben hoch und vergleichbar mit dem SFT-Modell.
- Die Beantwortbarkeit war bei beiden Modellen ähnlich (und etwas niedriger als bei menschlich erstellten Fragen), was als allgemeine Herausforderung identifiziert wurde.
Vergleich mit Few-Shot Learning:
- Ein Versuch, Schwierigkeitskontrolle nur durch Few-Shot-Prompts (3, 10, 30 Beispiele) bei einem generischen LLM (GPT-4.1 mini) zu erreichen, schlug fehl. Es gab keine signifikante Korrelation zwischen spezifizierter und tatsächlicher Schwierigkeit. Dies unterstreicht die Notwendigkeit des spezialisierten Trainings (SFT + DPO).
Qualitative Analyse:
- Mit steigendem Schwierigkeitslevel nahm der Anteil einfacher „Wort-Matching"-Fragen ab und der Anteil komplexer „Multi-Sentence-Reasoning"-Fragen zu. Dieser Trend war bei $QG_{dpo}$ ausgeprägter als bei $QG_{sft}$ .

5. Bedeutung und Ausblick

Die Studie demonstriert, dass die Kombination aus Large Language Models und Direct Preference Optimization eine effektive Lösung für die präzise Steuerung der Schwierigkeit von Multiple-Choice-Fragen darstellt. Dies ist ein entscheidender Schritt hin zu adaptiven Lernsystemen, die Fragen dynamisch an das Fähigkeitsniveau einzelner Lernender anpassen können.

Limitationen und zukünftige Arbeiten:

Die Beantwortbarkeit der generierten Fragen (d. h., dass es genau eine korrekte Antwort gibt) ist noch nicht perfekt und könnte durch Feedback-Schleifen mit externen LLMs als Reward-Signal weiter verbessert werden.
Der Ansatz benötigt derzeit große Trainingsdatensätze (hier RACE mit ~88k Fragen). Für den Einsatz in ressourcenarmen Bildungskontexten sind Techniken zur Daten-Augmentierung notwendig.
Zukünftige Studien sollen den pädagogischen Nutzen in echten adaptiven Testumgebungen evaluieren.