💬 NLP

Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

Deze studie presenteert een nieuwe methode voor het genereren van meerkeuzevragen met controleerbare moeilijkheidsgraad voor leesbegrip, waarbij een groot taalmodel wordt getraind met directe preferentieoptimalisatie om de nauwkeurigheid van de moeilijkheidscontrole te verbeteren.

Oorspronkelijke auteurs: Yuto Tomikawa, Masaki Uto

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuto Tomikawa, Masaki Uto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een toets wil maken voor zijn leerlingen. Je wilt niet dat iedereen evenveel fouten maakt. Sommige leerlingen hebben een makkelijkere toets nodig om hun vertrouwen te krijgen, terwijl anderen een uitdagende toets nodig hebben om zich echt te ontwikkelen.

In het verleden was het heel moeilijk om automatisch toetsvragen te maken die precies op het niveau van de leerling pasten. Computers konden vragen maken, maar ze hadden geen idee of die vraag "makkelijk" of "moeilijk" was. Ze maakten gewoon een vraag, en of die nu voor een beginner of een expert was, dat was vaak een gok.

Deze paper beschrijft een slimme nieuwe manier om dat probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Blinde" Robot

Vroeger konden computers vragen maken, maar ze waren als een kok die blindelings kookt. Hij kan een gerecht maken, maar hij weet niet of het te zout is voor de ene klant en te mild voor de andere.

Het gebrek aan controle: Bestaande systemen konden geen meerkeuzevragen maken (zoals A, B, C of D), wat de standaard is in het onderwijs.
Het gebrek aan precisie: Ze konden niet precies zeggen: "Maak een vraag die net iets moeilijker is dan de vorige."

2. De Oplossing: Een "Proeflezer" met een Geheugen

De auteurs hebben een nieuw systeem bedacht dat werkt met een heel krachtig taalmodel (een soort super-intelligente robot die tekst begrijpt, genaamd Llama 3.1). Maar de echte truc zit in hoe ze deze robot trainen.

Ze gebruiken een techniek die DPO (Direct Preference Optimization) heet. Laten we dat vergelijken met het trainen van een hond:

De oude manier (SFT): Je zegt tegen de hond: "Doe alsof je een vraag maakt." De hond doet het, en je zegt: "Goed zo!" als hij het doet. Maar de hond weet niet precies waarom het goed was of hoe moeilijk het moet zijn.
De nieuwe manier (DPO): Je geeft de hond twee opties.
- Optie A: Een vraag die te makkelijk is voor het gevraagde niveau.
- Optie B: Een vraag die perfect past bij het gevraagde niveau.
- Je zegt: "Ik kies Optie B."
- Door duizenden keren te vergelijken welke vraag beter past bij het gewenste niveau, leert de robot precies wat "moeilijk" en "makkelijk" betekent. Het is alsof je de robot een "gevoel" voor moeilijkheidsgraad geeft.

3. Hoe meten ze of het werkt? (De "Virtual Pupils")

Hoe weet je of de computer een vraag echt moeilijk of makkelijk heeft gemaakt? Je kunt niet elke keer duizenden echte leerlingen vragen om het te proberen (dat kost te veel tijd).

Dus hebben de auteurs een slimme truc bedacht:
Ze hebben 77 verschillende computerprogramma's gemaakt die allemaal een ander "niveauniveau" hebben. Sommige zijn heel dom (zoals een peuter), andere zijn slim (zoals een universiteitsstudent).

Als de computer een vraag maakt en al die 77 programma's kunnen het makkelijk beantwoorden, dan is de vraag makkelijk.
Als alleen de slimste programma's het kunnen, dan is de vraag moeilijk.

Zo kunnen ze de "moeilijkheidsgraad" van elke vraag precies meten, net als een thermometer.

4. Wat hebben ze ontdekt?

De resultaten waren indrukwekkend:

Precisie: De nieuwe methode (met DPO) maakte vragen die veel dichter bij het gewenste niveau zaten dan de oude methode. Als je vroeg om een "moeilijke" vraag, kreeg je een moeilijke vraag. Vroeger was het vaak een willekeurige mix.
Kwaliteit: De vragen waren niet alleen goed qua niveau, ze waren ook grammaticaal correct, hadden betrekking op de tekst en hadden één duidelijk goed antwoord. De robot werd niet "dommer" door de training; hij werd juist slimmer.
Geen "Korte Kruimels": Ze hebben ook gekeken of je de robot gewoon een paar voorbeelden kon geven (zodat hij het zelf kon raden, zonder training). Dat werkte niet. De robot had echt de "training" nodig om het niveau goed te beheersen.

5. Waarom is dit belangrijk?

Stel je een adaptief leersysteem voor. Dit is een digitale tutor die meebeweegt met de leerling.

Als een leerling een vraag goed beantwoordt, geeft het systeem direct een iets moeilijkere vraag.
Als hij/zij faalt, geeft het systeem een iets makkelijker vraag.

Met deze nieuwe methode kan zo'n systeem perfect werken. Het zorgt ervoor dat elke leerling altijd op het juiste niveau wordt uitgedaagd, wat het leren veel efficiënter en leuker maakt.

Kortom: De auteurs hebben een manier gevonden om computers te leren precies de juiste moeilijkheidsgraad van een toetsvraag te "voelen", zodat elk kind in de klas de perfecte uitdaging krijgt.

Probleemstelling

Automatische vraaggeneratie (Question Generation - QG) voor leesbegrip is een fundamenteel hulpmiddel voor adaptief leren. Hoewel er reeds methoden zijn ontwikkeld om de moeilijkheidsgraad van gegenereerde vragen te controleren, lijden bestaande benaderingen aan twee belangrijke beperkingen:

Beperking in vraagtype: Bestaande methoden genereren voornamelijk vragen met extractieve antwoorden (waarbij een woordreeks uit de tekst moet worden geselecteerd). Ze kunnen geen meerkeuzevragen (multiple-choice questions) genereren, wat het meest gebruikte vraagtype in educatieve contexten is.
Suboptimale controle van moeilijkheidsgraad: Conventionele methoden trainen neurale modellen door de conditionele waarschijnlijkheid van de vraagtekst te maximaliseren (Supervised Fine-Tuning - SFT). Ze zijn echter niet expliciet geoptimaliseerd voor de nauwkeurigheid van de moeilijkheidsgraad-controle. Dit leidt tot een discrepantie tussen de opgegeven moeilijkheidsgraad en de daadwerkelijke moeilijkheid van de gegenereerde vraag.

Methodologie

De auteurs stellen een nieuwe methode voor om meerkeuzevragen te genereren met een nauwkeurig controleerbare moeilijkheidsgraad, gebaseerd op een Large Language Model (LLM) en Direct Preference Optimization (DPO).

1. Datapreparatie en Moeilijkheidsgraadsschatting:

Omdat bestaande datasets (zoals RACE) geen moeilijkheidsniveaus bevatten, wordt een dataset geconstrueerd met geschatte moeilijkheidsniveaus.
Er worden meerdere QA-systemen (Question Answering) opgezet met variërende niveaus van vaardigheid, gebaseerd op verschillende pre-getrainde transformer-modellen (bijv. BERT, RoBERTa, ALBERT) en variërende hoeveelheden trainingsdata.
Met behulp van de Item Response Theory (IRT), specifiek het Rasch-model, worden de antwoorden van deze QA-systemen gebruikt om de moeilijkheidsparameter ( $b$ ) van elke vraag te schatten. Hierdoor ontstaat een dataset bestaande uit (leestekst, vraag, correct antwoord, distractors, geschatte moeilijkheidsgraad).

2. Modelarchitectuur en Training:
Het voorgestelde model is gebaseerd op Llama 3.1 en ondergaat een tweestaps trainingsproces:

Stap 1: Initial Fine-Tuning (SFT): Het model wordt eerst getraind via Supervised Fine-Tuning om de likelihood van de output (vraag + 4 opties) te maximaliseren gegeven een input (leestekst + gewenste moeilijkheidsgraad). Dit levert een basismodel op ( $QG_{sft}$ ).
Stap 2: Direct Preference Optimization (DPO): Om de nauwkeurigheid van de moeilijkheidscontrole te verbeteren, wordt DPO toegepast. In tegenstelling tot Reinforcement Learning from Human Feedback (RLHF), dat computatie-intensief is, is DPO een efficiëntere methode die RLHF benadert zonder het noodzakelijke reward-model.
- Voor DPO wordt een voorkeursdataset ( $D_{dpo}$ ) gemaakt waarbij voor elke input een "goede" output (de vraag die het dichtst bij de gewenste moeilijkheidsgraad ligt) en een "slechte" output (een willekeurige vraag voor dezelfde tekst) worden gedefinieerd.
- Het model wordt geoptimaliseerd om de kans op de "goede" output te vergroten ten opzichte van de "slechte" output, waarbij de reward-functie gebaseerd is op de kwadratische fout tussen de opgegeven moeilijkheidsgraad en de geschatte moeilijkheidsgraad van de gegenereerde vraag.

Belangrijkste Bijdragen

Generatie van Meerkeuzevragen: De eerste methode die specifiek is ontworpen om volledige meerkeuzevragen (vraagtekst + correct antwoord + 3 distractors) te genereren met een controleerbare moeilijkheidsgraad.
Toepassing van DPO voor Educatieve Doeleinden: Het introduceren van Direct Preference Optimization om de nauwkeurigheid van de moeilijkheidscontrole expliciet te maximaliseren, in plaats van alleen de tekstuele kwaliteit.
Validatie van Moeilijkheidscontrole: Het aantonen dat DPO leidt tot een significant betere correlatie tussen de opgegeven en de daadwerkelijke moeilijkheidsgraad vergeleken met alleen SFT.

Resultaten

De methode werd geëvalueerd met het RACE-dataset (87.866 training instances). De resultaten tonen aan:

Nauwkeurigheid Moeilijkheidscontrole: Het model met DPO ( $QG_{dpo}$ ) volgt de theoretische verwachting (Rasch-model) aanzienlijk nauwkeuriger dan het model zonder DPO ( $QG_{sft}$ ). De gemiddelde absolute fout (MAE) tussen de geschatte en opgegeven moeilijkheidsgraad daalde van 1.41 ( $QG_{sft}$ ) naar 1.07 ( $QG_{dpo}$ ).
Fisher Informatie: Vragen gegenereerd door $QG_{dpo}$ hebben een hogere Fisher-informatie bij de doelgerichte vaardigheidsniveaus. Dit betekent dat deze vragen effectiever zijn voor het schatten van de vaardigheid van een leerling in een adaptief testsysteem.
Kwaliteit van Vragen: Evaluatie via "LLM-as-a-Judge" (met GPT-4.1 mini) toonde aan dat de toepassing van DPO geen negatief effect heeft op de vlotheid, relevantie van de inhoud of de beantwoordbaarheid van de vragen.
Vergelijking met Few-Shot Learning: Een experiment met Few-Shot Learning (prompten met voorbeelden) faalde volledig in het controleren van de moeilijkheidsgraad, wat de noodzaak van het voorgestelde trainingsproces onderstreept.
Redeneringstypen: Er werd een positieve correlatie gevonden tussen de gespecificeerde moeilijkheidsgraad en de complexiteit van het redeneringstype (van "woordmatching" naar "meerdere-zin redenering"), wat sterker was bij het DPO-model.

Betekenis en Toekomstperspectief

Deze studie is significant voor het veld van adaptief leren en adaptief toetsen. Door nauwkeurig de moeilijkheidsgraad van meerkeuzevragen te kunnen sturen, kunnen systemen vragen genereren die perfect aansluiten bij het huidige vaardigheidsniveau van een leerling (bijv. vragen waarbij de kans op een correct antwoord 50% is, wat optimaal is voor leren).

Beperkingen en toekomstig werk:

Antwoordbaarheid: Hoewel de kwaliteit goed is, blijft de "antwoordbaarheid" (dat er precies één correct antwoord is) een uitdaging. Toekomstig werk zal kijken naar het gebruik van externe LLM's als feedback-lus voor DPO om dit te verbeteren.
Data-afhankelijkheid: De methode vereist een grote dataset. De auteurs onderzoeken data-augmentatie om de methode toepasbaar te maken in data-schaarse educatieve settings.
Educatieve Impact: Verdere studies zijn nodig om de daadwerkelijke educatieve voordelen te meten in live adaptieve QG-systemen.

Samenvattend biedt dit paper een robuust kader voor het genereren van gepersonaliseerde, educatief waardevolle meerkeuzevragen door de kracht van LLM's te combineren met geavanceerde optimalisatietechnieken (DPO) en psychometrische theorie (IRT).