Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

Technische Samenvatting: ReQUESTA – Een Hybride Multi-Agent Framework voor Cognitief Diverse MCQ-generatie

Probleemstelling
Hoewel Large Language Models (LLMs) automatische generatie van meerkeuzevragen (Multiple-Choice Questions, MCQ's) steeds toegankelijkelijker hebben gemaakt, blijft het een aanzienlijke uitdaging om betrouwbaar items te produceren die voldoen aan gecontroleerde cognitieve eisen. Huidige single-pass prompting-benaderingen hebben vaak moeite om gegenereerde vragen af te stemmen op hogere cognitieve vaardigheden (bijv. inferentie, synthese) en produceren frequent items met inconsistente kwaliteit van distractoren (afleidende antwoorden), een gebrek aan structurele parallelliteit, of een oppervlakkige afstemming op bronteksten. Bestaande hybride benaderingen hebben nog niet betrouwbare controle aangetoond over de cognitieve complexiteit van gegenereerde vragen zonder aanvullende structurele beperkingen. Het kernprobleem dat wordt aangepakt, is hoe men verder kan gaan dan monolithische, single-pass generatie om een systeem te creëren dat systematisch specifieke cognitieve niveaus (tekstgebaseerde herinnering, inferentiële redenering en synthese van de hoofdgedachte) kan targeten, terwijl de psychometrische en pedagogische kwaliteit hoog blijft.

Methodologie: Het ReQUESTA Framework
De auteurs introduceren ReQUESTA (Reading Question-generation Using Educational Smart Text Agents), een hybride, multi-agent framework ontworpen om MCQ-generatie te orkestreren door middel van een gecoördineerde sequentie van door LLM's aangedreven agents en regelgebaseerde componenten. In plaats van enkel te vertrouwen op modelschaling, deelt ReQUESTA het auteursproces op in gespecialiseerde subtaken om controleerbaarheid en betrouwbaarheid te waarborgen.

• Architectuur en Workflow:

  • Preprocessor (Regelgebaseerd): Segmenteert de invoertekst in coherente, beheersbare eenheden met behulp van zin-niveau parsing.
  • Planner (LLM-aangedreven): Analyseert segmenten om kernconcepten, impliciete inferenties en centrale thema's te identificeren. Het genereert een gestructureerd plan (intermediaire representatie) waarin wordt gespecificeerd welke segmenten en elementen zullen worden gebruikt voor verschillende vraagtypen (tekstgebaseerd, inferentieel, hoofdgedachte).
  • Controller (Regelgebaseerd): Interpreteert de output van de Planner en orkestreert de taakuitvoering door specifieke tekstsegmenten en cognitieve targets toe te wijzen aan de juiste generator-agents.
  • Vraaggeneratoren (LLM-aangedreven): Drie gespecialiseerde agents genereren vragen op basis van de constraints van de Planner:
    1. Tekstgebaseerd: Richt zich op expliciete feiten.
    2. Inferentieel: Richt zich op relaties die integratie van informatie vereisen.
    3. Hoofdgedachte: Richt zich op overkoepelende thema's.
  • Evaluator (LLM-aangedreven): Beoordeelt gegenereerde items aan de hand van een checklist (helderheid, overeenstemming tussen stem en antwoord, plausibiliteit van distractoren). Items die niet aan de criteria voldoen, worden teruggestuurd naar de generator voor iteratieve revisie.
  • Formatter (Regelgebaseerd): Standaardiseert de output door opties te husselen en consistente labeling af te dwingen.
  • Option-Shortening Module: Een post-processing stap die gebruikmaakt van een collaboratief agent-systeem (Syntax Analyzer, Length Determiner, Candidate Generator, Candidate Selector) om lengte-imbalansen tussen distractoren te corrigeren, een veelvoorkomende foutmodus bij LLM-generatie.

• Prompt Engineering Strategieën:
  Het framework gebruikt vier belangrijke strategieën om het gedrag van agents te sturen:

  1. Persona-gebaseerde Prompting: Wint specifieke rollen toe (bijv. "ervaren docent in het hoger onderwijs") om de outputs af te stemmen op beoordelingsnormen.
  2. Chain-of-Thought (CoT): Vereist dat agents tussenliggende redeneerstappen rapporteren, waardoor besluitvormingsprocessen expliciet en inspecteerbaar worden.
  3. Few-shot Prompting: Biedt voorbeelden van effectieve versus ineffectieve outputs (bijv. voor het inkorten van opties) om stilistische beperkingen te kalibreren.
  4. Zelfkritiek: Agents worden geprompt om hun eigen outputs te beoordelen op veelvoorkomende zwakheden (ambiguïteit, misalignement) voordat externe evaluatie plaatsvindt.

• Experimenteel Ontwerp:
  Het framework werd geëvalueerd tegenover een GPT-5 zero-shot baseline (single-pass prompting) met behulp van 20 academische expositorische passages uit OpenStax tekstboeken.

  • Deelnemers: 572 volwassenen geworven via Prolific.
  • Taak: Deelnemers lazen passages en beantwoordden 5 MCQs per passage (2 tekstgebaseerd, 2 inferentieel, 1 hoofdgedachte).
  • Condities: Within-participant design waarbij deelnemers items beantwoordden die ofwel door ReQUESTA of door de GPT-5 baseline waren gegenereerd.
  • Metrieken:
    • Psychometrisch: Item moeilijkheidsgraad ($p$), discriminatie ($D$) en punt-biseriale correlatie ($r_{pb}$) geanalyseerd via Classical Test Theory en mixed-effects logistische regressie.
    • Expert Evaluatie: Twee expert-raters beoordeelden 200 items (100 per methode) op basis van een rubric die dekking biedt aan correctheid van het antwoord, incorrectheid van de distractor, relevantie van het onderwerp, schrijfhelderheid en kwaliteit van de distractor (linguïstische kenmerken, semantische plausibiliteit, uniciteit).

Belangrijkste Resultaten

1. Psychometrische Prestaties: Door ReQUESTA gegenereerde items waren consistent uitdagender en discriminatiever dan de GPT-5 baseline.

   • Moeilijkheidsgraad: ReQUESTA-items hadden een lagere gemiddelde moeilijkheidsindex ($M = 0,786$) vergeleken met GPT-5 ($M = 0,902$), wat aangeeft dat ze moeilijker waren voor lezers.
   • Discriminatie: ReQUESTA-items vertoonden een significant hogere discriminatie ($M = 0,39$ vs. $0,17$), wat beter onderscheid maakte tussen hoog- en laagpresterende lezers.
   • Alignment: ReQUESTA-items vertoonden sterkere punt-biseriale correlaties met de totale testscores ($M = 0,323$ vs. $0,275$), wat duidt op een betere afstemming met het algemene leesbegrip.
   • Regressieanalyse: Mixed-effects modellen bevestigden dat de bron van de vraag (ReQUESTA) een significante voorspeller was van lagere accuratesse ($\beta = -1,277, p < ,001$), waarbij het type vraag en vocabulaire constant werden gehouden.

2. Expert Evaluatie:

   • Onderwerp Relevantie: ReQUESTA-items werden significant hoger beoordeeld voor afstemming met centrale concepten ($p < ,05$).
   • Distractor Kwaliteit: ReQUESTA presteerde beter dan de baseline op het gebied van linguïstische kenmerken van distractoren (consistentie in lengte/structuur) en semantische plausibiliteit van distractoren (redelijkheid voor lezers die de kern misten), met name voor inferentiële vragen.
   • Schrijfhelderheid: De GPT-5 baseline kreeg hogere scores voor schrijfhelderheid ($p < ,001$), wat suggereert dat er een trade-off is waarbij de focus van ReQUESTA op cognitieve strengheid en complexe distractoren soms resulteerde in iets minder beknopte stems of opties.
   • Correctheid: Beide methoden behaalden bijna perfecte scores voor de correctheid van het antwoord en de incorrectheid van de distractoren.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen aan het veld van LLM-gebaseerde generatiesystemen:

1. Workflow Design boven Model Scaling: De studie demonstreert dat betekenlijke verbeteringen in automatische MCQ-generatie kunnen worden bereikt door workflow en orchestratie design in plaats door het schalen van modelparameters. Door de onderliggende LLM (GPT-5) constant te houden en een gestructureerde coördinatie te introduceren over planning, generatie, evaluatie en revisie, bereikte ReQUESTA superieure resultaten vergeleken met een single-pass baseline.
2. Controleerbaar Generatie Framework: ReQUESTA stelt een hybride architectuur voor die de expressieve kracht van LLM's combineert met de betrouwbaarheid van deterministische, regelgebaseerde verwerking. Door de grenzen van agents, taakspecialisatie en iteratieve feedbackloops expliciet te ontwerpen, reguleert het systeem de redeneereisen en structurele beperkingen van gegenereerde artefacten, waarmee de beperkingen van monolithische prompting worden overstegen.
3. Evaluatiepraktijk: De studie verbetert de evaluatiepraktijken voor gestructureerde generatiesystemen door gebruik te maken van functionele uitkomstmaten (bijv. item moeilijkheid, discriminatie, distractor plausibiliteit) in plaats van uitsluitend te vertround op oppervlakkige indicatoren zoals grammaticaal correctheid.

Conclusie
De auteurs concluderen dat agentic orchestratie de betrouwbaarheid en controleerbaarheid van LLM-gebaseerde generatie systematisch kan verbeteren. ReQUESTA illustreert dat het opdelen van complexe taken in auditeerbare tussenstappen en het afdwingen van constraints door middel van herhaalde controles, meer betrouwbare, cognitief diverse en pedagogisch afgestemde artefacten oplevert dan single-pass prompting. Het framework positioneert zich als een volwassen, evaluatiegestuurde aanpak voor automatische beoordelingsgeneratie, waarbij benadrukt wordt dat het ontwerp van de generatieworkflow een cruciale hefboom is voor gestructureerde artefactgeneratie.