💻 computer science

A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems

Deze paper introduceert een multi-agent framework dat LLM-genereren van gepersonaliseerde wiskundeproblemen verbetert door een iteratief proces van genereren, valideren en herzien, wat aanzienlijk de authenticiteit en realisme van de problemen verhoogt.

Oorspronkelijke auteurs: Fareya Ikram, Nischal Ashok Kumar, Junyang Lu, Hunter McNichols, Candace Walkington, Neil Heffernan, Andrew S. Lan

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fareya Ikram, Nischal Ashok Kumar, Junyang Lu, Hunter McNichols, Candace Walkington, Neil Heffernan, Andrew S. Lan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wiskundeleraar bent die 30 leerlingen in zijn klas heeft. Elke leerling is uniek: de één is gek op basketbal, de ander op TikTok, en weer een ander op Mario Kart. Om de leerlingen gemotiveerd te houden, zou het fantastisch zijn als elke wiskundetaak in hun eigen wereldje paste.

Vroeger was dit een droom die nooit uitkwam. Het zou een leraar uren kosten om voor 30 kinderen 30 verschillende versies van dezelfde som te schrijven.

Nu hebben we Kunstmatige Intelligentie (AI), of specifieker: Grote Taalmodellen (LLMs). Die kunnen in een flits 30 verschillende versies maken. Maar hier zit een addertje onder het gras: deze AI is soms een beetje als een dromerige schrijver die niet goed naar de realiteit kijkt.

Het Probleem: De "Dromerige Schrijver"

Als je de AI vraagt om een som over basketbal te maken, kan het gebeuren dat:

De cijfers onrealistisch zijn: "Een basketbalworp kost $100." (Nee, dat is te duur).
De context raar is: De AI gebruikt termen die een 12-jarige niet begrijpt of die niet kloppen met de sport.
De som fout is: De AI bedenkt een verhaal, maar de wiskunde klopt er niet bij.
De taal te moeilijk is: De tekst is net zo lang en ingewikkeld als een juridisch contract.

De AI probeert het goed te doen, maar ze maakt vaak fouten omdat ze niet echt weet hoe de wereld werkt of wat een kind leuk vindt.

De Oplossing: Een Team van Specialisten

In dit onderzoek hebben de auteurs een slimme oplossing bedacht. In plaats van één AI te laten werken, hebben ze een team van vier specialisten (een "Multi-Agent" systeem) ingezet.

Stel je dit voor als een productie-crew voor een film:

De Regisseur (Converter): Deze AI neemt de originele, saaie wiskundetaak en herschrijft het verhaal naar het onderwerp van de leerling (bijv. basketbal).
De Vier Controleurs (Validators): Voordat de film de bioscoop in gaat, wordt hij gekeurd door vier strenge inspecteurs:
- De Realist: "Wacht even, een basketbal van 7 centimeter is te klein! Dat moet 7 voet zijn."
- De Taalexpert: "Deze zin is te lang en te moeilijk voor een 12-jarige. Maak het korter."
- De Wiskundige: "Als je dit verhaal vertelt, klopt het antwoord niet. De som is fout."
- De Authenticiteits-Checker: "Gebruik je termen die een tiener echt kent? Of klinkt dit als iets wat een ouder uit de jaren '90 zou zeggen?"

Hoe werkt het? (Het Iteratieve Proces)

Als de Regisseur een versie maakt, sturen de vier Controleurs deze terug met opmerkingen.

Als de Realist zegt: "Te klein!", dan moet de Regisseur het herschrijven.
Dan kijkt de Wiskundige weer: "Klopt de som nu?"
Dit proces herhaalt zich totdat alles perfect is.

De auteurs hebben drie manieren getest om deze feedback te verwerken:

De Centrale Manager: Alle vier de controleurs gooien hun opmerkingen in één grote stapel. De Regisseur moet alles tegelijk proberen op te lossen. (Soms vergeten ze hierdoor details).
De Centrale Manager met Plan: De Manager maakt eerst een lijstje met prioriteiten. "Eerst de wiskunde fixen, dan de taal." (Dit werkt vaak goed voor eerlijkheid).
De Gespecialiseerde Teamleden: Elke controleur heeft zijn eigen 'reparateur'. De Realist praat alleen met zijn eigen reparateur, de Taalexpert met de zijne. Ze werken één voor één. (Dit werkt vaak het snelst voor realisme).

Wat vonden ze?

De grootste fouten: De AI begon vaak met onrealistische situaties en contexten die niet echt voelden voor kinderen.
De oplossing werkt: Na slechts één ronde van controleren en herschrijven, waren de meeste fouten al verdwenen.
De beste strategie: Het hangt af van wat je wilt. Wil je snel realisme? Gebruik het gespecialiseerde team. Wil je eerlijke context? Gebruik de manager met een plan.
Moeilijkste punt: De "Authenticiteit" (wat voelt echt voor een kind?) is het lastigst. Zelfs de AI-specialisten waren het hier niet altijd over eens. Soms dachten ze dat iets wel klopte, terwijl een mens dacht: "Nee, dat is niet hoe dat werkt."

Conclusie

Deze studie laat zien dat AI geweldig is om wiskundetaakjes voor kinderen te personaliseren, maar dat we niet blindelings moeten vertrouwen op wat de AI direct produceert.

Het is alsof je een robot vraagt om een gerecht te koken. De robot kan de ingrediënten mengen, maar hij heeft een kwaliteitscontrole-team nodig om te zeggen: "Nee, dat is te zout" of "Die groente is nog rauw". Met dit team van specialisten kunnen we wiskundetaakjes maken die niet alleen correct zijn, maar ook echt leuk en begrijpelijk voor elke leerling.

Probleemstelling

Het personaliseren van wiskundeproblemen aan de hand van de interesses van leerlingen (contextpersonalisatie) kan de betrokkenheid en leerresultaten verbeteren. Hoewel Large Language Models (LLMs) beloven om dit op grote schaal te automatiseren, vertonen door LLM's gegenereerde problemen vaak ernstige tekortkomingen:

Wiskundige inconsistentie: Ongeldige oplossingen of tegenstrijdige hoeveelheden.
Irrealisme: Onrealistische getallen of scenario's die in strijd zijn met de echte wereld (bijv. een fles water die $100 kost).
Gebrek aan authenticiteit: De context sluit niet aan bij de echte ervaringen of interesses van de leerlingen (bijv. verouderde popcultuurverwijzingen).
Leesbaarheid: De taal is vaak te complex voor de beoogde leesniveau van de leerling.

Bestaande methoden, zoals Self-Refine, gebruiken vaak ongedifferentieerde zelf-feedback en missen de noodzakelijke, domeinspecifieke controle om deze veelzijdige beperkingen tegelijkertijd te balanceren.

Methodologie

De auteurs stellen een multi-agent framework voor dat personalisatie formaliseert als een iteratief proces van genereren – valideren – herzien. Het systeem bestaat uit de volgende componenten:

Conversion Agent: Genereert een eerste kandidaat-probleem ( $\hat{p}$ ) op basis van een origineel probleem ( $p$ ), een doelonderwerp ( $t$ ) en een leesniveau. Deze agent probeert de wiskundige structuur te behouden terwijl de context wordt aangepast.
Vier Gespecialiseerde Validator Agents: Elke agent controleert het probleem op een specifiek criterium en geeft een binair oordeel (pass/fail) met diagnostische feedback:
- Solvability: Controleert wiskundige consistentie en geldigheid van het antwoord.
- Realism: Controleert of eenheden, getallen en contextplausibel zijn binnen het gekozen onderwerp.
- Readability: Controleert of de taalcomplexiteit overeenkomt met het beoogde leesniveau (Flesch-Kincaid).
- Authenticity: Controleert of de context leeftijdsappropriaat en relateerbaar is voor middelbare scholieren.
Refinement Agents: Gebruiken de feedback van de validators om het probleem te herzien.

De auteurs vergelijken drie strategieën voor het coördineren van deze feedback:

Centralized Refinement: Feedback van alle falende validators wordt samengevoegd tot één bericht en één refinement-agent maakt een nieuwe versie.
Centralized Refinement with Planning: Een "planning agent" structureert de geaggregeerde feedback in een prioriteitslijst (bijv. eerst wiskundige correctheid, dan stijl) voordat de refinement-agent handelt.
Decentralized Refinement: Elke validator is gekoppeld aan een specifieke refinement-agent. Als een validator faalt, wordt de bijbehorende agent geactiveerd om alleen dat specifieke probleem op te lossen, in een vaste volgorde van prioriteit (Correctheid $\rightarrow$ Realisme $\rightarrow$ Authenticiteit $\rightarrow$ Leesbaarheid).

Experimentele Opzet

Dataset: 600 wiskundeproblemen van het platform ASSISTments.
Doel: Personalisatie naar 20 vaste student-interesses (o.a. sport, entertainment, media).
Model: GPT-5.2 (temperatuur 0) voor deterministische output.
Validatie: Kwantitatieve analyse van het aantal fouten over 3 iteraties en een menselijke evaluatie van de betrouwbaarheid van de validators.

Belangrijkste Resultaten

Prevalentie van Fouten: In de initiële (Zero-Shot) gegenereerde problemen zijn authenticiteit en realisme de meest voorkomende fouten. Wiskundige fouten (solvability) zijn zeldzamer.
Effectiviteit van Iteratie: Een enkele iteratie van het genereren-valideren-herzien-proces reduceert de fouten aanzienlijk. Verdere iteraties leveren slechts marginale verbeteringen op.
Vergelijking van Strategieën:
- Decentralized Refinement convergeert het snelst voor realisme en leesbaarheid. Omdat elke agent zich op één criterium focust, worden lokale correcties efficiënter uitgevoerd zonder interferentie van andere beperkingen.
- Centralized Refinement with Planning presteert het beste voor authenticiteit. Authenticiteit lijkt een meer globaal en samenhangend criterium te zijn dat baat heeft bij een gestructureerd, holistisch plan in plaats van gefragmenteerde, lokale correcties.
Betrouwbaarheid van Validators (Menselijke Evaluatie):
- De validators voor realisme en leesbaarheid tonen een "redelijke" overeenstemming met menselijke beoordelaars (Cohen's $\kappa$ respectievelijk 0.322 en 0.281).
- De validator voor authenticiteit heeft een lage betrouwbaarheid ( $\kappa = 0.133$ ). Dit komt door de subjectiviteit van authenticiteit en het gebrek aan specifieke domeinkennis bij het model (bijv. kennis over baseball-innings of popcultuurreferenties). Menselijke beoordelaars oordelen hier vaak anders dan het model.

Bijdragen en Significantie

Framework voor Kwaliteitsborging: Het paper introduceert een robuust multi-agent systeem dat specifiek is ontworpen om de complexe, vaak tegenstrijdige eisen van educatieve personalisatie te hanteren.
Inzicht in Strategie-Trade-offs: Het onderzoek toont aan dat er geen "one-size-fits-all" strategie is. De keuze voor een centralisatie- of decentralisatie-strategie hangt af van het specifieke kwaliteitscriterium dat het meest kritiek is (lokaal vs. globaal).
Kritische Evaluatie van LLM's: Het paper benadrukt dat LLM's weliswaar goed zijn in wiskundige consistentie, maar dat menselijke of gespecialiseerde validatie essentieel blijft voor subjectieve criteria zoals authenticiteit.
Toekomstperspectief: De resultaten onderstrepen de noodzaak van evaluatieprotocollen die rekening houden met de persoonlijke kenmerken van leraren en leerlingen, en roepen op tot grootschalige evaluaties met echte onderwijzers en studenten om de impact op leerresultaten te meten.

Kortom, dit werk biedt een praktische route om LLM's in te zetten voor educatieve doeleinden, waarbij de nadruk ligt op iteratieve validatie door gespecialiseerde agenten om de kwaliteit van gepersonaliseerde inhoud te waarborgen.