Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact

Deze studie toont aan dat grote taalmodellen, ondanks hun hoge prestaties op benchmarks, vaak slecht of zelfs negatief zijn afgestemd op onderwijsresultaten, waarbij gedeelde vooroordelen uit het pre-trainingproces leiden tot een misalignement dat zelfs door ensemble-methoden wordt verergerd.

De kern

Titel: Slimme Robots, Dwaalende Leraren: Waarom AI nog niet klaar is voor de klas

Stel je voor dat je een groep van 16 superslimme robots hebt. Deze robots hebben de hele internet geschiedenis, boeken en kranten gelezen. Ze kunnen alles opzoeken, prachtige zinnen schrijven en lijken enorm slim. Ze zijn de "kennis" in het uiterste.

Maar wat als je ze vraagt om te oordelen over iets heel menselijks: hoe goed een leraar een klas van 8-jarigen les geeft?

Dat is precies wat deze studie van onderzoekers van Stanford heeft gedaan. En het resultaat is een beetje als een waarschuwing: Deze robots hebben veel kennis, maar ze missen de wijsheid.

Hier is het verhaal, vertaald in simpele taal en met een paar creatieve vergelijkingen.

1. De "Kennis" vs. "Wijsheid" Kwestie

De onderzoekers gebruiken een mooie metafoor uit de filosofie:

• Kennis is het kunnen opnoemen van feiten (zoals een robot die alle regels van wiskunde kent).
• Wijsheid is het begrijpen van waarom iets werkt en wat het effect is op een mens (zoals een ervaren leraar die voelt dat een kind verward is en anders moet uitleggen).

De robots zijn experts in kennis. Ze kunnen een lesoverdracht lezen en zeggen: "Ah, hier gebruikt de leraar de juiste wiskundetermen!" Maar ze falen volledig in wijsheid. Ze weten niet of die les daadwerkelijk helpt de kinderen iets te leren.

2. De Grote "Kloof" (De Mismatch)

De onderzoekers gaven de robots transcripties van echte wiskundeklassen (4e en 5e klas in de VS). Ze vroegen de robots om de kwaliteit van de les te beoordelen, net als menselijke experts.

Het verrassende resultaat:

• De robots waren het onderling het meest eens. Ze dachten allemaal precies hetzelfde.
• Maar hun oordeel had weinig tot niets te maken met wat de echte menselijke experts zeiden.
• En het ergste: hun oordeel had zelfs een negatief verband met het echte resultaat: de leeropbrengst van de kinderen.

De Metafoor:
Stel je voor dat je een groep foodcritici hebt die nog nooit een maaltijd hebben gegeten, maar wel alle kookboeken hebben gelezen. Als ze een gerecht beoordelen, zeggen ze allemaal: "Dit ziet er perfect uit, de kruiden zijn correct!"
Maar als je de gasten vraagt of ze het lekker vonden, blijken de gerechten die de critici een 10 gaven, juist vies te smaken. De critici (de AI) oordelen op basis van hoe het eruit ziet (de tekst), niet op basis van de smaak (het leren van de kinderen).

3. Waarom doen ze dit? (De "Gemeenschappelijke Bijscholing")

Waarom denken alle robots hetzelfde, terwijl ze zo fout zitten?
Omdat ze allemaal op dezelfde manier zijn getraind: met dezelfde enorme hoeveelheden internetdata. Ze hebben een gemeenschappelijke "vooroordeel" ontwikkeld. Ze hebben geleerd hoe een "goede les" er moet uitzien in een boek, maar niet hoe het eruit ziet in de chaotische, echte wereld van een klaslokaal.

Het is alsof je 16 mensen die alleen maar films hebben gezien, vraagt om een echte voetbalwedstrijd te beoordelen. Ze zullen allemaal zeggen dat de spelers "eruit zien alsof ze winnen", maar ze snappen niet dat de bal in het net is gegaan.

4. Het "Groepsdenk" (Ensembling) werkt niet

Je zou denken: "Oké, laten we de antwoorden van alle robots samenvoegen. Als ze het allemaal eens zijn, moet het wel waar zijn!"
De onderzoekers probeerden dit ook. Ze maakten een "super-robot" door de stemmen van alle andere robots te combineren.

Het resultaat: Dit werd erger.
De "super-robot" was nog zekerder van zijn fouten. Het was alsof je een groep mensen die allemaal in de verkeerde richting lopen, samenbindt; ze lopen dan nog sneller in de verkeerde richting. Het consensus-gevoel gaf hen een vals gevoel van zekerheid.

5. Wat betekent dit voor de toekomst?

De studie concludeert dat we AI niet zomaar kunnen gebruiken om te beoordelen of leraren goed lesgeven, of om lesmateriaal te maken dat echt werkt.

• Het probleem is diep: Het zit niet in de "prompt" (de vraag die je stelt) of in het kiezen van een ander model. Het zit in de manier waarop deze AI's zijn opgeleid. Ze zijn getraind op data die niet bestaat voor echte klaslokalen (want dat is privé en beschermd).
• Het gevaar: Als scholen AI gaan gebruiken om leraren te beoordelen of om lesplannen te maken, kunnen ze per ongeluk slechte praktijken belonen en goede praktijken straffen. Het zou kunnen leiden tot een situatie waarin leraren "klinken" als goede leraren (voor de robot), maar de kinderen niets leren.

De Les voor ons allemaal

De titel van het paper is "Knowledge without Wisdom" (Kennis zonder Wijsheid).
De robots hebben de kennis van de hele wereld, maar ze missen de wijsheid om te begrijpen wat echt belangrijk is voor een kind dat leert.

Conclusie:
We moeten oppassen met het vertrouwen op AI in het onderwijs. Het is een geweldig hulpmiddel om feiten te vinden of teksten te schrijven, maar het is nog geen vervanging voor de menselijke wijsheid die nodig is om te begrijpen hoe kinderen leren. We moeten niet kijken naar hoe "slim" de robot klinkt, maar naar of het daadwerkelijk helpt de kinderen te groeien. En tot nu toe? Dat doet het niet.

Technische samenvatting

Titel: Kennis zonder Wijsheid: Het Meten van Misalignatie tussen LLM's en Beoogde Impact

Auteurs: Michael Hardy en Yunsung Kim (Stanford University)
Publicatiedatum: Maart 2026 (arXiv)

---

1. Het Probleem

Grote Taalmodellen (LLMs) presteren steeds beter op standaard AI-benchmarks (zoals MMLU of GPQA), maar deze prestaties garanderen niet dat ze effectief zijn in complexe, real-world downstream-taken, zoals het evalueren van onderwijskwaliteit.

De kernproblematiek is de misalignatie (niet-overeenkomst) tussen:

1. De "kennis" die modellen tonen (het kunnen reproduceren van pedagogische taal en concepten).
2. De "wijsheid" die nodig is om te beoordelen wat daadwerkelijk leidt tot leerresultaten bij leerlingen.

De auteurs stellen dat LLM's, getraind op internetdata, een gedeelde bias vertonen die slecht aansluit bij de werkelijke impact van lesgeven op studentleerresultaten. In het onderwijs is de "bedoelde impact" (studentleerresultaten) vaak vertraagd en moeilijk te meten, terwijl modellen vaak worden getest op proxy-maatstaven (zoals menselijke voorkeur of rubriekconformiteit) die niet noodzakelijk leiden tot betere leeruitkomsten.

2. Methodologie

Het onderzoek gebruikt een rigoureuze, datagedreven aanpak om de prestaties van 16 toonaangevende Foundation Models (FMs) te evalueren in een Out-of-Distribution (OOD) setting: transcripten van wiskundelessen in Amerikaanse basisscholen (4e en 5e klas).

Data:

• Gebruik van het NCTE Main Study dataset (National Center for Teacher Effectiveness).
• Input: Anoniem gemaakte transcripten van videorecords van klaslokaalgesprekken.
• Referentiepunten (Ground Truth):
  1. Expert Menselijke Ratings: Beoordelingen door gespecialiseerde menselijke raters (gebruikmakend van MQI en CLASS instrumenten) voor verschillende dimensies van lesgeven (bijv. remediatie van fouten, klasbeheer).
  2. Beoogde Impact (Value-Added Measures - VAMs): Statistische schattingen van de causale impact van een leraar op de academische groei van leerlingen over een schooljaar. Dit wordt beschouwd als de "gouden standaard" voor effectiviteit.

Experimenteel Ontwerp:

• Taken: De modellen kregen opdracht om ordinaal te scoren op 7 verschillende dimensies van onderwijskwaliteit (bijv. "Remediatie van studentfouten", "Klasbeheer").
• Prompting: Drie verschillende zero-shot prompt-technieken werden gebruikt (basis, Chain-of-Thought, en RAG-achtig met extra rubriekinfo).
• Analyse: In plaats van absolute scores te vergelijken, concentreerde het onderzoek zich op paarsgewijze rangorde-overeenkomst (directional alignment).
  • Kendall's $\tau$: Gemeten om te zien of een model twee lessen in dezelfde volgorde rangschikt als menselijke experts of als de leerresultaten (VAM).
  • dCor2n (Bias Corrected Squared Distance Correlation): Gebruikt om de afhankelijkheid en homogeniteit tussen verschillende modellen te meten.
  • Variantie Decompositie: Een Generalizability Theory-model (Bayesische random effects) om de bronnen van fouten te ontleden (modelkeuze, promptkeuze, interacties, en systematische bias).

3. Belangrijkste Bijdragen

1. Evaluatie op Basis van Uitkomsten: Het is een van de eerste studies die LLM's in het onderwijs evalueert op basis van daadwerkelijke leerresultaten (VAM) in plaats van alleen menselijke voorkeur of benchmark-scores.
2. Kwantificering van de "Proxy Gap": Het demonstreert een systematische disconnectie tussen het aligneren met expert-ratings en het aligneren met leerresultaten.
3. Ensemble-analyse: Het test of ensemble-methoden (stemmen van meerdere modellen of gewogen stemmen op basis van benchmark-prestaties) de misalignatie verhelpen.
4. Structuur van Fouten: Het deconstrueert de misalignatie-error om te bepalen hoeveel daarvan "controleerbaar" is (door model/prompt keuze) versus systemisch (door pre-training).

4. Resultaten

De resultaten tonen een zorgwekkend patroon van misalignatie:

• Gedeelde Bias (Convergentie): Verschillende LLM's vertonen een zeer sterke onderlinge correlatie in hun beoordelingen (hoge inter-model correlatie), veel sterker dan hun correlatie met menselijke experts. Dit suggereert een gedeelde, maar mogelijk verkeerde, heuristiek voor "goed lesgeven" die voortkomt uit de gedeelde pre-training op internetdata.
• Misalignatie met Leerresultaten:
  • Modellen die sterk aligneren met menselijke expert-ratings, aligneren vaak niet met de leerresultaten (VAM).
  • In veel gevallen is er zelfs een negatieve correlatie: modellen die door experts als "hoog" worden beoordeeld, voorspellen soms slechtere leerresultaten.
  • Proxy-alignement (het klinken als een expert) is geen garantie voor impact.
• Ensembles Verergeren het Probleem:
  • Zowel het gebruik van een "unanimous vote" (alle modellen moeten het eens zijn) als "pedagogie-expertise-gewogen ensembles" (modellen wegen zwaarder op basis van benchmark-scores) verergert de misalignatie met leerresultaten.
  • Consensus tussen modellen betekent hier niet correctheid, maar versterking van een gedeelde, defecte bias.
• Beperkte Controle door Ontwikkelaars:
  • De variantie-decompositie toont aan dat de keuze van het model (4,8%) en de prompt (1,0%) slechts een klein deel van de totale misalignatie verklaren.
  • Ongeveer 50% van de variatie in misalignatie is gedeeld over alle foundation modellen. Dit wijst erop dat de misalignatie een structureel kenmerk is van de huidige autoregressieve pre-training en niet opgelost kan worden door simpelweg een ander model te kiezen of prompts te optimaliseren.

5. Betekenis en Conclusie

De studie concludeert dat er een fundamenteel, systemisch probleem is met het toepassen van huidige generatieve AI in het onderwijs, specifiek in hoog-risico, ruisrijke omgevingen zoals klaslokalen.

• Kennis vs. Wijsheid: Modellen hebben de "kennis" van pedagogische termen, maar missen de "wijsheid" om te begrijpen welke praktijken daadwerkelijk leiden tot leerwinst.
• Gevaar voor Educatieve Toepassingen: Het vertrouwen op proxy-benchmarks (zoals menselijke voorkeur of benchmark-scores) kan leiden tot het inzetten van technologieën die schadelijk zijn voor studentleerresultaten.
• Noodzaak voor Fundamentele Verandering: Het probleem ligt niet in de implementatie (prompts of modelkeuze), maar in de architectuur en trainingsdata van de modellen zelf. De auteurs pleiten voor een verschuiving van evaluatie op proxy-maatstaven naar een strenge, evidence-based evaluatie op basis van de uiteindelijke impact op studenten.
• Ethische Implicaties: Het gebruik van AI in het onderwijs kan bestaande ongelijkheden versterken (het "Matthew Effect"), omdat modellen die slecht presteren op echte leerresultaten, toch als "goed" worden bestempeld door hun vermogen om pedagogisch taalgebruik na te bootsen.

Kortom: Huidige Foundation Models zijn systematisch misaligned met de doelen van effectief onderwijs, en deze misalignatie is een structureel gevolg van hun training, niet een tijdelijk gebrek aan tuning.