Small, Private Language Models as Teammates for Educational Assessment Design

Technische Samenvatting: Kleine, Private Taalmodellen als Teamgenoten voor het Ontwerpen van Educatieve Toetsen

Probleemstelling
Hoewel Large Language Models (LLM's) hun bekwaamheid hebben bewezen bij het genereren van educatieve toetsvragen die aansluiten bij pedagogische kaders zoals Bloom's taxonomie, blijven er aanzienlijke gaten bestaan in hun evaluatie en implementatie. Huidig onderzoek vertrouwt vaak op subjectieve rubrieken, beperkte statistische analyse of propriëtaire cloudgebaseerde modellen, wat zorgen oproept over reproduceerbaarheid, betrouwbaarheid en inzetbaarheid in de praktijk. Bovendien staan educatieve instellingen vaak voor beperkingen op het gebied van gegevensprivacy, kosten en beschikbaarheid van middelen, waardoor het vertrouwen op externe API's problematisch is. Hoewel Small Language Models (SLM's) lokale, privacy-bewarende alternatieven bieden, blijft hun effectiviteit voor taken rond toetsontwerp – specifiek met betrekking tot inhoudelijke validiteit, leesbaarheid en cognitieve uitlijning – onderbelicht. Daarnaast is de betrouwbaarheid van het gebruik van AI-modellen als beoordelaars ("model-as-a-judge") voor gegenereerde inhoud niet goed begrepen, met potentiële vertekeningen en inconsistenties ten opzichte van beoordelingen door menselijke experts.

Methodologie
De studie hanteert een systematische, end-to-end experimentele workflow om frontier-LLM's en lokaal inzetbare SLM's te vergelijken aan de hand van vier Onderzoeksvragen (RQ's).

• Data en Modellen: De studie gebruikte 2.550 vragen uit een eerdere dataset [23] en genereerde 4.080 nieuwe vragen.
  • LLM's (Frontier): GPT-4, GPT-3.5, Palm-2, LLaMA-2, Mistral en Gemini Pro.
  • SLM's (Lokaal/Open-weight): Granite 4, Phi-4 mini, LLaMA 3.2, Mistral Small 3.2, GPT-OSS, Phi-4, Deepseek R1 en Gemma 3.
  • Configuratie: De temperaturen voor generatie en evaluatie werden respectievelijk vastgesteld op 0,8 en 0,0 om directe vergelijkbaarheid te waarborgen.
• Prompt-strategie: Vijf Prompt-structuren (PS) werden gebruikt, variërend van zero-shot generatie in het algemeen (PS1) tot incrementeel specifieke prompts gericht op graduate-niveaus en specifieke demografieën (PS2–PS5), met integratie van systeeminstructies en expliciete aanwijzingen voor niveaus van Bloom's taxonomie.
• Evaluatiemetrics: De studie koppelde elke RQ aan objectieve, reproduceerbare NLP-metrics en statistische toetsing:
  • RQ1 (Cognitieve Complexiteit): Gemeten via de Flesch-Kincaid Grade Level en Flesch Reading Ease scores om tekstcomplexiteit en uitlijning met doelniveaus te beoordelen.
  • RQ2 (Linguïstische Intent): Gemeten via BERTScore (met GTR T5-large embeddings) om semantische gelijkenis tussen prompts en gegenereerde vragen te berekenen, en consistentie binnen een onderwerp over Bloom-niveaus heen.
  • RQ3 (Pedagogische Conformiteit): Beoordeeld via een "Verb Check" om te bepalen of gegenereerde vragen actie-woorden gebruikten die consistent waren met hun beoogde niveau in Bloom's taxonomie.
  • RQ4 (Betrouwbaarheid van Evaluatie): De betrouwbaarheid van "model-as-a-judge" werd geëvalueerd door modeloutput te vergelijken met annotaties van menselijke experts voor Hoog Kwaliteit (HQ) en Vaardigheidsovereenstemming, waarbij overeenkomstpatronen, vertekening en kalibratie werden geanalyseerd.

Belangrijkste Resultaten

• Kwaliteit van Generatie (RQ1–RQ3):
  • Complexiteit: Zowel LLM's als SLM's produceerden vragen op een vergelijkbaar basisniveau (laatste jaar middelbare school/vroege universitaire fase, $\mu \approx 14$). SLM's toonden echter meer controle en systematische modulatie van taalkundige complexiteit als reactie op prompt-specificiteit, terwijl LLM's meer variabiliteit vertoonden.
  • Intentie en Consistentie: SLM's behielden een nauwere thematische intentie-uitlijning en vertoonden een hogere semantische stabiliteit (hogere F1-scores) over Bloom-niveau-overgangen heen in vergelijking met LLM's, die meer conceptuele drift lieten zien.
  • Pedagogische Uitlijning: Beide families toonden sterke naleving van werkwoorden wanneer prompts expliciet waren. SLM's behielden echter consistente hoge uitlijning zelfs bij prompts met lagere specificiteit, terwijl LLM's sterk afhankelijk waren van expliciete instructieve scaffolding om uitlijning te behouden.
• Betrouwbaarheid van Evaluatie (RQ4):
  • Noch SLM's noch LLM's kopieerden consistent de balans tussen selectiviteit en vaardigheidsbewustzijn die bij menselijke experts werd aangetroffen.
  • Modelgebaseerde oordelen vertoonden aanzienlijke variantie: sommige modellen waren te mild (met het risico op acceptatie van items van lage kwaliteit), terwijl anderen te conservatief waren (met het risico op verwijdering van items van hoge kwaliteit).
  • De betrouwbaarheid van de beoordelaar bleek afhankelijk van het specifieke model dat werd beoordeeld; sommige modellen toonden voorkeursovereenstemming met generators uit dezelfde familie, wat wijst op systematische vertekening.

Belangrijkste Bijdragen

1. Systematische Benchmarking: De studie biedt de eerste systematische vergelijking van SLM's en LLM's voor Geautomatiseerde Educatieve Vraaggeneratie (AEQG), en toont aan dat kleinere, lokale modellen concurrerende, en in sommige gevallen superieure, pedagogische uitlijning en stabiliteit kunnen bereiken in vergelijking met frontier-modellen.
2. Reproduceerbare Metrics: Het introduceert een kader met objectieve, reproduceerbare NLP-metrics (leesbaarheid, semantische gelijkenis, naleving van werkwoorden) om de kwaliteit van generatie te evalueren over linguïstische, semantische en pedagogische dimensies heen, verder dan subjectieve menselijke rubrieken.
3. Evaluatie van Model-as-a-Judge: Het onderzoek analyseert grondig de betrouwbaarheid en vertekeningpatronen van het gebruik van LM's als beoordelaars, en onthult dat hoewel ze kunnen helpen, ze momenteel de consistentie missen die vereist is voor autonome beoordeling.
4. Implementatiebewuste Inzichten: De bevindingen benadrukken de levensvatbaarheid van SLM's voor privacy-gevoelige, middelenbeperkte educatieve omgevingen, en bieden een duurzame weg voor implementatie op het apparaat.

Betekenis en Aanspraken
Het artikel stelt dat taalmodellen moeten worden gezien als beperkte assistenten in plaats van autonome beoordelaars in educatieve workflows. De bevindingen ondersteunen een "Human-in-the-Loop" (HIL)-kader waarbij modellen de ideevorming versnellen en de constructie van vragen faciliteren, maar menselijke experts de curatorische autoriteit behouden om pedagogische integriteit en eerlijkheid te waarborgen.

De auteurs stellen dat hoewel SLM's een veelbelovend alternatief bieden voor lokale implementatie vanwege hun lagere rekenvereisten en consistente naleving van beperkingen, de betrouwbaarheid van AI als zelfstandige beoordelaar onopgelost blijft. De studie onderstreept de noodzaak van menselijk toezicht om door modellen veroorzaakte vertekeningen te mitigeren en te waarborgen dat gegenereerde toetsen toegankelijk en geldig zijn. Uiteindelijk vordert dit werk het vakgebied door de afwegingen tussen kwaliteit, betrouwbaarheid en implementatiehaalbaarheid te onderzoeken, en legt het de basis voor verantwoord, curriculumbewust GenAI-systemen in het onderwijs.