Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Technische Samenvatting: Responsvrije Item-moeilijkheidsmodellering voor Meerkeuzevragen met Fijngefineerde Transformers

Probleemstelling
Een nauwkeurige schatting van itemmoeilijkheid is cruciaal voor hoog-risico educatieve toetsing, maar conventionele kalibratie op basis van responsen is vaak niet beschikbaar voor nieuw geschreven items, beveiligde proeftoetsen of kleine populaties. Hoewel expertoordelen een deels oplossing bieden, missen ze voldoende betrouwbaarheid. Dit vereist responsvrije item-moeilijkheidsmodellering (IDM), waarbij moeilijkheid direct wordt afgeleid uit de itemformulering voordat de toets wordt afgenomen.

Bestaande benaderingen ondervinden aanzienlijke beperkingen:

1. Feature Engineering-pijplijnen: Deze halen handmatig tekstkenmerken (zoals leesbaarheid, syntactische diepte) uit en voeren deze door naar statistische modellen. Dit proces vereist uitgebreide voorverwerking (lemmatisatie, verwijdering van stopwoorden) die morfosyntactische informatie verwijdert en vertrouwt op theoriegedreven kenmerkontwerp.
2. Explanatoire IRT met Bevriezing van Encoders: Methoden zoals het Lineair Logistisch Testmodel (LLTM) integreren itemkenmerken in de waarschijnlijkheidsfunctie. Recente aanpassingen gebruiken bevroren BERT-encoders om handgecodeerde kenmerken te vervangen, maar de representaties blijven gebonden aan algemene pre-training-doelen in plaats van de specifieke IDM-taak.
3. De Uitdaging van Lezenbegrip: Bij meerkeuzevragen (MCQ's) over lezenbegrip ontstaat moeilijkheid uit inferentiële eisen die gezamenlijk voortvloeien uit de passage, de vraag en de opties. Eenvoudige kenmerkextractie of bevroren encoders slagen er vaak niet in deze complexe, kruiscomponent-interacties te vangen, vooral in de kleine-steekproefregimes die typerend zijn voor toegepaste psychometrie waar gelabelde moeilijkheidsdata schaars is.

Methodologie
De auteurs stellen drie transformer-gebaseerde architecturen voor en evalueren deze die encoder-only-modellen (specifiek ModernBERT) end-to-end fijnfijnen op itemformulering, waardoor handmatige feature engineering wordt geëlimineerd. De studie maakt gebruik van een geneste trainingsgrootte-ontwerp op het RACE++-corpus (29.618 items), waarbij moeilijkheidsdoelen pseudo-gelabeld zijn met een Large Language Model (Gemini 2.5 Flash) dat is gekalibreerd tegen menselijke Rasch-schattingen uit de PALRACE-subset.

De drie vergeleken methoden zijn:

1. Gecombineerde Encoding (Basislijn):

   • Architectuur: De passage, de vraag en de opties worden samengevoegd tot één enkele inputsequentie, gescheiden door [SEP]-tokens.
   • Mechanisme: Een standaard Transformer-encoder verwerkt de platte sequentie. De gepoolde representatie van het [CLS]-token wordt doorgegeven aan een lineaire regressie-head om moeilijkheid ($\hat{b}_i$) te voorspellen.
   • Doel: Minimaliseren van de Mean Squared Error (MSE) tussen de voorspelde en de pseudo-gelabelde moeilijkheid.

2. Component-gewijze Encoding:

   • Architectuur: De passage, de vraag en de optieset worden afzonderlijk gecodeerd via een gedeelde encoder.
   • Mechanisme: Elk component levert een [CLS]-representatie op. Deze drie vectoren worden samengevoegd en ingevoerd in de regressie-head.
   • Motivatie: Dwingt expliciet de functionele decompositie van een MCQ af, wat theoretisch toelaat dat het model relationele kenmerken van distractoren behoudt die in een platte sequentie verloren zouden kunnen gaan.

3. Multi-Task Learning (MTL):

   • Architectuur: Behoudt de gecombineerde encoding-input, maar voegt een bijkomende Multiple-Choice Question Answering (MCQA)-tak toe.
   • Mechanisme: De gedeelde encoder voedt twee heads:
     • Een regressie-head voor moeilijkheid ($\hat{b}_i$).
     • Een classificatie-head ($f_\xi$) die de waarschijnlijkheid voorspelt dat elke optie correct is.
   • Training: Taken wisselen per batch. Een leerbare taak-conditioning-vector ($z_t$) wordt toegevoegd aan de [CLS]-embedding om de actieve taak aan te geven. De MCQA-loss wordt gewogen ($\lambda=0.05$) om negatieve overdracht te voorkomen.
   • Motivatie: De bijkomende taak fungeert als regularisator, waardoor de encoder representaties leert die geschikt zijn voor discriminatie op optieniveau. Dit brengt de geleerde kenmerken in lijn met het cognitieve proces van toetsen, en biedt een superviserend signaal wanneer het primaire moeilijkheidslabel schaars is.

Belangrijkste Resultaten
De modellen werden geëvalueerd over drie trainingssetgroottes ($n \approx 800$, $n \approx 4.300$ en $n \approx 23.000$) met behulp van RMSE, $R^2$ en Spearman $\rho$.

• Leefbaarheid van End-to-End Fijnfinen: Alle transformer-gebaseerde methoden presteerden significant beter dan de "dummy"-regressor (die de gemiddelde moeilijkheid van de trainingsset voorspelt). Bij $n \approx 800$ verlaagden de modellen de RMSE met 14–16% ten opzichte van de basislijn, wat aantoont dat transformer-fijnfinen een levensvatbaar alternatief is voor feature-engineering-pijplijnen.
• Component-gewijze Encoding: Deze variant toonde geen waarneembaar voordeel ten opzichte van gecombineerde encoding. Sterker nog, het presteerde iets slechter op RMSE en $R^2$ bij kleinere steekproefgroottes. De auteurs interpreteren dit als bewijs dat het self-attention-mechanisme in gecombineerde encoding kruiscomponent-signalen al effectief haalt, waardoor expliciete architecturale decompositie overbodig wordt.
• Multi-Task Learning (MTL):
  • Bij de kleinste steekproefgrootte ($n \approx 800$) leverde MTL significante gepaarde verbeteringen op ten opzichte van gecombineerde encoding over alle metrieken (RMSE, $R^2$ en Spearman $\rho$).
  • Naarmate de trainingssetgrootte toenam ($n \approx 4.300$ en $23.000$), nam het voordeel van MTL af en werd het statistisch niet meer onderscheidend van gecombineerde encoding.
  • Dit bevestigt de hypothese dat de bijkomende MCQA-doelstelling een cruciaal regulariserend signaal biedt, specifiek wanneer het primaire moeilijkheidssignaal schaars is.

Betekenis en Claims
Het artikel stelt dat transformer-fijnfinen, met name wanneer het wordt geregulariseerd door een geschikte bijkomende taak, een aanzienlijk deel van het uit formulering afleidbare moeilijkheidssignaal terugwint bij trainingssetgroottes die typerend zijn voor toegepaste meetcontexten.

Belangrijkste leerpunten zijn:

• Efficiëntie: End-to-end fijnfinen reduceert de voorverwerkings- en modelleringstappen van traditionele feature engineering tot één enkel, datagedreven proces.
• Regularisatie bij Kleine Steekproeven: In data-schaarse regimes fungeert het toevoegen van een bijkomende taak die het toetsproces nabootst (MCQA) als een effectieve inductieve bias, waardoor het model wordt voorkomen dat het oppervlakkige shortcuts leert en de generalisatie verbetert.
• Praktische Toepassing: Deze responsvrije voorspellingen kunnen dienen als priors of initiële schattingen in kalibratiewerkstromen, wat mogelijk de steekproefgrootte die nodig is voor daaropvolgende responsgebaseerde verfijning, verkleint.

De auteurs blijven bescheiden over het absolute plafond van tekstgebaseerde voorspelling, en erkennen dat factoren zoals toetsstrategieën en visuele lay-out niet worden vastgelegd in de formulering, en dat de pseudo-gelabelde doelen zelf ruis bevatten van zowel het LLM als de onderliggende Rasch-schatting. Het kader biedt echter een aanpasbare interface voor toekomstige psychometrisch gemotiveerde uitbreidingen.