Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Technisches Fazit: Antwortfreies Modellierung der Aufgabenschwierigkeit für Multiple-Choice-Aufgaben mit feinabgestimmten Transformern

Problemstellung
Die präzise Schätzung der Aufgabenschwierigkeit ist für hochstake Bildungsbeurteilungen entscheidend, doch eine konventionelle, auf Antworten basierende Kalibrierung ist für neu verfasste Aufgaben, sichere Vortests oder kleine Populationen oft nicht verfügbar. Während Expertenurteile eine teilweise Lösung bieten, fehlt es ihnen an ausreichender Zuverlässigkeit. Dies erfordert ein antwortfreies Modellierung der Aufgabenschwierigkeit (IDM), bei dem die Schwierigkeit direkt aus dem Aufgabenwortlaut vor der Administration abgeleitet wird.

Bestehende Ansätze weisen erhebliche Einschränkungen auf:

1. Feature-Engineering-Pipelines: Diese extrahieren manuell Textmerkmale (z. B. Lesbarkeit, syntaktische Tiefe) und speisen sie in statistische Modelle ein. Dieser Prozess erfordert eine umfangreiche Vorverarbeitung (Lemmatisierung, Entfernung von Stoppwörtern), die morphosyntaktische Informationen verwirft und auf theoriegetriebenes Feature-Design angewiesen ist.
2. Erklärende IRT mit eingefrorenen Encodern: Methoden wie das Lineare Logistische Testmodell (LLTM) integrieren Aufgabenmerkmale in die Likelihood-Funktion. Jüngste Anpassungen nutzen eingefrorene BERT-Encoder, um handcodierte Merkmale zu ersetzen, doch die Repräsentationen bleiben an allgemeine Vortrainingsziele gebunden und nicht an die spezifische IDM-Aufgabe.
3. Die Herausforderung des Leseverständnisses: Bei Multiple-Choice-Fragen (MCQs) zum Leseverständnis entsteht die Schwierigkeit aus inferenziellen Anforderungen, die Passage, Frage und Antwortoptionen gemeinsam betreffen. Einfache Merkmalsextraktion oder eingefrorene Encoder erfassen diese komplexen, übergreifenden Interaktionen oft nicht, insbesondere in den kleinen Stichprobenregimen, die für die angewandte Psychometrie typisch sind, wo markierte Schwierigkeitsdaten knapp sind.

Methodik
Die Autoren stellen drei Transformer-basierte Architekturen vor und evaluieren diese, die Encoder-only-Modelle (speziell ModernBERT) End-to-End auf dem Aufgabenwortlaut feinabstimmen und damit manuelles Feature-Engineering eliminieren. Die Studie nutzt ein verschachteltes Trainingsgrößen-Design am RACE++-Korpus (29.618 Aufgaben), bei dem die Schwierigkeitsziele mittels eines Large Language Models (Gemini 2.5 Flash) pseudo-beschriftet wurden, das gegen menschliche Rasch-Schätzungen aus dem PALRACE-Teilmenge kalibriert wurde.

Die drei verglichenen Methoden sind:

1. Gemeinsame Kodierung (Baseline):

   • Architektur: Passage, Frage und Optionen werden zu einer einzigen Eingabesequenz konkateniert, getrennt durch [SEP]-Tokens.
   • Mechanismus: Ein standardmäßiger Transformer-Encoder verarbeitet die flache Sequenz. Die gepoolte Repräsentation des [CLS]-Tokens wird durch einen linearen Regressionskopf geleitet, um die Schwierigkeit ($\hat{b}_i$) vorherzusagen.
   • Ziel: Minimierung des mittleren quadratischen Fehlers (MSE) zwischen vorhergesagter und pseudo-beschrifteter Schwierigkeit.

2. Komponentenweise Kodierung:

   • Architektur: Passage, Frage und Optionsmenge werden separat durch einen gemeinsamen Encoder kodiert.
   • Mechanismus: Jede Komponente liefert eine [CLS]-Repräsentation. Diese drei Vektoren werden konkateniert und in den Regressionskopf eingespeist.
   • Motivation: Erzwingt explizit die funktionale Zerlegung einer MCQ und ermöglicht dem Modell theoretisch, relationale Merkmale von Distraktoren zu bewahren, die in einer flachen Sequenz verloren gehen könnten.

3. Multi-Task-Learning (MTL):

   • Architektur: Behält die Eingabe der gemeinsamen Kodierung bei, fügt jedoch einen zusätzlichen Multiple-Choice-Frage-Antwort (MCQA)-Zweig hinzu.
   • Mechanismus: Der gemeinsame Encoder speist zwei Köpfe:
     • Einen Regressionskopf für die Schwierigkeit ($\hat{b}_i$).
     • Einen Klassifikationskopf ($f_\xi$), der die Wahrscheinlichkeit vorhersagt, dass jede Option korrekt ist.
   • Training: Aufgaben wechseln pro Batch. Ein lernbarer aufgabenbedingender Vektor ($z_t$) wird der [CLS]-Einbettung hinzugefügt, um die aktive Aufgabe zu signalisieren. Der MCQA-Verlust wird gewichtet ($\lambda=0,05$), um negative Übertragung zu verhindern.
   • Motivation: Die Zusatzfunktion wirkt als Regularisierer und zwingt den Encoder, Repräsentationen zu erlernen, die eine Diskriminierung auf Ebene der Optionen ermöglichen. Dies richtet die gelernten Merkmale am kognitiven Prozess des Testnehmens aus und liefert ein überwachtes Signal, wenn das primäre Schwierigkeitslabel knapp ist.

Hauptergebnisse
Die Modelle wurden über drei Trainingsgrößen ($n \approx 800$, $n \approx 4.300$ und $n \approx 23.000$) unter Verwendung von RMSE, $R^2$ und Spearman-$\rho$ evaluiert.

• Lebensfähigkeit des End-to-End-Fine-Tunings: Alle Transformer-basierten Methoden schnitten deutlich besser ab als der „Dummy"-Regressor (der die mittlere Schwierigkeit des Trainingssets vorhersagt). Bei $n \approx 800$ reduzierten die Modelle den RMSE um 14–16 % im Vergleich zur Baseline, was zeigt, dass Transformer-Fine-Tuning eine lebensfähige Alternative zu Feature-Engineering-Pipelines ist.
• Komponentenweise Kodierung: Diese Variante zeigte keinen nachweisbaren Vorteil gegenüber der gemeinsamen Kodierung. Tatsächlich schnitt sie bei kleineren Stichprobengrößen bei RMSE und $R^2$ leicht schlechter ab. Die Autoren deuten dies als Beleg dafür, dass der Selbst-Aufmerksamkeitsmechanismus in der gemeinsamen Kodierung übergreifende Signale bereits effektiv nutzt, wodurch eine explizite architektonische Zerlegung redundant wird.
• Multi-Task-Learning (MTL):
  • Bei der kleinsten Stichprobengröße ($n \approx 800$) erzielte MTL signifikante paarweise Verbesserungen gegenüber der gemeinsamen Kodierung über alle Metriken hinweg (RMSE, $R^2$ und Spearman-$\rho$).
  • Mit zunehmender Größe des Trainingssets ($n \approx 4.300$ und $23.000$) nahm der Vorteil von MTL ab und wurde statistisch nicht mehr von der gemeinsamen Kodierung unterscheidbar.
  • Dies bestätigt die Hypothese, dass das zusätzliche MCQA-Ziel ein entscheidendes regularisierendes Signal liefert, speziell dann, wenn das primäre Schwierigkeitssignal knapp ist.

Bedeutung und Behauptungen
Die Studie behauptet, dass Transformer-Fine-Tuning, insbesondere wenn es durch eine geeignete Zusatzfunktion regularisiert wird, einen erheblichen Anteil des aus dem Wortlaut ableitbaren Schwierigkeitssignals bei Trainingsgrößen zurückgewinnt, die für angewandte Messkontexte typisch sind.

Wichtige Erkenntnisse umfassen:

• Effizienz: End-to-End-Fine-Tuning fasst die Vorverarbeitungs- und Modellierungsstufen des traditionellen Feature-Engineerings zu einem einzigen, datengesteuerten Prozess zusammen.
• Regularisierung bei kleinen Stichproben: In datenarmen Regimen wirkt das Hinzufügen einer Zusatzfunktion, die den Testprozess nachahmt (MCQA), als effektiver induktiver Bias, verhindert, dass das Modell oberflächliche Abkürzungen lernt, und verbessert die Generalisierung.
• Praktische Anwendung: Diese antwortfreien Vorhersagen können als Priors oder Anfangsschätzungen in Kalibrierungsworkflows dienen und potenziell die für nachfolgende, auf Antworten basierende Verfeinerung erforderliche Stichprobengröße reduzieren.

Die Autoren bleiben bescheiden hinsichtlich der absoluten Obergrenze wortlautbasierter Vorhersagen und räumen ein, dass Faktoren wie Teststrategien und visuelles Layout im Wortlaut nicht erfasst werden und dass die pseudo-beschrifteten Ziele selbst Rauschen sowohl vom LLM als auch aus der zugrundeliegenden Rasch-Schätzung enthalten. Dennoch bietet das Framework eine anpassbare Schnittstelle für zukünftige psychometrisch motivierte Erweiterungen.