Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

Résumé technique : Modélisation de la difficulté des items sans réponse pour les questions à choix multiples avec des Transformers affinés

Énoncé du problème
L'estimation précise de la difficulté des items est cruciale pour les évaluations éducatives à haute enjeu, pourtant l'étalonnage basé sur les réponses est souvent indisponible pour les items nouvellement rédigés, les pré-tests sécurisés ou les petites populations. Bien que les jugements d'experts offrent une solution partielle, ils manquent de fiabilité suffisante. Cela nécessite une modélisation de la difficulté des items sans réponse (IDM), où la difficulté est déduite directement de la formulation de l'item avant administration.

Les approches existantes présentent des limitations significatives :

1. Pipelines d'ingénierie des caractéristiques : Elles extraient manuellement des caractéristiques textuelles (par exemple, lisibilité, profondeur syntaxique) et les alimentent dans des modèles statistiques. Ce processus nécessite un prétraitement extensif (lemmatisation, suppression des mots vides) qui élimine l'information morphosyntaxique et repose sur une conception de caractéristiques guidée par la théorie.
2. IRT explicative avec encodeurs figés : Des méthodes comme le modèle logistique linéaire de test (LLTM) intègrent les caractéristiques des items dans la fonction de vraisemblance. Des adaptations récentes utilisent des encodeurs BERT figés pour remplacer les caractéristiques codées à la main, mais les représentations restent liées à des objectifs de pré-entraînement à usage général plutôt qu'à la tâche spécifique d'IDM.
3. Le défi de la compréhension de lecture : Pour les questions à choix multiples (QCM) de compréhension de lecture, la difficulté découle des exigences inférentielles à travers le texte, la question et les options conjointement. Une simple extraction de caractéristiques ou des encodeurs figés échouent souvent à capturer ces interactions complexes entre composants, en particulier dans les régimes à faible échantillon typiques de la psychométrie appliquée où les données de difficulté étiquetées sont rares.

Méthodologie
Les auteurs proposent et évaluent trois architectures basées sur des Transformers qui affinent des modèles d'encodeur uniquement (spécifiquement ModernBERT) de bout en bout sur la formulation des items, éliminant ainsi l'ingénierie manuelle des caractéristiques. L'étude utilise une conception imbriquée de la taille d'entraînement sur le corpus RACE++ (29 618 items), où les cibles de difficulté sont pseudo-étiquetées à l'aide d'un Grand Modèle de Langage (Gemini 2.5 Flash) calibré par rapport aux estimations Rasch humaines du sous-ensemble PALRACE.

Les trois méthodes comparées sont :

1. Encodage conjoint (Référence) :

   • Architecture : Le texte, la question et les options sont concaténés en une seule séquence d'entrée séparée par des tokens [SEP].
   • Mécanisme : Un encodeur Transformer standard traite la séquence plate. La représentation regroupée du token [CLS] est transmise à une tête de régression linéaire pour prédire la difficulté ($\hat{b}_i$).
   • Objectif : Minimiser l'erreur quadratique moyenne (MSE) entre la difficulté prédite et la difficulté pseudo-étiquetée.

2. Encodage par composant :

   • Architecture : Le texte, la question et l'ensemble des options sont encodés séparément via un encodeur partagé.
   • Mécanisme : Chaque composant produit une représentation [CLS]. Ces trois vecteurs sont concaténés et alimentés la tête de régression.
   • Motivation : Impose explicitement la décomposition fonctionnelle d'un QCM, permettant théoriquement au modèle de préserver les caractéristiques relationnelles des distracteurs qui pourraient être perdues dans une séquence plate.

3. Apprentissage multi-tâches (MTL) :

   • Architecture : Conserve l'entrée d'encodage conjoint mais ajoute une branche auxiliaire de réponse à question à choix multiples (MCQA).
   • Mécanisme : L'encodeur partagé alimente deux têtes :
     • Une tête de régression pour la difficulté ($\hat{b}_i$).
     • Une tête de classification ($f_\xi$) qui prédit la probabilité que chaque option soit correcte.
   • Entraînement : Les tâches alternent par lot. Un vecteur de conditionnement de tâche apprenable ($z_t$) est ajouté à l'embedding [CLS] pour signaler la tâche active. La perte MCQA est pondérée ($\lambda=0.05$) pour empêcher un transfert négatif.
   • Motivation : La tâche auxiliaire agit comme un régularisateur, forçant l'encodeur à apprendre des représentations capables de discrimination au niveau des options. Cela aligne les caractéristiques apprises sur le processus cognitif de passation de test, fournissant un signal de supervision lorsque l'étiquette de difficulté principale est rare.

Résultats clés
Les modèles ont été évalués sur trois tailles d'ensemble d'entraînement ($n \approx 800$, $n \approx 4 300$ et $n \approx 23 000$) en utilisant l'erreur quadratique moyenne (RMSE), $R^2$ et le rho de Spearman.

• Faisabilité de l'affinement de bout en bout : Toutes les méthodes basées sur des Transformers ont nettement surpassé le régresseur « factice » (qui prédit la difficulté moyenne de l'ensemble d'entraînement). À $n \approx 800$, les modèles ont réduit le RMSE de 14 à 16 % par rapport à la référence, démontrant que l'affinement des Transformers est une alternative viable aux pipelines d'ingénierie des caractéristiques.
• Encodage par composant : Cette variante n'a montré aucun bénéfice détectable par rapport à l'encodage conjoint. En fait, elle a légèrement moins bien performé sur le RMSE et $R^2$ aux plus petites tailles d'échantillon. Les auteurs interprètent cela comme une preuve que le mécanisme d'attention automatique dans l'encodage conjoint récolte déjà efficacement les signaux inter-composants, rendant la décomposition architecturale explicite redondante.
• Apprentissage multi-tâches (MTL) :
  • À la plus petite taille d'échantillon ($n \approx 800$), le MTL a apporté des améliorations appariées significatives par rapport à l'encodage conjoint sur toutes les métriques (RMSE, $R^2$ et rho de Spearman).
  • À mesure que la taille de l'ensemble d'entraînement augmentait ($n \approx 4 300$ et $23 000$), l'avantage du MTL a diminué et est devenu statistiquement indiscernable de l'encodage conjoint.
  • Cela confirme l'hypothèse selon laquelle l'objectif auxiliaire MCQA fournit un signal de régularisation crucial spécifiquement lorsque le signal de difficulté principal est rare.

Portée et affirmations
L'article affirme que l'affinement des Transformers, en particulier lorsqu'il est régularisé par une tâche auxiliaire appropriée, récupère une part substantielle du signal de difficulté déductible de la formulation à des tailles d'ensemble d'entraînement typiques des contextes de mesure appliquée.

Les points clés à retenir incluent :

• Efficacité : L'affinement de bout en bout fusionne les étapes de prétraitement et de modélisation de l'ingénierie traditionnelle des caractéristiques en un seul processus piloté par les données.
• Régularisation à faible échantillon : Dans les régimes où les données sont rares, l'ajout d'une tâche auxiliaire qui imite le processus de passation de test (MCQA) agit comme un biais inductif efficace, empêchant le modèle d'apprendre des raccourcis de surface et améliorant la généralisation.
• Application pratique : Ces prédictions sans réponse peuvent servir d'a priori ou d'estimations initiales dans les flux de travail d'étalonnage, réduisant potentiellement la taille d'échantillon requise pour un raffinement ultérieur basé sur les réponses.

Les auteurs restent modestes concernant le plafond absolu de la prédiction basée sur le texte, reconnaissant que des facteurs tels que les stratégies de passation de test et la mise en page visuelle ne sont pas capturés dans la formulation, et que les cibles pseudo-étiquetées elles-mêmes contiennent du bruit provenant à la fois du Grand Modèle de Langage et de l'estimation Rasch sous-jacente. Cependant, le cadre fournit une interface personnalisable pour de futures extensions motivées par la psychométrie.