Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

Résumé technique : Examen de la robustesse d'une procédure de sélection de modèle dans le modèle de blocs latents binaires via un jeu de données de test de placement linguistique

Énoncé du problème
L'article aborde le défi de l'analyse des données de tests de placement, spécifiquement le test SELF utilisé à l'Université Grenoble Alpes, afin de regrouper simultanément les étudiants en groupes homogènes basés sur leur niveau de compétence et les items en groupes basés sur leur difficulté ou la compétence visée. Les données sont représentées sous forme d'une matrice binaire où les lignes correspondent aux étudiants, les colonnes aux items du test, et les entrées indiquent des réponses correctes (1) ou incorrectes (0).

La difficulté fondamentale réside dans l'application des modèles de blocs latents (LBM) à ces données binaires. Bien que les LBM permettent un regroupement simultané des lignes et des colonnes, la sélection du nombre correct de groupes de lignes ($g$) et de groupes de colonnes ($m$) n'est pas triviale. Les critères standards tels que l'AIC et le BIC ne sont pas directement applicables car la vraisemblance maximisée ne peut être calculée pour les LBM. De plus, les algorithmes d'estimation (tels que l'EM variationnel ou l'échantillonnage de Gibbs) sont sensibles aux valeurs initiales et sujets à converger vers des groupes vides ou des optima locaux. Les auteurs notent une absence de résultats théoriques ou d'inégalités de concentration non asymptotiques pour les critères de sélection de modèle dans ce contexte spécifique, ce qui rend nécessaire une approche computationnelle.

Méthodologie
Les auteurs proposent une procédure de sélection de modèle basée sur le critère de Vraisemblance Complétée Intégrée (ICL), étendu aux modèles de blocs latents binaires. La méthodologie comprend trois composantes principales :

1. Algorithme d'estimation : L'étude utilise un algorithme combiné V-Bayes Gibbs. Cette approche emploie une approximation variationnelle de Bayes pour éviter les groupes vides et un échantillonneur de Gibbs pour atténuer la sensibilité aux valeurs initiales. L'algorithme est exécuté $T$ fois (initialisations) pour chaque paire candidate de $(g, m)$, en conservant la solution qui maximise l'énergie libre.
2. Sélection de modèle : La procédure itère sur une grille de paires $(g, m)$ possibles. Pour chaque paire, le critère ICL est calculé en utilisant la partition $(\hat{z}, \hat{w})$ obtenue via la règle du Maximum A Posteriori (MAP) après l'étape finale V-Bayes. La paire $(\hat{g}, \hat{m})$ maximisant l'ICL est sélectionnée comme modèle optimal.
3. Analyse de robustesse : La robustesse de la procédure est évaluée de deux manières :
   • Réglage de l'initialisation : Détermination du nombre nécessaire d'initialisations ($T$) pour retrouver de manière fiable le modèle vrai, testé via simulation et données réelles.
   • Stabilité de la taille de l'échantillon : Évaluation de la stabilité des regroupements d'étudiants lorsque la taille de l'échantillon ($n$) varie. Cela implique de simuler des sous-échantillons d'étudiants et de comparer les partitions résultantes à un modèle de référence en utilisant des taux de mauvaise classification et des tableaux de contingence avec ajustements pour l'inversion des étiquettes.

Jeu de données
L'étude utilise deux jeux de données réels issus du test de placement SELF :

• Test de japonais : 137 étudiants, 33 items (première étape).
• Test d'anglais : 228 étudiants, 36 items (première étape).
  Les deux jeux de données couvrent trois compétences : la compréhension orale, la compréhension écrite et l'expression écrite.

Résultats clés

• Sensibilité à l'initialisation : Le nombre requis d'initialisations ($T$) dépend fortement de la « difficulté » du jeu de données.
  • Dans le jeu de données japonais (considéré comme un cas « facile »), le modèle de référence $(3, 4)$ a été trouvé dans 100 % des 170 000 exécutions avec une seule initialisation ($T=1$). Les temps inter-arrivées pour le modèle de référence étaient tous égaux à 1.
  • Dans le jeu de données anglais (un cas « difficile »), le modèle de référence $(4, 5)$ n'a été trouvé que 16 fois sur 170 000 exécutions. Le temps inter-arrivée médian était de 6 595,5, suggérant que des centaines ou des milliers d'initialisations sont nécessaires pour trouver de manière fiable le modèle optimal dans des scénarios complexes.
  • Les études de simulation ont confirmé que pour de faibles niveaux de bruit ($\epsilon \leq 0,25$), $T=1$ est souvent suffisant, mais à mesure que le bruit augmente ($\epsilon = 0,3$), la distribution de $T$ se déplace significativement vers des valeurs plus élevées.
• Robustesse à la taille de l'échantillon :
  • À mesure que le nombre d'étudiants ($n$) augmente, le nombre de groupes sélectionné $(\hat{g}, \hat{m})$ converge vers la paire de référence.
  • Le taux d'étudiants mal classés diminue à mesure que $n$ augmente lorsque le nombre correct de groupes est sélectionné.
  • Pour les petites tailles d'échantillon et les niveaux de bruit plus élevés, la distribution des modèles sélectionnés devient plus dispersée, bien qu'elle tende toujours à se concentrer autour de la référence à mesure que $n$ croît.
• Estimations des paramètres : Dans le jeu de données anglais, les paramètres estimés ont révélé un groupe d'items où la probabilité d'une réponse correcte était similaire pour tous les groupes d'étudiants. Les auteurs suggèrent que cela indique des caractéristiques bruyantes ou non pertinentes qui peuvent entraver un co-regroupement significatif.

Portée et affirmations
L'article prétend fournir un cadre pratique et computationnel pour régler la sélection de modèle dans les modèles de blocs latents binaires où les garanties théoriques sont absentes. La contribution principale est la démonstration que le nombre d'initialisations de l'algorithme doit être adapté à la difficulté spécifique du jeu de données ; une approche « unique pour tous » est insuffisante.

Les auteurs concluent modestement que, bien que la procédure soit robuste en termes de stabilité des groupes à mesure que la taille de l'échantillon augmente, elle peut avoir des difficultés avec des jeux de données contenant des caractéristiques bruyantes (items avec des probabilités de réussite uniformes). Comme perspective future, ils suggèrent que l'intégration d'une « classe de bruit » dans le modèle de blocs latents (tel que proposé par Laclau et Brault) pourrait améliorer les résultats en isolant les items qui ne contribuent pas à la classification des étudiants, aidant potentiellement au raffinement des tests de placement. L'ouvrage ne prétend pas résoudre les problèmes d'identifiabilité théorique mais offre une stratégie computationnelle validée pour les praticiens traitant des données de tests de placement.