Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

Resumen Técnico: Examen de la Robustez de un Procedimiento de Selección de Modelos en el Modelo de Bloques Latentes Binarios mediante un Conjunto de Datos de Prueba de Colocación Lingüística

Planteamiento del Problema
El artículo aborda el desafío de analizar datos de pruebas de colocación, específicamente la prueba SELF utilizada en la Universidad Grenoble Alpes, para agrupar simultáneamente a los estudiantes en grupos homogéneos según su competencia y los ítems en grupos según su dificultad o habilidad. Los datos se representan como una matriz binaria donde las filas corresponden a estudiantes, las columnas a ítems de la prueba y las entradas indican respuestas correctas (1) o incorrectas (0).

La dificultad central radica en la aplicación de Modelos de Bloques Latentes (LBM) a estos datos binarios. Aunque el LBM permite el agrupamiento simultáneo de filas y columnas, seleccionar el número correcto de grupos de filas ($g$) y grupos de columnas ($m$) no es trivial. Criterios estándar como el AIC y el BIC no son directamente aplicables porque la verosimilitud maximizada no puede calcularse para los LBM. Además, los algoritmos de estimación (como el EM Variacional o el muestreo de Gibbs) son sensibles a los valores iniciales y propensos a converger hacia grupos vacíos u óptimos locales. Los autores señalan una falta de resultados teóricos o desigualdades de concentración no asintóticas para los criterios de selección de modelos en este contexto específico, lo que hace necesaria un enfoque computacional.

Metodología
Los autores proponen un procedimiento de selección de modelos basado en el criterio de Verosimilitud Completada Integrada (ICL), extendido para modelos de bloques latentes binarios. La metodología involucra tres componentes principales:

1. Algoritmo de Estimación: El estudio utiliza un algoritmo combinado V-Bayes Gibbs. Este enfoque emplea una aproximación Bayesiana Variacional para evitar grupos vacíos y un muestreador de Gibbs para mitigar la sensibilidad a los valores iniciales. El algoritmo se ejecuta $T$ veces (inicializaciones) para cada par candidato de $(g, m)$, reteniendo la solución que maximiza la energía libre.
2. Selección de Modelos: El procedimiento itera sobre una cuadrícula de pares posibles de $(g, m)$. Para cada par, se calcula el criterio ICL utilizando la partición $(\hat{z}, \hat{w})$ obtenida mediante la regla de Máxima Probabilidad Posterior (MAP) después del paso final V-Bayes. El par $(\hat{g}, \hat{m})$ que maximiza el ICL se selecciona como el modelo óptimo.
3. Análisis de Robustez: La robustez del procedimiento se evalúa de dos maneras:
   • Ajuste de Inicialización: Determinar el número necesario de inicializaciones ($T$) para recuperar fiablemente el modelo verdadero, probado mediante simulación y datos reales.
   • Estabilidad del Tamaño de Muestra: Evaluar la estabilidad de los agrupamientos de estudiantes a medida que varía el tamaño de la muestra ($n$). Esto implica simular submuestras de estudiantes y comparar las particiones resultantes con un modelo de referencia utilizando tasas de mal clasificación y tablas de contingencia con ajustes de cambio de etiquetas.

Conjuntos de Datos
El estudio utiliza dos conjuntos de datos reales de la prueba de colocación SELF:

• Prueba de Japonés: 137 estudiantes, 33 ítems (primera etapa).
• Prueba de Inglés: 228 estudiantes, 36 ítems (primera etapa).
  Ambos conjuntos de datos cubren tres habilidades: comprensión oral, comprensión escrita y expresión escrita.

Resultados Clave

• Sensibilidad a la Inicialización: El número requerido de inicializaciones ($T$) depende en gran medida de la "dificultad" del conjunto de datos.
  • En el conjunto de datos de Japonés (considerado un caso "fácil"), el modelo de referencia $(3, 4)$ se encontró en el 100% de 170.000 ejecuciones con una sola inicialización ($T=1$). Los tiempos de interllegada para el modelo de referencia fueron todos iguales a 1.
  • En el conjunto de datos de Inglés (un caso "difícil"), el modelo de referencia $(4, 5)$ se encontró solo 16 veces en 170.000 ejecuciones. El tiempo de interllegada mediano fue de 6.595,5, lo que sugiere que son necesarias cientos o miles de inicializaciones para encontrar fiablemente el modelo óptimo en escenarios complejos.
  • Los estudios de simulación confirmaron que para niveles bajos de ruido ($\epsilon \leq 0.25$), $T=1$ suele ser suficiente, pero a medida que aumenta el ruido ($\epsilon = 0.3$), la distribución de $T$ se desplaza significativamente hacia valores más altos.
• Robustez ante el Tamaño de Muestra:
  • A medida que aumenta el número de estudiantes ($n$), el número seleccionado de grupos $(\hat{g}, \hat{m})$ converge hacia el par de referencia.
  • La tasa de estudiantes mal clasificados disminuye a medida que aumenta $n$ cuando se selecciona el número correcto de grupos.
  • Para tamaños de muestra más pequeños y niveles de ruido más altos, la distribución de los modelos seleccionados se vuelve más dispersa, aunque aún tiende a concentrarse alrededor de la referencia a medida que crece $n$.
• Estimaciones de Parámetros: En el conjunto de datos de Inglés, los parámetros estimados revelaron un grupo de ítems donde la probabilidad de una respuesta correcta fue similar en todos los grupos de estudiantes. Los autores sugieren que esto indica características ruidosas o irrelevantes que pueden obstaculizar el agrupamiento coherente significativo.

Significado y Afirmaciones
El artículo afirma proporcionar un marco práctico y computacional para ajustar la selección de modelos en modelos de bloques latentes binarios donde faltan garantías teóricas. La contribución principal es la demostración de que el número de inicializaciones del algoritmo debe adaptarse a la dificultad específica del conjunto de datos; un enfoque de "talla única" es insuficiente.

Los autores concluyen modestamente que, aunque el procedimiento es robusto en términos de estabilidad de grupos a medida que aumenta el tamaño de la muestra, puede tener dificultades con conjuntos de datos que contienen características ruidosas (ítems con probabilidades de éxito uniformes). Como perspectiva futura, sugieren que incorporar una "clase de ruido" en el modelo de bloques latentes (como propusieron Laclau y Brault) podría mejorar los resultados al aislar los ítems que no contribuyen a la clasificación de los estudiantes, lo que podría ayudar a refinar las pruebas de colocación. El trabajo no afirma resolver los problemas teóricos de identificabilidad, sino que ofrece una estrategia computacional validada para profesionales que trabajan con datos de pruebas de colocación.