Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

Resumo Técnico: Examinando a Robustez de um Procedimento de Seleção de Modelos no Modelo de Blocos Latentes Binário através de um Conjunto de Dados de Teste de Colocação Linguística

Declaração do Problema
O artigo aborda o desafio de analisar dados de testes de colocação, especificamente o teste SELF utilizado na Université Grenoble Alpes, para agrupar simultaneamente estudantes em grupos homogêneos com base na proficiência e itens em grupos com base na dificuldade ou habilidade. Os dados são representados como uma matriz binária onde as linhas correspondem a estudantes, as colunas a itens do teste e as entradas indicam respostas corretas (1) ou incorretas (0).

A dificuldade central reside na aplicação de Modelos de Blocos Latentes (LBM) a esses dados binários. Embora o LBM permita o agrupamento simultâneo de linhas e colunas, selecionar o número correto de grupos de linhas ($g$) e grupos de colunas ($m$) não é trivial. Critérios padrão como AIC e BIC não são diretamente aplicáveis porque a verossimilhança maximizada não pode ser computada para LBMs. Além disso, algoritmos de estimação (como EM Variacional ou amostragem de Gibbs) são sensíveis a valores iniciais e propensos a convergir para grupos vazios ou ótimos locais. Os autores notam uma falta de resultados teóricos ou desigualdades de concentração não assintóticas para critérios de seleção de modelos neste contexto específico, tornando necessária uma abordagem computacional.

Metodologia
Os autores propõem um procedimento de seleção de modelos baseado no critério de Verossimilhança Completada Integrada (ICL), estendido para modelos de blocos latentes binários. A metodologia envolve três componentes principais:

1. Algoritmo de Estimação: O estudo utiliza um algoritmo combinado V-Bayes Gibbs. Esta abordagem emprega uma aproximação Bayesiana Variacional para evitar grupos vazios e um amostrador de Gibbs para mitigar a sensibilidade a valores iniciais. O algoritmo é executado $T$ vezes (inicializações) para cada par candidato de $(g, m)$, retendo a solução que maximiza a energia livre.
2. Seleção de Modelos: O procedimento itera sobre uma grade de pares possíveis de $(g, m)$. Para cada par, o critério ICL é calculado usando a partição $(\hat{z}, \hat{w})$ obtida via a regra do Máximo a Posteriori (MAP) após a etapa final V-Bayes. O par $(\hat{g}, \hat{m})$ que maximiza o ICL é selecionado como o modelo ótimo.
3. Análise de Robustez: A robustez do procedimento é avaliada de duas maneiras:
   • Ajuste de Inicialização: Determinação do número necessário de inicializações ($T$) para recuperar confiavelmente o modelo verdadeiro, testado via simulação e dados reais.
   • Estabilidade do Tamanho da Amostra: Avaliação da estabilidade dos agrupamentos de estudantes à medida que o tamanho da amostra ($n$) varia. Isso envolve simular subamostras de estudantes e comparar as partições resultantes com um modelo de referência usando taxas de má classificação e tabelas de contingência com ajustes de troca de rótulos.

Conjuntos de Dados
O estudo utiliza dois conjuntos de dados do mundo real do teste de colocação SELF:

• Teste de Japonês: 137 estudantes, 33 itens (primeira etapa).
• Teste de Inglês: 228 estudantes, 36 itens (primeira etapa).
  Ambos os conjuntos de dados cobrem três habilidades: compreensão oral, compreensão escrita e expressão escrita.

Principais Resultados

• Sensibilidade à Inicialização: O número necessário de inicializações ($T$) depende fortemente da "dificuldade" do conjunto de dados.
  • No conjunto de dados de Japonês (considerado um caso "fácil"), o modelo de referência $(3, 4)$ foi encontrado em 100% das 170.000 execuções com uma única inicialização ($T=1$). Os tempos de inter-chegada para o modelo de referência foram todos iguais a 1.
  • No conjunto de dados de Inglês (um caso "difícil"), o modelo de referência $(4, 5)$ foi encontrado apenas 16 vezes em 170.000 execuções. O tempo mediano de inter-chegada foi 6.595,5, sugerindo que centenas ou milhares de inicializações são necessárias para encontrar confiavelmente o modelo ótimo em cenários complexos.
  • Estudos de simulação confirmaram que, para baixos níveis de ruído ($\epsilon \leq 0,25$), $T=1$ é frequentemente suficiente, mas à medida que o ruído aumenta ($\epsilon = 0,3$), a distribuição de $T$ desloca-se significativamente para valores mais altos.
• Robustez ao Tamanho da Amostra:
  • À medida que o número de estudantes ($n$) aumenta, o número selecionado de grupos $(\hat{g}, \hat{m})$ converge para o par de referência.
  • A taxa de estudantes mal classificados diminui à medida que $n$ aumenta quando o número correto de grupos é selecionado.
  • Para tamanhos de amostra menores e níveis de ruído mais altos, a distribuição de modelos selecionados torna-se mais dispersa, embora ainda tenda a se concentrar em torno da referência à medida que $n$ cresce.
• Estimativas de Parâmetros: No conjunto de dados de Inglês, os parâmetros estimados revelaram um grupo de itens onde a probabilidade de uma resposta correta era semelhante em todos os grupos de estudantes. Os autores sugerem que isso indica características ruidosas ou irrelevantes que podem impedir um co-agrupamento significativo.

Significado e Alegações
O artigo afirma fornecer uma estrutura computacional prática para ajustar a seleção de modelos em modelos de blocos latentes binários onde garantias teóricas estão ausentes. A contribuição principal é a demonstração de que o número de inicializações do algoritmo deve ser adaptado à dificuldade específica do conjunto de dados; uma abordagem "tamanho único" é insuficiente.

Os autores concluem modestamente que, embora o procedimento seja robusto em termos de estabilidade de grupos à medida que o tamanho da amostra aumenta, ele pode ter dificuldades com conjuntos de dados contendo características ruidosas (itens com probabilidades de sucesso uniformes). Como uma perspectiva futura, eles sugerem que incorporar uma "classe de ruído" no modelo de blocos latentes (como proposto por Laclau e Brault) poderia melhorar os resultados ao isolar itens que não contribuem para a classificação dos estudantes, potencialmente auxiliando no refinamento de testes de colocação. O trabalho não afirma resolver as questões de identificabilidade teórica, mas oferece uma estratégia computacional validada para profissionais que lidam com dados de testes de colocação.