Knowing When to Defer: Selective Prediction for Responsible Knowledge Tracing

1. Declaração do Problema

Os modelos de Rastreamento de Conhecimento (KT) são projetados para prever o desempenho futuro de um aluno em questões educacionais com base em seu histórico de interações. Embora arquiteturas recentes de aprendizado profundo (por exemplo, DKT, SAKT, AKT) tenham melhorado a precisão preditiva, elas sofrem de uma limitação crítica na implantação no mundo real: elas carecem da capacidade de quantificar sua própria incerteza.

• A Lacuna: Os modelos tradicionais de KT produzem estimativas pontuais (por exemplo, "80% de chance de acerto") sem indicar confiança. Isso leva a uma baixa especificidade, onde os modelos fazem previsões incorretas com confiança que passam despercebidas.
• O Objetivo: O artigo propõe tratar a implantação responsável de KT como um problema de Predição Seletiva. Em vez de forçar uma previsão em cada instância, o modelo deve identificar casos de alta incerteza e deferir (encaminhar) esses casos para um professor humano, melhorando assim a confiabilidade e a segurança geral do sistema.

2. Metodologia

Os autores introduzem uma camada intrínseca de predição seletiva que se integra diretamente aos modelos de KT existentes, sem exigir retreinamento.

A. Quantificação de Incerteza via MC-Dropout

O mecanismo central para estimar a incerteza é o Dropout de Monte Carlo (MC-Dropout).

• Processo: Durante a inferência, as camadas de dropout permanecem ativas. O modelo realiza $M$ passagens forward estocásticas para uma única entrada.
• Métricas:
  • Previsão Média ($\bar{p}$): A probabilidade média entre as $M$ passagens.
  • Sinal de Incerteza: A variância (ou entropia) das previsões entre as $M$ passagens. Alta variância indica alta incerteza epistêmica (o modelo não tem certeza sobre sua representação aprendida do estado do aluno).
• Estratégia de Seleção: As previsões são classificadas pela variância do MC-Dropout. O sistema se abstém (deferre) nas previsões $X\%$ mais incertas (por exemplo, os 20% superiores) e apenas emite previsões para os casos restantes que demonstram confiança.

B. Configuração Experimental

• Conjuntos de Dados: O estudo utiliza o conjunto de dados de matemática Eedi, um conjunto de dados real em grande escala contendo registros de respostas a questões.
• Arquiteturas: O método é avaliado em três famílias dominantes de KT:
  1. DKT (Rastreamento de Conhecimento Profundo): Baseado em LSTM.
  2. SAKT (Rastreamento de Conhecimento com Atenção Self): Baseado em atenção self.
  3. AKT (Rastreamento de Conhecimento com Atenção): Atenção consciente do contexto com mecanismos de esquecimento.
• Baselines:
  • 2PL IRT Calibrado: Um modelo padrão de Teoria de Resposta ao Item (Logística de Dois Parâmetros) usado como baseline psicométrica para incerteza.
  • Pilha Psicométrica Clássica: Uma análise de regressão testando se a incerteza pode ser explicada por características padrão: dificuldade da questão, habilidade do aluno, ambiguidade do resultado IRT e cobertura do currículo.

3. Contribuições Principais

1. Melhoria Agnóstica à Arquitetura: Demonstrou que a predição seletiva melhora a precisão, AUC e pontuações F1 em DKT, SAKT e AKT sem retreinamento.
2. Superioridade sobre Baselines Psicométricos: Provou que a variância do MC-Dropout é um sinal significativamente mais forte para deferimento do que um modelo 2PL IRT calibrado.
3. Decomposição de Variância (Conteúdo Epistêmico): Mostrou que características psicométricas clássicas (dificuldade, habilidade, etc.) explicam menos de 4% (linear) a 23% (não linear) da incerteza do modelo. Os restantes 77–90% são conteúdo epistêmico específico da arquitetura (incerteza sobre a trajetória sequencial única do aluno) que modelos mais simples não conseguem capturar.
4. Equidade e Direcionamento: Verificou que a estratégia de deferimento é altamente direcionada (deferindo erros reais) e justa (não deferindo desproporcionalmente alunos de baixa habilidade).

4. Resultados Principais

A. Ganhos de Desempenho (em 80% de Cobertura)

Ao deferir as 20% das previsões mais incertas, os modelos alcançaram aumentos significativos nas métricas sem retreinamento:

• Precisão: +2,3 a +3,0 pontos percentuais (pp).
• AUC: +1,9 a +2,4 pp.
• Pontuação F1: +1,4 a +4,3 pp.
• Significância Estatística: Todas as melhorias foram estatisticamente significativas com intervalos de confiança estreitos.

B. Direcionamento e Equidade

• Taxa de Erro: O conjunto de previsões deferidas teve uma taxa de erro 1,45 a 1,60 vezes maior do que o conjunto mantido. Nas questões mais difíceis, essa razão atingiu 2,3–2,5x.
• Equidade: A taxa de abstenção foi consistente entre os quartis de habilidade do aluno (variando 16–23%, próximo à linha de base de 20%). Crucialmente, o modelo não recorreu a deferir alunos de baixa habilidade; os alunos mais fracos foram deferidos menos do que os outros, evitando uma falha comum em IA educacional.

C. Comparação com a Baseline IRT

• Em 80% de cobertura, o MC-Dropout forneceu um aumento de AUC de 2,0–2,4 pp.
• A baseline 2PL IRT calibrada forneceu apenas um aumento de 0,41–0,46 pp.
• Conclusão: O MC-Dropout oferece aproximadamente 5 vezes o aumento da baseline IRT, provando que captura incerteza epistêmica genuína além da simples dificuldade do item e da habilidade do aluno.

D. Decomposição de Variância (O "Porquê")

Os autores regrediram a incerteza epistêmica do modelo (usando decomposição BALD) contra uma pilha de características clássicas:

• Modelo Linear: Variância explicada foi < 4%.
• Modelo Não Linear (Random Forest): Variância explicada subiu para ~23% (máximo para DKT), deixando 77–90% sem explicação.
• Implicação: O sinal de incerteza é amplamente específico da arquitetura. Ele decorre da representação interna e não linear do modelo da trajetória de aprendizado única de um aluno, que não pode ser reconstruída por heurísticas externas ou proxies psicométricos mais simples.

5. Significado e Conclusão

Este artigo estabelece que o Rastreamento de Conhecimento Responsável exige mais do que apenas alta precisão; exige consciência de incerteza.

• Necessidade de Incerteza Nativa: O estudo prova que confiar em proxies externos (como IRT ou cobertura do currículo) é insuficiente para uma implantação segura. O próprio sinal de incerteza interna do modelo (via MC-Dropout) é necessário para detectar previsões de alto risco.
• Estratégia de Implantação: A camada proposta de "Predição Seletiva" atua como um guardião. Previsões de baixa variância alimentam diretamente o motor de recomendação, enquanto previsões de alta variância acionam um fallback (por exemplo, revisão pelo professor, questões diagnósticas ou testes de domínio).
• Complementaridade: Esta abordagem não é um substituto para auditorias de equidade ou avaliação em sala de aula, mas é um componente complementar essencial para construir sistemas de IA educacional seguros e conscientes da confiança.

Em resumo, o artigo argumenta que, para que os modelos de KT sejam implantados de forma responsável em salas de aula reais, eles devem ser equipados com um mecanismo para "saber quando não sabem", e o MC-Dropout fornece uma solução robusta e nativa à arquitetura para alcançar isso.