Temporal Smoothness Doubly Robust Learning for Debiased Knowledge Tracing

Resumo Técnico: Aprendizado Duplamente Robusto com Suavidade Temporal para Rastreamento de Conhecimento Desviciado

Declaração do Problema
O Rastreamento de Conhecimento (KT) visa modelar o estado dinâmico de conhecimento de um estudante para prever o desempenho futuro. No entanto, os modelos de KT baseados em aprendizado profundo existentes frequentemente sofrem de desvios sistemáticos em relação aos estados de conhecimento reais. O artigo identifica a causa raiz como viés de seleção decorrente da natureza Não Aleatória em Falta (MNAR) dos dados educacionais. Em cenários do mundo real, os estudantes pulam estrategicamente questões que percebem como muito difíceis ou muito fáceis, e os sistemas de recomendação frequentemente filtram o conteúdo com base na habilidade estimada. Isso resulta em logs observados que são distorcidos, fazendo com que a minimização empírica de risco padrão confunda dinâmicas genuínas de conhecimento com padrões de interação (por exemplo, comportamento de pulo). Consequentemente, os modelos aprendem estimativas de domínio enviesadas, o que dispara recomendações enviesadas em sistemas adaptativos, criando um ciclo de retroalimentação que exacerba o viés.

Metodologia
Os autores propõem o framework Aprendizado Duplamente Robusto com Suavidade Temporal (TSDR), que integra princípios de inferência causal com restrições de aprendizado sequencial.

1. Formulação Duplamente Robusta (DR):
   O núcleo da abordagem é um estimador DR que combina dois modelos para corrigir o viés de seleção:

   • Modelo de Propensão: Estima a probabilidade de uma interação ser observada (probabilidade de seleção).
   • Modelo de Imputação de Erro: Estima o erro de previsão para interações não observadas (contrafactuais).
     O estimador DR é teoricamente garantido como não enviesado se qualquer um dos modelos de propensão ou de imputação for preciso. A função de perda é construída como a soma do erro imputado e um termo de correção ponderado pela propensão inversa.

2. Análise Teórica e Controle de Variância:
   Os autores derivam um limite de generalização para o estimador DR no contexto de KT sequencial. Eles identificam que, embora o termo de viés seja controlado pelo produto dos erros do modelo (garantindo a dupla robustez), o termo de variância é dominado pelo erro quadrático do modelo de imputação. Em configurações sequenciais, uma imputação imprecisa leva a desvios estocásticos que se acumulam ao longo do tempo, causando instabilidade no treinamento e amplificação de erros.

3. Restrição de Suavidade Temporal:
   Para mitigar a variância e estabilizar o treinamento, os autores introduzem um regularizador de suavidade temporal. Baseando-se na Lei de Potência da Prática, que sugere que a aquisição de habilidade segue uma trajetória suave em vez de mudanças abruptas, essa restrição penaliza grandes desvios nos estados latentes do modelo de imputação entre passos de tempo consecutivos. Isso efetivamente apertar o limite de generalização ao reduzir a complexidade de Rademacher da trajetória latente.

4. Paradigma de Aprendizado Conjunto:
   O framework emprega uma estratégia de aprendizado conjunto onde o preditor de KT, o modelo de propensão e o modelo de imputação são co-otimizados via uma estratégia alternada. Isso permite que os modelos se regularizem mutuamente, garantindo que o modelo de imputação permaneça preciso o suficiente para suportar a estimativa não enviesada do backbone de KT.

Principais Contribuições

• Perspectiva Causal sobre o Viés de KT: O artigo reformula o KT como um problema de estimativa contrafactual, modelando explicitamente o processo de geração de dados para abordar o viés de seleção induzido por recomendações de exercícios não aleatórias e escolhas dos estudantes.
• Framework TSDR: Um framework agnóstico ao modelo que integra estimativa DR com suavidade temporal. É projetado para ser "plug-and-play", capaz de aprimorar vários backbones de KT de última geração (por exemplo, DKT, AKT, SparseKT).
• Justificativa Teórica: Os autores fornecem um limite de generalização que caracteriza explicitamente o impacto da variância do estimador e identifica a suavidade temporal como um fator crítico para o controle de desvios estocásticos no aprendizado sequencial.
• Validação Empírica Extensa: O framework é avaliado em 9 conjuntos de dados de referência do mundo real e conjuntos de dados sintéticos com níveis MNAR controláveis.

Resultados Experimentais

• Melhoria de Desempenho: O TSDR melhora consistentemente o desempenho (medido por AUC, ACC e RMSE) de seis diferentes baselines de KT de última geração em nove conjuntos de dados diversos. Melhorias notáveis foram observadas em conjuntos de dados com alta esparsidade ou forte autonomia do estudante (por exemplo, um aumento de 5,06% no AUC para o AKT no conjunto de dados Prob).
• Robustez ao Viés: Em experimentos sintéticos onde o grau de viés MNAR ($\gamma$) variou de 0 a 0,999, os modelos equipados com TSDR mantiveram desempenho superior em comparação com as baselines, particularmente na redução de erros (RMSE) sob condições de alto viés.
• Estabilidade e Sensibilidade: O método demonstrou robustez ao hiperparâmetro que controla a restrição de suavidade ($\lambda$), alcançando desempenho estável dentro de uma faixa de $[0,3, 1,0]$.
• Estudos de Ablação: Experimentos confirmaram que a combinação de aprendizado conjunto e suavidade temporal aplicada especificamente ao ramo de imputação produz os melhores resultados, superando variantes que aplicam suavidade diretamente ao backbone de KT ou omitem o aprendizado conjunto.

Significado e Alegações
O artigo alega que o TSDR oferece um paradigma principiado e fundamentado causalmente para aprender a partir de dados educacionais observacionais. Ao abordar o viés de seleção sistêmico inerente aos dados MNAR, o framework permite que os modelos aprendam estados de conhecimento mais confiáveis em vez de apenas ajustar comportamentos observados. Os autores enfatizam que, embora a otimização conjunta introduza uma sobrecarga adicional de treinamento, esse custo está confinado à fase de treinamento offline e não compromete a eficiência da inferência online. Em última análise, o TSDR é apresentado como um passo vital para sistemas de tutoria inteligente mais confiáveis e justos, demonstrando que a correção principiada de viés é essencial para as capacidades de generalização dos modelos de rastreamento de conhecimento.