ConceptKT: A Benchmark for Concept-Level Deficiency Prediction in Knowledge Tracing

Resumo Técnico: ConceptKT

1. Problema e Motivação

O Knowledge Tracing (KT), ou Rastreamento de Conhecimento, é uma técnica fundamental para modelar o estado de conhecimento dos alunos e apoiar a aprendizagem personalizada. No entanto, a maioria dos sistemas existentes foca apenas na predição binária de correção (certo/errado), falhando em diagnosticar as deficiências conceituais subjacentes que levam aos erros.

Em cenários educacionais reais, prever apenas se um aluno acertará ou errará é insuficiente. Para criar intervenções instrucionais direcionadas e materiais de remediação eficazes, é essencial identificar quais conceitos específicos o aluno não dominou. Além disso, os conjuntos de dados atuais de KT muitas vezes carecem de processos de resolução detalhados e anotações conceituais finas.

O artigo propõe a tarefa de Predição de Deficiência em Nível de Conceito, que estende o KT tradicional para identificar não apenas a correção da resposta, mas também os conceitos específicos que o aluno provavelmente terá dificuldade em problemas futuros.

2. Metodologia

2.1. Construção do Dataset (ConceptKT)
Os autores criaram o ConceptKT, uma extensão do dataset MathEDU, anotado por três especialistas em educação matemática.

• Origem: Baseado em 4.048 registros de processos de solução de problemas de 6 estudantes com formações diversas.
• Anotações: Cada registro foi rotulado com:
  1. Conceitos Associados: Os conceitos necessários para resolver a questão.
  2. Conceitos Faltantes (Missing Concepts): Os conceitos que o aluno demonstrou não dominar ao cometer um erro (diferenciando erros conceituais de erros de cálculo ou descuido).
• Estrutura: O dataset abrange 55 conceitos matemáticos agrupados em 13 categorias (ex: Aritmética Básica, Geometria, Probabilidade, Física).

2.2. Formulação da Tarefa
O estudo adota uma abordagem de Aprendizado em Contexto (In-Context Learning) utilizando Grandes Modelos de Linguagem (LLMs) e Modelos de Raciocínio (LRMs).

• Entrada: Um histórico de respostas do aluno ($H$) e uma nova questão alvo ($q$).
• Saída: O modelo deve realizar três etapas:
  1. Identificar os conceitos associados à questão alvo.
  2. Analisar o histórico do aluno para avaliar o domínio conceitual.
  3. Prever a correção da resposta e identificar o conjunto de deficiências conceituais ($\gamma$) que podem levar a um erro.

2.3. Estratégias de Seleção de Histórico
Um dos pontos centrais da metodologia é investigar se é necessário alimentar o modelo com todo o histórico do aluno ou se uma seleção é mais eficaz. Foram testadas três estratégias:

1. Todas as Respostas: Uso do histórico completo sem filtragem.
2. Apenas Mesmo Conceito: Seleção de respostas históricas que envolvem os mesmos conceitos da questão alvo.
3. Seleção Semântica Conceitual: Filtra primeiro por conceitos comuns e, em seguida, seleciona as respostas mais semanticamente similares à questão alvo (usando BERTScore), limitando o número de exemplos para o prompt.

3. Contribuições Principais

1. Nova Tarefa: Introdução da "Predição de Deficiência em Nível de Conceito" como uma extensão do KT tradicional, visando diagnósticos mais finos.
2. Novo Dataset (ConceptKT): O primeiro dataset com anotações de nível de conceito feitas por especialistas, capturando tanto os requisitos da questão quanto as lacunas de conhecimento específicas dos erros dos alunos.
3. Análise de Seleção de Histórico: Avaliação sistemática de como a seleção de registros históricos (baseada em alinhamento conceitual e similaridade semântica) impacta o desempenho de LLMs e LRMs em tarefas de KT.

4. Resultados Experimentais

Os experimentos envolveram vários LLMs (ex: Llama-4, o3-mini, DeepSeek-R1) e modelos tradicionais de KT (DKT, DKVMN, etc.).

• Desempenho de Predição:
  • Modelos tradicionais (como OKT) têm bom desempenho na previsão de correção, mas falham na identificação de deficiências conceituais.
  • LLMs com estratégias de seleção superaram a abordagem de "todas as respostas".
• Impacto da Seleção de Respostas:
  • Usar todas as respostas (sem filtragem) resultou em queda significativa no desempenho de predição de deficiências conceituais (ex: Macro-F1 de 5,43% para o Llama-4).
  • A estratégia "Apenas Mesmo Conceito" melhorou substancialmente os resultados. O modelo DeepSeek-R1 alcançou o melhor Macro-F1 (17,40%) para deficiências conceituais nesta configuração.
  • A Seleção Semântica Conceitual trouxe melhorias adicionais para alguns modelos (ex: o3-mini saltou de 2,16% para 12,77% de Macro-F1), demonstrando que a qualidade e a relevância conceitual dos dados de entrada são mais críticas do que a quantidade bruta.
• Análise de Augmentation (Preenchimento): Quando o histórico de "mesmo conceito" era insuficiente (<30), adicionar respostas de conceitos diferentes (aleatoriamente ou por similaridade) piorou o desempenho, introduzindo ruído contextual. Isso reforça que o alinhamento conceitual é mais importante que o volume de dados.

5. Significado e Conclusão

O trabalho demonstra que, para diagnósticos educacionais precisos, a simples ingestão de grandes volumes de dados históricos não é suficiente e pode até ser prejudicial devido a ruídos e redundâncias.

• Insight Chave: A seleção inteligente de exemplos históricos, baseada no alinhamento conceitual e na similaridade semântica, permite que modelos de linguagem (mesmo os menores) realizem diagnósticos de deficiências conceituais com alta precisão.
• Aplicabilidade: Este método permite que sistemas de ensino adaptativo não apenas prevejam se um aluno vai errar, mas por que vai errar, possibilitando a criação de materiais de remediação direcionados e intervenções pedagógicas mais eficazes.
• Limitações: O estudo utiliza um formato de prompt fixo e anotações binárias (domínio vs. não domínio), sem capturar graus parciais de entendimento, o que é uma área para trabalhos futuros.

Em suma, o ConceptKT estabelece um novo padrão para a avaliação de diagnósticos educacionais baseados em IA, provando que a curadoria de dados (seleção de contexto) é tão vital quanto a capacidade do modelo em si.