Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Resumo Técnico: Geração Automatizada de Componentes de Conhecimento e Rastreamento de Conhecimento Interpretável em Problemas de Programação

Declaração do Problema
Na modelagem de estudantes, os Componentes de Conhecimento (KCs) são essenciais para avaliar o domínio detalhado de habilidades, permitir feedback personalizado e impulsionar sistemas de aprendizagem adaptativa. Tradicionalmente, os KCs são elaborados e etiquetados em problemas por especialistas humanos do domínio, um processo que é intensivo em mão de obra, propenso a vieses e difícil de escalar. Embora trabalhos anteriores tenham explorado a geração automatizada de KCs para questões de múltipla escolha, problemas de resposta aberta — particularmente em programação — permanecem pouco estudados. Problemas de codificação de resposta aberta apresentam desafios únicos: as respostas dos estudantes exibem diversidade significativa, erros podem ocorrer de inúmeras maneiras e múltiplas abordagens de solução válidas podem existir, cada uma cobrindo conjuntos diferentes de KCs. Métodos automatizados existentes frequentemente falham em capturar essa complexidade ou dependem de estruturas sintáticas rígidas inadequadas para submissões diversas de estudantes.

Metodologia
Os autores propõem um framework de duas partes: um pipeline automatizado para gerar e etiquetar KCs usando Modelos de Linguagem de Grande Escala (LLMs), e um novo método de Rastreamento de Conhecimento (KT), KCGen-KT, que aproveita esses KCs gerados.

1. Pipeline Automatizado de Geração de KCs:

   • Geração Inicial: Para cada problema de programação, o sistema seleciona um conjunto diversificado de submissões de código corretas e representativas de estudantes (agrupadas via embeddings CodeBERT para garantir variedade). O GPT-4o é acionado com exemplos de few-shot e raciocínio de cadeia de pensamento para identificar KCs detalhados necessários para resolver o problema, convertendo tags de tópico existentes em descrições em linguagem natural.
   • Controle de Agrupamento e Abstração: Para gerenciar a granularidade, as descrições textuais dos KCs gerados são incorporadas usando Sentence-BERT. A Agrupamento Hierárquico Aglomerativo (HAC) é aplicada para fundir KCs semanticamente similares. Ao ajustar o número de clusters, o sistema controla o nível de abstração, movendo-se de habilidades específicas em nível de função para agrupamentos conceituais mais amplos.
   • Rotulagem: O GPT-4o é acionado para resumir cada cluster em um único rótulo informativo (seja selecionando um KC existente ou sintetizando uma nova descrição). Finalmente, uma matriz Q é construída mapeando cada problema para seus KCs resumidos correspondentes.

2. KCGen-KT (Framework de Rastreamento de Conhecimento):

   • Arquitetura: O modelo utiliza o Llama 3 (8 bilhões de parâmetros) como base para aprendizado multi-tarefa, prevendo tanto a correção binária da próxima submissão do estudante quanto o código real token a token.
   • Modelagem do Estado do Estudante: Um LSTM padrão atualiza o estado latente de conhecimento do estudante ($h_t$) com base no texto do problema passado, no código e na correção. Esse estado é projetado em um vetor de domínio ($m_t$) representando a proficiência em cada KC único.
   • Conversão de Soft-Token: Para integrar níveis de domínio ao espaço de entrada do LLM, o modelo converte valores discretos de domínio em "soft tokens". Um nível de domínio $m^j_t$ para o KC $j$ é transformado em uma combinação ponderada dos embeddings para os tokens "verdadeiro" e "falso": $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$. Isso permite que gradientes fluam através dos parâmetros de domínio durante o treinamento.
   • Interpretabilidade: O modelo emprega um modelo compensatório para agregar níveis individuais de domínio de KCs em uma pontuação geral de domínio, garantindo que maior conhecimento em KCs específicos se correlacione com uma maior probabilidade de resposta correta.
   • Objetivo de Treinamento: O sistema minimiza uma função de perda combinada incluindo perda de geração de código (entropia cruzada), perda de previsão de correção (entropia cruzada binária) e uma perda de regularização para impor monotonicidade entre o domínio de KCs e a correção.

Principais Contribuições

• Primeiro Pipeline Automatizado para Codificação de Resposta Aberta: O artigo apresenta o primeiro pipeline baseado em LLM capaz de gerar e etiquetar KCs especificamente para problemas de programação de resposta aberta, abordando a diversidade e complexidade das submissões de código dos estudantes.
• KT Interpretável com Soft Tokens: Os autores introduzem o KCGen-KT, que modela explicitamente o domínio do estudante em descrições textuais de KCs. O novo mecanismo de conversão de soft tokens permite que o LLM utilize níveis contínuos de domínio como entradas, fechando a lacuna entre estados latentes de estudantes e geração textual.
• Validação Empírica: O framework é avaliado em dois conjuntos de dados do mundo real (CodeWorkout e FalconCode) contendo milhares de submissões de estudantes.

Resultados

• Desempenho: O KCGen-KT supera os métodos existentes de KT mais avançados (incluindo TIKTOC e Code-DKT) e baselines usando KCs escritos por humanos. Especificamente, a versão usando KCs gerados por LLM alcança melhorias estatisticamente significativas em AUC, pontuação F1, precisão e CodeBLEU (para geração de código) em ambos os conjuntos de dados.
• Análise de Granularidade: Experimentos variando o nível de abstração dos KCs revelam que KCs excessivamente abstratos (clusters de alto nível) degradam o desempenho, enquanto níveis de abstração médio a baixo (granularidade mais fina) produzem os melhores resultados. Isso sugere que detalhes suficientes são cruciais para uma modelagem de estudante precisa.
• Curvas de Aprendizado: Os KCs gerados alinham-se melhor à lei de potência da prática (taxas de erro diminuindo com a prática) em comparação com KCs escritos por humanos, alcançando um $R^2$ ponderado mais alto (0,21 vs. 0,18) quando ajustados a modelos de curva de aprendizado.
• Avaliação Humana: Instrutores classificaram os KCs gerados por LLM como altamente interpretáveis (98,6% vs. 94,6% para baselines humanas) e encontraram que os mapeamentos problema-KC tinham alta precisão (93,2%) e cobertura (96% dos casos tiveram cobertura igual ou maior que as baselines humanas).

Significado e Alegações
O artigo alega que KCs de alta qualidade, gerados automaticamente, e etiquetagem precisa são críticos para melhorar o desempenho da modelagem de estudantes a jusante. Os autores demonstram que LLMs podem identificar efetivamente habilidades detalhadas em tarefas de codificação de resposta aberta, frequentemente superando tags escritas por humanos em poder preditivo e alinhamento com princípios de aprendizagem cognitiva.

O trabalho é moderadamente delimitado à educação em ciência da computação devido a restrições de disponibilidade de dados (a necessidade de dados de resposta de estudantes de resposta aberta longitudinais em grande escala). Os autores reconhecem que seu pipeline atualmente depende de exemplos em contexto e que trabalhos futuros devem explorar refinamento com intervenção humana, otimização direta para ajuste de curva de aprendizado e aplicação a outros domínios como matemática e ciências. Eles enfatizam que sua abordagem destina-se a apoiar educadores reduzindo o trabalho manual, não a substituir o julgamento humano, e recomendam revisão de especialistas antes da implantação em ambientes educacionais reais.