Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

Resumo Técnico: Uso de LLMs para Rotulagem de Correção em Nível de Componente de Conhecimento em Problemas de Codificação Aberta

1. O Problema

No campo da modelagem de estudantes e análise de aprendizado, os Componentes de Conhecimento (KCs) são unidades fundamentais de habilidade ou conceito. Para modelar com precisão o domínio de um estudante, é necessário saber quais KCs foram aplicados corretamente em cada tentativa de resolução de problemas.

No entanto, em conjuntos de dados reais de educação em ciência da computação (especialmente em tarefas de codificação aberta), as etiquetas de correção existem apenas no nível do problema inteiro (certo/errado), e não no nível de cada KC individual.

• Limitação Atual: A prática comum de propagar a correção do problema para todos os KCs associados é problemática. Um estudante pode dominar alguns conceitos (KCs) enquanto falha em outros dentro do mesmo código. Rotular todo o código como "incorreto" mascara o domínio parcial, resultando em curvas de aprendizado mal ajustadas que não seguem a Lei do Poder da Prática (que prevê que a taxa de erro deve diminuir à medida que o estudante pratica).
• Desafio: Obter manualmente essas etiquetas de correção em nível de KC é intensivo em mão de obra, propenso a erros e difícil de escalar. Métodos automáticos anteriores baseados em Árvores de Sintaxe Abstrata (AST) capturam apenas aspectos sintáticos superficiais, ignorando KCs algorítmicos de alto nível.

2. Metodologia Proposta

Os autores propõem um framework automatizado que utiliza Modelos de Linguagem de Grande Escala (LLMs) para inferir a correção de cada KC diretamente do código escrito pelo estudante. A abordagem consiste em três pilares principais:

1. Estratégia de Prompting (Cadeia de Pensamento - CoT):

   • O modelo (GPT-4o ou Qwen3) recebe o enunciado do problema, o código do estudante e o conjunto de KCs associados.
   • Utiliza-se uma estratégia de few-shot prompting com exemplos em contexto e Cadeia de Pensamento (Chain-of-Thought).
   • O modelo é instruído a raciocinar passo a passo: primeiro, determinar se um KC específico foi utilizado no código; segundo, avaliar se essa aplicação foi correta.
   • Se um KC necessário não for utilizado, é rotulado como incorreto. Isso gera uma etiqueta binária (correto/incorreto) para cada KC individualmente.

2. Geração Automatizada de KCs:

   • O framework é flexível e funciona tanto com KCs definidos por humanos quanto com KCs gerados automaticamente.
   • Para KCs gerados, o sistema agrupa soluções corretas diversas (usando embeddings do CodeBERT) e solicita ao LLM que gere candidatos a KCs que cubram as diferentes estratégias de solução, garantindo uma cobertura mais fiel do espaço conceitual.

3. Mapeamento Código-KC Sensível ao Contexto Temporal:

   • Para garantir que os KCs avaliados correspondam à estratégia de solução do estudante, o sistema não mapeia KCs apenas para o problema, mas para o código específico.
   • Mecanismo: O sistema compara o código da última tentativa do estudante (que geralmente é a versão mais completa e reflete a estratégia pretendida) com soluções de referência corretas. Identifica-se a solução de referência mais próxima (via distância cosseno) e extraem-se os KCs dessa solução.
   • A avaliação de correção é então aplicada à primeira tentativa do estudante, utilizando o conjunto de KCs alinhados à estratégia da última tentativa. Isso permite analisar a curva de aprendizado inicial sem o ruído de comportamentos de depuração posteriores.

3. Contribuições Principais

• Primeiro Estudo Sistemático: É o primeiro trabalho a investigar sistematicamente o uso de LLMs para rotulagem de correção em nível de KC em problemas de codificação aberta.
• Framework de Raciocínio: Introdução de uma estratégia de Chain-of-Thought que melhora a precisão da inferência de correção em comparação com prompts diretos.
• Mapeamento Contextual: Desenvolvimento de um mecanismo que alinha KCs à estratégia de solução específica do estudante, superando a limitação de mapeamentos estáticos baseados apenas no problema.
• Validação Robusta: O framework foi testado com diferentes modelos (GPT-4o e Qwen3) e diferentes conjuntos de KCs (humanos, gerados e selecionados), demonstrando generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados CodeWorkout (10.834 códigos de 246 estudantes em Java). As métricas avaliaram o ajuste da curva de aprendizado (Lei do Poder da Prática) e o desempenho preditivo (Modelo de Fatores Aditivos - AFM).

• Ajuste da Curva de Aprendizado:
  • O método baseado em LLM superou significativamente a baseline (usar a correção do problema para todos os KCs).
  • Redução no RMSE (Erro Quadrático Médio) e aumento no $R^2$, indicando que as curvas de aprendizado geradas seguem muito mais de perto a Lei do Poder da Prática (taxa de erro decrescente monotonicamente).
  • A baseline falhou em mostrar uma tendência de decréscimo consistente, enquanto o método LLM capturou a heterogeneidade das dificuldades.
• Desempenho Preditivo (AFM):
  • O modelo AFM treinado com os rótulos do LLM obteve uma AUC (Área Sob a Curva) superior, indicando melhor capacidade de prever o desempenho futuro dos estudantes.
• Avaliação Humana:
  • Um estudo com especialistas humanos mostrou um Kappa de Cohen de 0,74 entre as anotações do LLM (GPT-4o) e dos humanos, indicando "concordância substancial".
  • A concordância entre dois humanos foi de 0,86, servindo como limite superior.
• Ablação (CoT):
  • O uso de Chain-of-Thought foi crucial. Sem o raciocínio explícito, o desempenho caiu para níveis próximos à baseline, provando que a inferência de correção de KC é uma tarefa complexa que exige raciocínio intermediário.

5. Significado e Implicações

• Escalabilidade e Precisão: O trabalho demonstra que é possível substituir a rotulagem manual intensiva por uma abordagem escalável baseada em LLM, sem sacrificar a precisão cognitiva.
• Melhoria em Sistemas Adaptativos: Rótulos de correção mais precisos em nível de KC permitem que sistemas de aprendizado adaptativo forneçam feedback diagnóstico mais granular. Em vez de tratar um estudante como "totalmente errado", o sistema pode identificar quais conceitos específicos foram dominados e quais precisam de reforço.
• Validação Teórica: O método valida a teoria cognitiva ao produzir curvas de aprendizado que obedecem às leis fundamentais da aquisição de habilidades, algo que métodos anteriores baseados em problemas inteiros não conseguiam fazer.
• Limitações Futuras: O método assume que a última tentativa reflete a estratégia do estudante (o que pode não ser sempre verdade) e sugere futuras integrações com previsão de casos de teste e simulação de erros.

Em suma, o artigo estabelece um novo padrão para a análise de aprendizado em programação, demonstrando que os LLMs podem atuar como "tutores" automatizados capazes de decompor a complexidade do código do estudante em diagnósticos de habilidades precisos e teoricamente fundamentados.