Resumo Técnico: KASER (Simulador de Erros de Aluno Alinhado ao Conhecimento)

Declaração do Problema

Tarefas de codificação abertas são ubíquas na educação em ciência da computação e fornecem dados ricos sobre o conhecimento dos alunos. No entanto, treinar Modelos de Linguagem de Grande Escala (LLMs) para simular respostas de alunos — especificamente para prever os erros que os alunos cometerão — apresenta desafios significativos. Abordagens existentes frequentemente sofrem de colapso de modo, onde os modelos geram código excessivamente uniforme ou correto, falhando em capturar a alta diversidade em sintaxe, estilo e abordagens de solução encontradas em submissões reais de alunos. Além disso, muitos métodos existentes carecem de um vínculo explícito com o conhecimento do aluno, tornando-os menos pedagogicamente úteis para diagnosticar concepções equivocadas específicas. Métodos atuais do estado da arte ou dependem de ajuste fino supervisionado (SFT), que tende a gerar código correto, ou utilizam aprendizado em contexto e prompts baseados em persona, que lutam para generalizar padrões de erro para alunos individuais.

Metodologia: KASER

Os autores propõem o KASER (Simulador de Erros de Aluno Alinhado ao Conhecimento), um framework projetado para alinhar erros de alunos simulados aos seus perfis de conhecimento subjacentes. A metodologia consiste em três componentes principais:

1. Estimador de Conhecimento do Aluno (KE)

O KASER emprega inicialmente um modelo de Rastreamento de Conhecimento (KT) para estimar a maestria de um aluno sobre um conjunto de Componentes de Conhecimento (KCs).

• Entrada: Um histórico de submissões de código anteriores do aluno.
• Processo: O modelo comprime o estado de conhecimento do aluno em um vetor de maestria $m_t \in [0, 1]^k$, onde cada dimensão representa o nível de maestria de um KC específico.
• Saída: Um perfil de conhecimento interpretável usado para orientar a geração de código.

2. Preditor de Código do Aluno

Um modelo de linguagem de grande escala (especificamente Qwen2.5-Coder 7B Instruct) é treinado para prever a próxima submissão de código ($c_{t+1}$) dada a declaração do problema ($p$) e o vetor de maestria do aluno ($m_t$).

• Prompting: O prompt inclui o texto do problema e os níveis de maestria específicos para os KCs associados a esse problema.
• Treinamento Inicial: O modelo passa por um Ajuste Fino Supervisionado (SFT) para aprender a tarefa básica de geração de código condicionada ao conhecimento.

3. Aprendizado por Reforço com Recompensa Híbrida (GRPO)

Para superar o colapso de modo e alinhar erros ao conhecimento, o KASER utiliza Otimização de Política Relativa de Grupo (GRPO). Em vez do SFT padrão, o modelo é treinado adicionalmente usando uma função de recompensa híbrida $R$ composta por três componentes distintos:

• Recompensa de Similaridade de Código ($R_{Sim}$): Mede a similaridade sintática e semântica entre o código gerado e o código do aluno de referência (ground-truth) usando CodeBLEU.
• Recompensa de Correspondência de Erro ($R_{Error}$): Encoraja explicitamente o modelo a prever erros que correspondam aos encontrados no código de referência. Isso é calculado usando a Interseção sobre União (IoU) dos conjuntos de erros (sintaxe, tempo de execução e lógicos) identificados por um LLM atuando como juiz. Este componente prioriza a correspondência do tipo de erro sobre a mera similaridade superficial.
• Recompensa de Diversidade de Código ($R_{Div}$): Uma recompensa em nível de grupo que penaliza o modelo se os códigos gerados dentro de um lote forem muito semelhantes entre si. Isso é calculado como $1 - \max(\text{CodeBLEU})$ contra outras amostras no grupo, prevenindo o colapso de modo e incentivando abordagens de solução diversas.

Pipeline de Anotação de Erros

Para treinar e avaliar a capacidade de correspondência de erros, os autores desenvolveram um pipeline automatizado de anotação de erros:

1. Geração: Um LLM (o4-mini) gera anotações de erros para o código do aluno, cobrindo erros de sintaxe, tempo de execução e lógicos.
2. Agrupamento: As descrições de erros são agrupadas usando embeddings do Sentence-BERT e Agrupamento Aglomerativo Hierárquico para agrupar erros semelhantes.
3. Resumo: Um rótulo de erro representativo e generalizado é gerado para cada cluster.
   A avaliação humana confirmou um acordo substancial (F1 $\approx$ 0,75–0,92) entre o juiz LLM e os anotadores humanos.

Contribuições Principais

1. Simulação Alinhada ao Conhecimento: O desenvolvimento de um método baseado em GRPO que alinha explicitamente erros de alunos previstos aos perfis de conhecimento de entrada, indo além da previsão de código superficial.
2. Design de Recompensa Híbrida: A introdução de uma função de recompensa de três partes que equilibra similaridade de código, sobreposição de erros (IoU) e diversidade de geração para prevenir o colapso de modo.
3. Avaliação Abrangente: Avaliação quantitativa extensa em dois níveis:
   • Par Aluno-Problema: Avaliando a precisão da previsão e a correspondência de erros para instâncias específicas de alunos.
   • Por Problema: Avaliando a capacidade do modelo de cobrir uma ampla gama de erros e gerar código diverso em uma população.

Resultados

Os experimentos foram conduzidos em dois conjuntos de dados do mundo real: CodeWorkout (Java) e FalconCode (Python).

• Nível Par Aluno-Problema: O KASER superou todas as linhas de base (incluindo PersonaPrompt, Aprendizado em Contexto, ParaStudent e Student SFT) em todas as métricas. Notavelmente, alcançou uma melhoria estatisticamente significativa em Correspondência de Erro (IoU) e Similaridade de Código (CodeBLEU). Por exemplo, no CodeWorkout, o KASER alcançou um IoU@1 de 0,157, comparado a 0,115 para a linha de base mais forte (Student SFT).
• Nível Por Problema: O KASER demonstrou Cobertura de Erro e Diversidade de Código superiores. Ele previu com sucesso uma gama mais ampla de erros únicos e gerou soluções de código mais diversas em comparação com as linhas de base, que frequentemente convergiam para soluções corretas ou padrões de erro repetitivos.
• Análise Qualitativa: Estudos de caso mostraram que o KASER podia simular tipos específicos de erros (por exemplo, operadores de comparação incorretos, instruções de retorno ausentes) correspondentes a baixos níveis de maestria em KCs específicos, enquanto linhas de base como Student SFT tendiam a gerar código correto independentemente do perfil de conhecimento simulado.

Significado e Alegações

O artigo afirma que o KASER representa um passo significativo para a frente na IA educacional, permitindo a simulação de erros de alunos que são interpretáveis e alinhados com deficiências de conhecimento específicas.

• Utilidade Pedagógica: Ao alinhar erros com componentes de conhecimento, o sistema pode ajudar instrutores a diagnosticar concepções equivocadas de alunos com mais precisão e fornecer feedback personalizado.
• Superação do Colapso de Modo: A abordagem de recompensa híbrida mitiga efetivamente a tendência dos LLMs de gerar apenas código correto ou uniforme, uma limitação crítica na simulação da "luta" inerente à aprendizagem.
• Limitações: Os autores notam modestamente que, embora o modelo se destaque em erros lógicos e de tempo de execução, ainda luta para gerar certos erros de sintaxe (por exemplo, chaves desbalanceadas), provavelmente devido ao viés de pré-treinamento dos LLMs em direção a código sintaticamente válido. Eles também reconhecem que sua anotação de erros depende de LLMs sem acesso a casos de teste, o que pode limitar a granularidade da categorização de erros.

Em conclusão, o KASER demonstra que integrar rastreamento de conhecimento explícito com aprendizado por reforço e recompensas que promovem diversidade permite que LLMs simulem melhor os padrões de erro sutis e diversos de alunos humanos em tarefas de codificação abertas.