Resumo Técnico: Simulando Erros de Programação em Java de Estudantes com Grandes Modelos de Linguagem

Declaração do Problema

Compreender os erros dos estudantes é fundamental para o ensino de programação, particularmente para identificar erros lógicos que revelam concepções errôneas subjacentes e estratégias de raciocínio falhas. No entanto, obter um conjunto representativo de erros autênticos de estudantes para novas tarefas projetadas é lento e dispendioso, pois requer implantação extensiva em sala de aula e acumulação de dados. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um caminho escalável para simular comportamentos de aprendizes, as abordagens atuais enfrentam uma lacuna crítica: o prompting geral tende a produzir soluções corretas, enquanto estratégias de corrupção aleatória produzem bugs artificiais sem valor pedagógico. O desafio central é a indistinguibilidade — gerar erros que sejam errados da maneira específica que um estudante novato erraria (refletindo compreensão parcial e concepções errôneas específicas) em vez de ruído superficial. Além disso, a infraestrutura de avaliação existente frequentemente prioriza a correção absoluta em detrimento da diversidade e do alinhamento dos padrões de erro.

Metodologia

O estudo utiliza o conjunto de dados CodeWorkout, composto por mais de 74.000 submissões únicas de Java de estudantes, abrangendo 37 problemas de introdução à programação coletados de estudantes de graduação da Virginia Tech.

Design Experimental

1. Preparação de Dados: Os autores filtraram os logs brutos para reter apenas códigos compiláveis, porém incorretos (erros lógicos), removendo erros de sintaxe e submissões totalmente corretas. Os problemas foram categorizados em três níveis de dificuldade (struggling levels) (Baixo, Médio, Alto) com base no volume total de submissões de estudantes por problema, servindo como um proxy para a dificuldade de aprendizagem empírica.
2. Simulação de LLM: Cinco LLMs foram avaliados: Google Gemini 2.5 Pro, OpenAI GPT-5, OpenAI GPT-4o, Anthropic Claude Sonnet 4, e xAI Grok Code Fast 1.
3. Estratégias de Prompting: Três estratégias distintas foram testadas para cada combinação de modelo/problema:
   • Entrada-Saída (IO): Instrução direta sem raciocínio intermediário.
   • Cadeia de Pensamento (CoT): O modelo articula uma justificativa para um deslize lógico antes de gerar o código.
   • Auto-Refinamento Iterativo: Um loop iterativo onde um crítico fornece feedback e um refinador reescreve o código (até quatro iterações).
4. Métricas de Avaliação:
   • Diversidade (RQ1): Medida através da média da distância de edição de árvore Zhang–Shasha (ZSS) entre os códigos errôneos gerados. Distâncias maiores indicam maior variação estrutural.
   • Alinhamento (RQ2): Medido pela distância de edição do vizinho mais próximo entre o código gerado pelo LLM e a submissão humana autêntica mais próxima. Distâncias menores indicam maior fidelidade aos erros reais dos estudantes.
   • Validação Qualitativa: Um estudo de anotação de especialistas cegos ($N=401$) comparou erros sintéticos (Claude Sonnet 4 com Auto-Refinamento) e erros autênticos. Especialistas avaliaram a plausibilidade (escala Likert de 1–5), realizaram a atribuição de origem (teste de Turing) e categorizaram os erros em oito taxonomias de erros lógicos.

Principais Resultados

1. Diversidade (RQ1)

Todos os modelos demonstraram a capacidade de gerar códigos errôneos diversos, mas o desempenho variou significativamente por modelo e estratégia.

• Gemini 2.5 Pro e Claude Sonnet 4 exibiram a maior diversidade, com distâncias de edição médias frequentemente excedendo 60, particularmente ao usar prompting CoT.
• GPT-4o produziu os padrões de erro mais homogêneos (menos diversos) (distâncias ~25–40).
• Impacto do Prompting: As estratégias modularam a diversidade de forma diferente; por exemplo, o Auto-Refinamento reduziu a diversidade no Claude Sonnet 4, mas a aumentou em outros contextos.

2. Alinhamento (RQ2)

A capacidade de mimetizar erros autênticos de estudantes variou por modelo, com um claro compromisso (trade-off) contra a diversidade.

• Claude Sonnet 4 alcançou o desempenho mais equilibrado, mantendo distâncias de edição relativamente baixas (melhor caso: 16,35 com Auto-Refinamento) em todas as estratégias, indicando forte alinhamento com erros humanos.
• Grok Code Fast 1 alcançou a distância mínima absoluta (16,22) com Auto-Refinamento, mas mostrou alta variância em outros prompts.
• GPT-5 e Gemini 2.5 Pro mostraram baixo alinhamento, com distâncias frequentemente excedendo 80, sugerindo que seus erros divergem significativamente dos padrões de estudantes autênticos.
• Avaliação Humana: Os anotadores classificaram erroneamente 83,7% das submissões geradas por LLM como escritas por humanos. Surpreendentemente, os erros gerados por LLM receberam uma pontuação de plausibilidade significativamente maior (4,27) do que os erros autênticos (3,78). Isso é atribuído ao fato de os LLMs gerarem erros lógicos "limpos" e de propósito único (ex: Lógica de Condição, erros de Limite/Boundary) que se assemelham a concepções errôneas de livros didáticos, enquanto o código autêntico de estudantes frequentemente continha erros difusos, de múltiplos defeitos ou de nível estratégico, que eram mais difíceis de categorizar de forma limpa.

3. Nível de Dificuldade como Moderador (RQ3)

A dificuldade da tarefa de programação (nível de dificuldade/struggling level) influenciou tanto a diversidade quanto o alinhamento.

• Diversidade: Níveis de dificuldade mais altos elicitaram saídas de erro mais diversas (heterogêneas) dos LLMs, pois problemas mais difíceis abrem mais caminhos de falha.
• Alinhamento: Inversamente, conforme o nível de dificuldade aumentava, o alinhamento entre o código gerado pelo LLM e os erros autênticos diminuía (as distâncias de edição aumentavam). Os modelos encontraram maior dificuldade em reproduzir erros lógicos semelhantes aos de estudantes em problemas de alta dificuldade, divergindo ainda mais do comportamento autêntico.

Significância e Contribuições

O artigo afirma que os LLMs podem servir como proxies escaláveis para estudantes na geração de erros lógicos, mas com compromissos específicos que devem ser gerenciados com base no objetivo da aplicação:

1. Simulação Equilibrada: O Claude Sonnet 4 é identificado como o modelo mais equilibrado, oferecendo um compromisso entre gerar padrões de erro diversos e manter alta fidelidade aos erros de estudantes autênticos.
2. Utilidade Pedagógica: O estudo valida que erros sintéticos podem ser funcionalmente indistinguíveis de erros autênticos para especialistas. Isso apoia a integração de dados sintéticos em:
   • Sistemas de Tutoria Inteligente (ITS): Para treinar sistemas para diagnosticar diversas concepções errôneas sem depender apenas de escassos dados humanos.
   • Agentes Ensináveis (Teachable Agents): Para permitir que os alunos pratiquem a depuração corrigindo erros gerados por IA, promovendo o aprendizado vicário.
   • Desenvolvimento Profissional de Professores: Para expor educadores a uma variedade concentrada de concepções errôneas antecipadas para um melhor planejamento instrucional.
3. Considerações de Design: As descobertas destacam um compromisso entre diversidade e fidelidade (diversity–fidelity trade-off). Modelos fortes em diversidade (ex: Gemini) podem carecer de alinhamento, enquanto aqueles com alto alinhamento podem ser menos diversos. Além disso, o "nível de dificuldade" de uma tarefa atua como um duplo moderador: aumenta a amplitude dos erros simulados, mas reduz sua representatividade do comportamento real do estudante.

Os autores concluem que, embora os LLMs ofereçam um caminho promissor para aumentar os dados de estudantes em tecnologia educacional, seu uso requer a seleção cuidadosa de modelos e estratégias de prompting adaptadas ao objetivo: seja a cobertura ampla de concepções errôneas ou a aproximação precisa das distribuições de erros observadas em sala de aula.