Teaching Language Models How to Code Like Learners: Conversational Serialization for Student Simulation

Resumo Técnico: Simulação de Estudantes via Serialização Conversacional

1. O Problema

A educação em computação em larga escala depende cada vez mais de modelos que simulam o comportamento de estudantes para avaliar estratégias de tutoria e mecanismos de feedback. No entanto, as abordagens existentes enfrentam limitações significativas:

• Dependência de Modelos Proprietários: Muitas soluções atuais utilizam prompts em grandes modelos de linguagem (LLMs) proprietários, o que levanta preocupações sobre privacidade de dados, custos e dependência de terceiros.
• Falta de Realismo no Debugging: Os métodos baseados apenas em prompts tendem a reproduzir padrões de erro superficiais ou gerar soluções corretas prematuramente, falhando em capturar a natureza dinâmica e iterativa do processo de depuração (debugging) real dos estudantes.
• Dificuldade em Operacionalizar Intervenções: Embora modelos de "tracção de conhecimento" (Knowledge Tracing) prevejam o que um estudante sabe, eles não modelam adequadamente como o estudante age, reage e progride ao interagir com sistemas de aprendizado.

2. Metodologia Proposta

Os autores propõem um pipeline de treinamento para modelos de linguagem de peso aberto (open-weight) que simulam estudantes de programação, utilizando dados processuais autênticos.

A. Serialização Conversacional (Student-Environment Serialization)
A inovação central é transformar os logs brutos de interação estudante-ambiente em um formato de diálogo estruturado:

• Estrutura de Diálogo: O processo de resolução de problemas é representado como uma conversa entre o "Assistente" (o estudante) e o "Usuário" (o sistema de avaliação automatizado/autograder).
• Turnos:
  • Assistente: Submissão de código pelo estudante.
  • Usuário: Feedback do ambiente (resultados de testes unitários, notas, rastros de erro, mensagens do avaliador).
• Objetivo: Isso permite que os modelos aprendam o processo iterativo de depuração, onde o código evolui em resposta direta ao feedback, sem necessidade de modificações arquiteturais complexas.

B. Pipeline de Treinamento
O treinamento combina duas etapas principais para alinhar o modelo ao comportamento real dos estudantes:

1. Ajuste Fino Supervisionado (SFT): O modelo é treinado para prever a próxima submissão de código do estudante dado o histórico de interações. A perda é calculada apenas nos turnos do assistente (código do estudante).
2. Otimização de Preferência (Preference Optimization): Para evitar que o modelo pule etapas e gere soluções corretas prematuramente, utilizam-se técnicas de otimização de preferência:
   • DPO (Direct Preference Optimization - Offline): Cria pares contrastivos onde a continuação "preferida" é a próxima submissão real do estudante, e a "não preferida" é uma submissão subsequente com uma nota diferente (geralmente uma tentativa falha ou diferente). Isso ensina o modelo a seguir o caminho de depuração específico do aluno.
   • DAPO (Group Relative Preference Optimization - Online): Uma variante online que amostra múltiplas candidatas para a próxima etapa, recompensando aquelas que mantêm a funcionalidade ou a sintaxe próxima à do estudante real, penalizando falhas de compilação.

3. Principais Contribuições

1. Serialização Estudante-Ambiente: Introdução de uma formulação conversacional que permite aos modelos de linguagem aprender processos iterativos de depuração a partir de logs brutos.
2. Metodologia de Treinamento para Estudantes Artificiais: Um pipeline robusto combinando SFT e otimização de preferência (DPO/DAPO) para alinhar modelos com trajetórias de codificação autênticas.
3. Avaliação Empírica em Larga Escala: Validação do framework em um conjunto de dados massivo de submissões reais (FalconCode), demonstrando que o feedback do ambiente e a otimização de preferência geram ganhos complementares no realismo da simulação.
4. Reprodutibilidade: O código e os dados processados foram liberados publicamente.

4. Resultados Experimentais

O framework foi avaliado utilizando modelos Qwen3 (4B e 8B parâmetros) no conjunto de dados FalconCode (submissões de Python da Academia da Força Aérea dos EUA).

• Desempenho vs. Baselines:
  • Modelos baseados apenas em prompts (incluindo o GPT-5-mini) tiveram desempenho inferior, frequentemente gerando soluções corretas muito cedo (baixa "cobertura" da trajetória real) e com baixa similaridade de código (CodeBLEU).
  • Modelos ajustados (fine-tuned) superaram significativamente as baselines em todas as métricas.
• Impacto do Feedback do Ambiente: Modelos treinados com o feedback do ambiente (SFT, DPO) superaram consistentemente os modelos treinados apenas com código (PARA), mesmo quando os últimos tinham mais contexto de código disponível. Isso indica que o feedback do avaliador é mais informativo para a simulação do que apenas o histórico de código.
• Superioridade do DPO (Offline):
  • O DPO alcançou os melhores resultados em Cobertura (capacidade de gerar código em todos os passos da trajetória sem terminar prematuramente) e Proximidade de Nota (alinhamento funcional com a nota que o estudante obteve naquele passo).
  • O DPO manteve a trajetória de notas mais fiel à dos estudantes reais ao longo do tempo (ver Figura 2 do artigo).
• Limitações do Online (DAPO): A otimização online (DAPO) não superou consistentemente o SFT, possivelmente devido a restrições computacionais na amostragem e à falta de raciocínio explícito (chain-of-thought) antes da geração de código.

5. Significância e Implicações

• Privacidade e Custo: A abordagem permite treinar modelos locais e de peso aberto, evitando o envio de dados sensíveis de estudantes para APIs proprietárias.
• Simulação Realista: Ao capturar a progressão incremental de erros e correções, os modelos simulam melhor a "psicologia" do aprendizado, sendo ferramentas superiores para testar a eficácia de sistemas de tutoria antes de implementá-los em salas de aula reais.
• Integração com Tutoria: A serialização conversacional cria uma ponte natural para integrar agentes tutores nos mesmos diálogos, permitindo simular interações complexas entre estudante, ambiente e tutor.
• Futuro: O trabalho aponta para a necessidade de expandir para outros idiomas de programação, lidar com estudantes que abandonam os cursos (dados desbalanceados) e integrar ferramentas de execução (agents) para simulações mais interativas.

Em suma, o artigo demonstra que transformar logs educacionais em diálogos e aplicar otimização de preferência é uma via eficaz para criar "estudantes artificiais" realistas, superando as limitações de modelos genéricos de IA na educação.