Resumo Técnico: Rumo a Tutores de LLM Pedagogicamente Alinhados para Remediação de Erros Matemáticos

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem fortes capacidades de raciocínio e geração de linguagem natural, eles são frequentemente inadequados para implantação direta em ambientes educacionais sem adaptação específica. Os LLMs padrão frequentemente falham em aderir a estratégias pedagógicas eficazes, como guiar os alunos por meio de questionamento socrático ou fornecer dicas direcionadas sem revelar prematuramente as respostas finais. Os modelos de tutoria existentes frequentemente dependem da imitação supervisionada de comportamentos pedagógicos ou de aprendizado por reforço holístico com recompensas escalares, o que pode limitar o controle explícito sobre atributos pedagógicos específicos, como precisão factual, identificação de erros e o grau de revelação da solução. O desafio central abordado é como alinhar os LLMs com práticas de tutoria humana estabelecidas para criar sistemas que sejam não apenas factualmente precisos, mas também pedagogicamente sólidos na remediação de erros matemáticos.

Metodologia

Os autores propõem um pipeline de alinhamento pedagógico em duas etapas projetado para alinhar as respostas dos LLMs com os comportamentos de tutoria desejados.

1. Construção de Dados

O estudo constrói um conjunto de dados abrangente para a remediação de erros matemáticos integrando corpora de tutoria existentes com dados sintéticos:

• Dados de Ajuste de Instrução (Instruction Tuning): Os autores utilizam MathDial e SocraTeach, pré-processando conversas em turnos de tutor-estudante, onde a resposta do tutor serve como o alvo (gold target).
• Dados de Preferência Sintética: Para enfrentar a escassez de dados de preferência pedagógica de alta qualidade, os autores adaptam a abordagem RMBoost usando MR-GSM8K e PRм800K.
  • Soluções geradas por LLM a partir desses conjuntos de dados são tratadas como respostas de estudantes.
  • O GPT-5 é utilizado para gerar respostas de tutores de alta qualidade que aderem a critérios pedagógicos específicos (Factualidade, Identificação de Erros, Direcionamento, Evitar Revelação de Resposta e Clareza).
  • O GPT-4.1 é utilizado para gerar variantes "degradadas" dessas respostas, violando intencionalmente critérios específicos, criando pares de preferência (preferido vs. não preferido).
  • O conjunto de dados inclui casos tanto com soluções de estudantes incorretas quanto corretas para evitar que o modelo sempre assuma a existência de erros.
  • O conjunto de dados final compreende mais de 146.000 instâncias para Ajuste Fino Supervisionado (SFT) e 29.390 pares de preferência para Otimização de Preferência Direta (DPO).

2. Pipeline de Treinamento

O processo de alinhamento envolve duas etapas distintas:

• Etapa 1: Ajuste Fino Supervisionado (SFT): Modelos base (Qwen3-4B e Qwen3-8B) são ajustados finamente nos dados de diálogo de tutoria usando LoRA. Esta etapa estabelece uma base para gerar respostas de tutor fluentes e conscientes do contexto.
• Etapa de 2: Otimização de Preferência Direta (DPO): Os modelos SFT são posteriormente alinhados usando os pares de preferência sintéticos. Um objetivo DPO ponderado é empregado, onde aspectos pedagógicos (Factualidade, Identificação de Erros, Direcionamento, Revelação de Resposta) são ponderados em 1.0, enquanto a Clareza é ponderada em 0.5, refletindo a observação dos autores de que a degradação da clareza nem sempre equivale a uma falha pedagógica.

3. Configurações de Entrada

O estudo investiga quatro configurações de entrada para determinar como o acesso a informações externas afeta o desempenho:

• V1: Apenas contexto de diálogo.
• V2: Contexto + uma flag binária indicando a correção do estudante.
• V3: Contexto + a solução correta (gold solution).
• V4: Contexto + flag de correção + solução correta.
  Os autores observam que, embora a V4 assuma o acesso a sinais que nem sempre estão disponíveis em implantação em tempo real, ela serve como um limite superior que reflete as práticas padrão de tutoria humana, onde os tutores têm acesso às soluções corretas.

Contribuições Principais

1. Construção de Dataset: Criação de um conjunto de dados de larga escala para remediação de erros matemáticos que combina diálogos de tutoria reais com pares de preferência sintéticos gerados através de múltiplas dimensões pedagógicas.
2. Análise de Configuração de Entrada: Estudo sistemático de como o fornecimento de flags de correção e soluções corretas aos modelos impacta a precisão factual e a qualidade pedagógica.
3. Alinhamento em Duas Etapas: Demonstração de que a combinação de SFT com DPO alinha efetivamente modelos de código aberto com princípios pedagógicos, superando modelos base e modelos de tutoria especializados existentes.
4. Liberação de Recursos: Liberação do dataset sintético, dos modelos treinados e do código para facilitar pesquisas futuras em tutores de IA pedagogicamente alinhados.

Resultados e Avaliação

Avaliação Automática

Os modelos foram avaliados em 1.000 amostras de teste em quatro dimensões pedagógicas: Identificação de Erro, Localização de Erro, Fornecimento de Orientação e Capacidade de Ação (Actionability).

• Factualidade: O acesso à solução correta e à flag de correção (V4) melhorou significativamente a precisão factual. O modelo com melhor desempenho, Qwen3-8B + DPO V4, alcançou uma pontuação de factualidade de 60,10% (melhorada para 70,10% após um retreinamento direcionado para corrigir alucinações numéricas).
• Qualidade Pedagógica: O modelo Qwen3-8B + DPO V4* superou as linhas de base de código aberto existentes (SocraticLM, TutorRL-7B) e os modelos proprietários ajustados via GPT-4.1-nano na maioria das dimensões sob avaliação do GPT-5.
• Desacordo de Avaliadores: Um desvio significativo foi observado entre os avaliadores. O GPT-5 tendeu a penalizar respostas que revelavam respostas (baixando as pontuações de "Capacidade de Ação"), enquanto o LoMTL (um modelo menor de 2B) frequentemente classificava tais respostas de forma alta. Isso destaca a falta de confiabilidade dos atuais avaliadores automatizados para dimensões de tutoria refinadas.

Avaliação Humana

Uma avaliação humana envolvendo 10 anotadores (estudantes de NLP e professores) comparou o melhor modelo de código aberto (Qwen3-8B + DPO V4*) contra sua variante SFT, o modelo base e uma forte linha de base proprietária (GPT-5).

• Desempenho: O modelo alinhado via DPO foi preferido em relação à variante SFT em 35,3% dos casos e em relação à linha de base GPT-5 em 54,3% dos casos.
• Achados Qualitativos: Os anotadores notaram que o modelo base frequentemente carecia de coerência e precisão factual. O modelo SFT melhorou a clareza, mas às vezes revelava respostas. O modelo DPO foi preferido por sua capacidade de fornecer andaime (scaffolding) eficaz sem revelar a resposta final, enquanto o GPT-5 foi frequentemente criticado por revelar a solução.
• Concordância: A concordância inter-anotador (Fleiss' $\kappa$) foi de 0,55, indicando uma concordância moderada.

Significância e Limitações

O artigo argumenta que o alinhamento pedagógico baseado em preferência é uma estratégia eficaz para melhorar tutores de LLM, particularmente quando combinado com o acesso explícito à correção da solução e respostas corretas. Os resultados sugerem que sistemas de tutoria inteligente podem se beneficiar de um design modular onde componentes separados lidam com resolução de tarefas, verificação e geração de feedback, em vez de depender de um único modelo monolítico.

Os autores mantêm uma postura modesta em relação ao escopo de seus achados:

• Limitações de Avaliação: O estudo foca na qualidade das respostas do tutor, e não diretamente nos resultados de aprendizagem do aluno. Os autores reconhecem que avaliar a eficácia educacional real exigiria estudos de usuário controlados com pré e pós-testes, o que estava fora do escopo deste trabalho.
• Limitações de Dados: Os dados de preferência são sintéticos, gerados por LLMs. Embora isso ofereça escalabilidade, os autores observam que pode codificar vieses estilísticos específicos de famílias de modelos e não captura totalmente a diversidade das interações naturais de tutoria humana.
• Confiabilidade do Avaliador: O desvio significativo entre avaliadores automatizados (GPT-5 vs. LoMTL) ressalta a dificuldade atual em avaliar a qualidade da tutoria de forma confiável sem supervisão humana.

Em conclusão, o trabalho demonstra que modelos de código aberto, quando alinhados via um pipeline de duas etapas em dados estruturados pedagogicamente, podem alcançar um desempenho competitivo com bases proprietárias fortes, oferecendo maior transparência e reprodutibilidade.