Error as a Lens: Probing LLM Reasoning through Synthetic Misconception Generation

Resumo Técnico: O Erro como Lente: Sondando o Raciocínio de LLMs através da Geração Sintética de Concepções Errôneas

Declaração do Problema
Aplicações de tecnologia educacional — incluindo tutoria personalizada, formação de professores e pesquisa educacional — dependem do acesso a concepções errôneas sintéticas direcionadas. No entanto, a aquisição de corpora em larga escala e rotulados de erros autênticos de estudantes é severamente restringida por regulamentações de privacidade, limitações dos Comitês de Ética em Pesquisa (IRB) e a sensibilidade ética de armazenar dados de avaliação identificáveis. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam um caminho escalável para gerar erros sintéticos, existe uma lacuna crítica: LLMs modernos podem facilmente produzir respostas erradas arbitrárias, mas lutam para gerar erros que se alinhem a modos específicos e definidos de falha cognitiva. O desafio central é criar um quadro que produza respostas incorretas que sejam (i) genuinamente erradas, (ii) consistentes com um modo específico de falha cognitiva em vez de serem arbitrariamente incorretas, e (iii) estáveis entre diferentes disciplinas.

Metodologia: O Quadro GA/EA
Os autores propõem um quadro de dois agentes projetado para gerar erros sintéticos direcionados a uma taxonomia. O sistema desacopla a redação de uma solução errônea da verificação de sua consistência de classe.

1. Taxonomia de Erros: O quadro utiliza uma taxonomia de erros de cinco classes adaptada da taxonomia de Bloom revisada (Anderson et al., 2001). As classes retidas são:

   • E1 (Erro mental/Trabalho descuidado): Deslizes aritméticos ou de transcrição em uma trajetória de outra forma correta.
   • E2 (Lacuna de conhecimento): Definições, termos ou fórmulas ausentes.
   • E3 (Concepção errônea): Modelos mentais defeituosos ou conceitos ausentes.
   • E4 (Escolha errada): Classificação incorreta do problema ou seleção do procedimento de solução errado.
   • E5 (Cegueira estrutural): Falha em distinguir componentes e suas interações.
     (Nota: Classes que descrevem respostas corretas, mas subótimas, foram excluídas, pois não representam respostas finais incorretas.)

2. Arquitetura dos Agentes:

   • Agente de Geração (GA): Um LLM pré-treinado encarregado de redigir uma solução candidata errônea condicionada a uma classe de erro alvo específica. Os autores empregam um único GA multiclasse em vez de cinco agentes especialistas para evitar "desvio" para classes irmãs, pois os especialistas careciam de contexto entre classes para distinguir modos de falha adjacentes.
   • Agente de Exame (EA): Um julgador que avalia o rascunho do GA em dois eixos: (a) se a resposta é genuinamente incorreta, e (b) se ela corresponde à classe de erro alvo. O EA opera sem ver os exemplos em contexto do GA para evitar correspondência de padrões superficiais.

3. Configurações do Pipeline: O estudo avalia oito configurações de pipeline (P0–P8) variando três eixos de design:

   • Fundamentação da Resposta: Se o GA é exposto à solução correta.
   • Condicionamento: Se o GA recebe exemplos few-shot expandidos ou excertos de livros didáticos externos.
   • Loop de Feedback: Se o EA fornece sinais de rejeição (incluindo o rascunho e a justificativa) de volta ao GA para regeneração iterativa (até cinco tentativas).
   • Implementação do EA: Comparação de um julgador LLM baseado em prompts contra um classificador BERT-base-uncased ajustado finamente (P8) treinado em 1.600 exemplos anotados por humanos.

Configuração Experimental
O quadro foi avaliado no conjunto de dados TheoremQA, um conjunto de dados de QA orientado a teoremas cobrindo matemática, física, EE/CS e finanças.

• Nível 1 (Benchmark Verificado): Uma varredura de 20 perguntas em todos os 9 pipelines e 3 backends (mistura OpenAI o3/GPT-4o, GPT-5, GPT-5-mini) com tentativas ilimitadas e verificação humana final.
• Nível 2 (Execução em Escala): Uma execução de 200 perguntas no GPT-5 com um limite de 5 tentativas para avaliar custo e latência em escala.
• Métrica: A métrica principal é a Taxa de Erro Direcionado, definida como a fração de gerações que são tanto incorretas quanto consistentes com a classe de erro solicitada. Respostas que estão corretas ou admitem ignorância (recusa epistêmica) são tratadas como falhas.

Principais Resultados

1. Dificuldade da Geração Direcionada: A geração de erros direcionados é substancialmente mais difícil do que a geração de respostas incorretas em formato livre. A linha de base ingênua (P0) ficou 23–39 pontos percentuais abaixo do teto em todos os backends.
2. O Gargalo da "Cegueira Estrutural": A classe E5 (Cegueira Estrutural) provou ser o alvo mais difícil em todas as configurações, particularmente para backends mais fracos. Esta classe exige que o modelo enquadre globalmente um problema de forma errada enquanto mantém um raciocínio coerente na superfície, uma tarefa distinta de simples deslizes aritméticos (E1) ou substituições de fórmulas (E2).
3. Impacto dos Eixos de Design:
   • Fundamentação da Resposta: Fornecer a resposta correta ao GA geralmente melhorou o desempenho em backends mais fortes (GPT-5), mas degradou o desempenho em backends mais fracos (o3+GPT-4o), pois os modelos mais fracos lutaram para suprimir a trajetória correta, levando a raciocínios "parcialmente corretos" que falharam na verificação de consistência de classe.
   • Loop de Feedback: O loop de feedback do EA (P3) forneceu a melhoria mais significativa e consistente, especialmente para backends mais fracos. Permitiu que o GA se desviasse de rascunhos rejeitados, uma capacidade que a amostragem simples baseada em temperatura não podia alcançar de forma confiável.
   • Andaimagem: Exemplos expandidos e excertos de livros didáticos externos (P4–P7) não produziram melhorias claras sobre as configurações mais enxutas P1/P3 em backends fortes e, em alguns casos, diluíram o sinal de classe.
4. Disparidades entre Backends: A lacuna entre backends foi grande e assimétrica. O GPT-5 alcançou uma taxa média de erro direcionado de ~0,82, enquanto GPT-5-mini e o3+GPT-4o ficaram atrás em 12–14 pontos. Essa lacuna foi impulsionada pela capacidade de suprimir a resposta correta e diversificar rascunhos sob feedback, em vez de precisão bruta na resolução de problemas.
5. EA Ajustado Finamente vs. Baseado em Prompts: O classificador BERT ajustado finamente (P8) ofereceu uma troca de implantação. Alcançou aceitação quase em passagem única (alta eficiência) e superou o EA baseado em prompts no backend mais fraco, mas foi menos adaptável e não fechou a lacuna E5 no GPT-5.

Significado e Alegações
O artigo faz uma contribuição metodológica primária e uma observação empírica secundária:

1. Contribuição Metodológica: Os autores apresentam uma receita escalável e reutilizável para construir conjuntos de dados de erros sintéticos estratificados por classe em domínios onde corpora de estudantes autênticos não estão disponíveis. Ao desacoplar a redação do julgamento e mover a supervisão humana para o lado do "julgador" (ou usando um classificador ajustado finamente), o quadro permite que qualquer LLM pré-treinado sirva como um "substituto de estudante" para gerar concepções errôneas controladas.

2. Observação Empírica: A geração de erros direcionados é fundamentalmente um problema de controlabilidade e não um problema de aquisição de conhecimento. Os resultados sugerem que a fundamentação da resposta e os loops de feedback iterativos são mais críticos para gerar tipos específicos de erro do que fornecer contexto expandido ou conteúdo de livros didáticos.

Limitações e Escopo
Os autores afirmam explicitamente que este quadro produz erros sintéticos direcionados a taxonomia, e não erros semelhantes a estudantes validados empiricamente. O estudo não mede se as formas superficiais geradas correspondem ao que estudantes autênticos realmente produzem. A avaliação depende de uma única taxonomia e de modelos de código fechado, e a "taxa de erro direcionado" é apresentada como uma métrica complementar a benchmarks baseados em correção, expondo comportamentos (modos de falha controlados) que métricas de precisão padrão ignoram. O trabalho se posiciona como um instrumento prático para construir aplicações educacionais downstream, com a ressalva de que a validação com estudantes reais permanece um passo futuro necessário.