💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Este artigo apresenta o Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO), um novo método que mitiga alucinações fatuais sensíveis ao contexto em grandes modelos de linguagem ao atribuir recompensas de nível de passo baseadas em pontuações de autoconsistência através de múltiplos rollouts de raciocínio, alcançando assim o estado da arte em benchmarks de raciocínio matemático e de alucinação.

Autores originais: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante e hipercriativo a resolver um mistério. Este robô leu quase todos os livros da biblioteca e consegue falar como um humano, mas tem um hábito excêntrico: às vezes, quando se aprofunda em uma história longa, ele começa a inventar fatos. Ele pode dizer com confiança: "O mordomo o fez com um candelabro", mesmo que as pistas apontem claramente para o jardineiro. No mundo da inteligência artificial, isso é chamado de "alucinação". Não é que o robô esteja mentindo de propósito; é apenas que o cérebro dele fica tão emaranhado em sua própria longa cadeia de pensamentos que ele esquece o que realmente sabe.

Por muito tempo, os cientistas pensaram que esses erros aconteciam porque o robô simplesmente não sabia a resposta. Mas e se o robô sabe a resposta, mas se confunde com a história que está contando a si mesmo? É esse o enigma que este artigo aborda. Os pesquisadores estão analisando como esses modelos de IA pensam passo a passo, como um detetive anotando pistas em um bloco de notas. Eles descobriram que o robô frequentemente tropeça nos próprios pés, não por falta de conhecimento, mas porque o contexto da história que está escrevendo o faz esquecer a verdade. Para corrigir isso, eles inventaram um novo método de treinamento que funciona como um sistema de "autoverificação", ensinando o robô a pausar e perguntar: "Espere, esta frase faz sentido com tudo o mais que acabei de escrever?"

O Problema: O "Nevoeiro Mental" do Robô

Conheça o Grande Modelo de Linguagem (LLM). Pense nele como um papagaio superinteligente que memorizou toda a internet. Quando você lhe pede um problema matemático difícil, ele não apenas cospe uma resposta; ele tenta "pensar" através do problema, escrevendo uma longa cadeia de raciocínio, passo a passo. Isso é ótimo para resolver quebra-cabeças complexos, mas tem uma falha. À medida que a cadeia de pensamento fica mais longa, o robô às vezes torna-se "sensível ao contexto".

Imagine que você está resolvendo um problema de matemática em sua cabeça. Você sabe que $3 \times 100 = 300$ . Mas então, você começa a escrever uma história sobre um mago que lança um feitiço que transforma números em frutas. De repente, seu cérebro fica confuso e você pode escrever: "Então, $3 \times 100$ é definitivamente uma banana". Você sabe que é 300, mas a história boba que você está contando a si mesmo fez você esquecer.

Os pesquisadores descobriram que é exatamente isso que acontece com a IA. Eles chamam isso de Alucinação Factual Sensível ao Contexto. O robô tem os fatos corretos armazenados em seu cérebro, mas o "ruído" do longo processo de raciocínio o engana para cometer um erro. É como um músico que sabe tocar uma música perfeitamente, mas fica tão distraído pelo barulho da plateia que toca a nota errada.

A Descoberta: Não é uma Lacuna de Conhecimento

Para entender isso, a equipe agiu como detetives. Eles pegaram um robô que cometeu um erro em uma longa cadeia de raciocínio e fizeram uma pergunta simples: "Se eu pegar apenas essa frase errada e perguntar sobre ela isoladamente, você consegue acertar?"

A resposta era quase sempre sim.

Quando isolaram o erro, o rob que disse: "Ah, claro! $3 \times 100$ é 300, não uma banana!" Isso provou que o robô não estava com falta de conhecimento; ele estava apenas ficando confuso pelo contexto. Na verdade, a análise deles mostrou que quase 70% dos erros que esses modelos de raciocínio cometem são desse tipo específico de "nevoeiro mental", onde o modelo conhece a verdade, mas é derrubado pela própria história.

A Solução: O Treinador de "Autoconsistência"

Então, como ensinar um robô a parar de se confundir com a própria história? Os autores criaram um novo método de treinamento chamado SSC-GRPO (Otimização de Política de Grupo Relativa de Autoconsistência em Nível de Passo). Isso é um nome complicado, então vamos decompor com uma analogia de jogo.

Imagine que você está treinando uma equipe de 8 robôs para resolver o mesmo quebra-cabeça ao mesmo tempo.

O Rollout (Execução): Cada robô escreve sua própria solução passo a passo.
A Autoverificação: Em vez de apenas verificar se a resposta final está correta, o sistema pede aos robôs que comparem seus passos. "Robô A, o seu segundo passo coincide com o que o Robô B e o Robô C escreveram?"
A Recompensa: Se o passo de um robô coincide com o que os outros estão dizendo (alta consistência), ele recebe uma pontuação alta. Se ele sair dos trilhos e disser algo estranho com o qual ninguém mais concorda (baixa consistência), ele recebe uma pontuação baixa.

A magia aqui é que o robô atua como seu próprio juiz. Ele não precisa de um professor humano ou de um banco de dados de fatos para dizer que está errado. Ele só precisa olhar para seus "pares" (as outras versões de si mesmo) e perceber: "Ei, eu sou o único dizendo que a resposta é uma banana. Isso provavelmente está errado."

O sistema então usa essas pontuações para dar "recompensas" aos passos específicos que foram consistentes e "punições" aos passos que foram alucinações. Com o tempo, o robô aprende a confiar nos passos que fazem sentido no grupo e para de inventar fatos apenas para se ajustar à história.

Os Resultados: Robôs Mais Espertos e Mais Honestos

A equipe testou este novo método em alguns dos desafios de matemática e raciocínio mais difíceis disponíveis. Eles usaram modelos como Qwen3 e Llama3. Os resultados foram impressionantes.

Melhor Matemática: Em testes matemáticos padrão, o novo método ajudou os robôs a pontuarem mais alto do que antes. Por exemplo, em um teste, o novo método melhorou a pontuação em cerca de 1,8% em comparação com os métodos de treinamento padrão.
Menos Alucinações: Mais importante ainda, os robôs cometeram muito menos desses erros "sensíveis ao contexto". O número de vezes que eles se confundiam com suas próprias histórias diminuiu significamente.
Sem Ajuda Externa Necessária: Ao contrário de outros métodos que exigem que o robô consulte fatos em uma enciclopédia gigante (o que é lento e caro), este método usa apenas o próprio cérebro do robô para se verificar.

Os pesquisadores também notaram algo legal durante o treinamento: à medida que os robôs aprendiam, sua "consistência" aumentava. Eles começaram a concordar mais consigo mesmos e o número de passos confusos e inventados diminuiu. Era como observar um estudante passando de distraído e confuso para focado e confiante.

Por Que Isso Importa

Este artigo sugere uma nova maneira de corrigir um dos maiores problemas da IA: a tendência de soar confiante enquanto está errada. Ao perceber que o robô muitas vezes sabe a resposta, mas apenas se perde na história, os autores encontraram uma maneira de mantê-lo no caminho certo.

Eles não apenas adivinharam; eles mediram. Eles mostraram que, quando você isola o erro, o conhecimento está lá. Eles provaram que seu novo método reduz esses tipos específicos de erros. Embora o artigo observe que isso exige um pouco mais de poder computacional para rodar (porque os robôs têm que se verificar várias vezes), a troca parece valer a pena para tornar a IA mais confiável.

Em suma, os autores deram à IA uma nova ferramenta: um espelho. Em vez de apenas olhar para o próximo passo da história, o robô agora aprende a olhar para trás e perguntar: "Isso se encaixa com tudo o que eu disse até agora?" E, ao fazer isso, ele para de inventar fatos e começa a dizer a verdade.

Resumo Técnico: Otimização de Política Relativa ao Grupo com Autoconsistência em Nível de Passo para LLMs

1. Definição do Problema: Alucinações Fatuais Sensíveis ao Contexto

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades robustas em raciocínio de cadeia longa, eles permanecem propensos a gerar afirmações confiantes, porém incorretas, conhecidas como alucinações. Os autores identificam um modo de falha específico e prevalente denominado Alucinação Factual Sensível ao Contexto.

Diferente das alucinações de "lacuna de conhecimento", onde o modelo carece da informação necessária, as alucinações sensíveis ao contexto ocorrem quando o modelo possui o conhecimento factual correto, mas produz um erro factual devido à interferência do contexto de raciocínio circundante. O artigo demonstra que, se um passo de raciocínio alucinado for extraído e reformulado como uma questão independente, o modelo consegue respondê-la corretamente. No entanto, dentro de uma trajetória de raciocínio complexa e de múltiplos passos, o modelo é induzido ao erro pelo contexto, levando a uma cascata de erros e a uma resposta final incorreta. A análise empírica revela que este tipo de alucinação representa quase 70% dos erros em modelos de raciocínio, uma proporção que persiste mesmo conforme as capacidades do modelo melhoram e os erros de lacuna de conhecimento diminuem.

2. Metodologia: SSC-GRPO

Para mitigar essas alucinações sem depender de bases de conhecimento externas, os autores propõem a Otimização de Política Relativa ao Grupo com Autoconsistência em Nível de Passo (SSC-GRPO). Este método integra a detecção de autoconsistência diretamente no loop de treinamento de Aprendizado por Reforço (RL) da Otimização de Política Relativa ao Grupo (GRPO).

Mecanismo Central

A abordagem aproveita a observação de que o GRPO naturalmente amostra múltiplas trajetórias de raciocínio (rollouts) para um único prompt, o que se alinha com a detecção de alucinação baseada em autoconsistência. O método procede da seguinte forma:

Rollouts de Grupo: Para uma determinada consulta, o modelo de política gera um grupo de $G$ trajetórias de raciocínio (rollouts).
Pontuação de Autoconsistência em Nível de Passo: Em vez de atribuir uma recompensa apenas ao final de uma trajetória, o SSC-GRPO avalia cada passo de raciocínio $o_{i,k}$ $o_{i, k}$ dentro de um rollout $i$ $i$ contra os passos correspondentes em outros rollouts $j$ $j$ dentro do mesmo grupo.
- O modelo atua como seu próprio juiz, utilizando um prompt de Inferência de Linguagem Natural (NLI) para determinar se um passo no rollout $i$ implica, contradiz ou é neutro em relação ao passo correspondente no rollout $j$ .
- Uma pontuação de consistência é computada agregando esses julgamentos de NLI, ponderados pela recompensa de resultado do rollout de referência $j$ (atribuindo maior peso aos passos em rollouts que levam a respostas finais corretas).
Redimensionamento de Vantagem por Passo: A vantagem padrão do GRPO (derivada da recompensa de resultado final) é redistribuída entre os passos da trajetória.
- Passos com altas pontuações de autoconsistência recebem uma parcela maior da vantagem se a trajetória estiver correta, ou uma penalidade menor se a trajetória estiver incorreta.
- Isso é alcançado via um coeficiente de redimensionamento $w_{i,k}$ que ajusta a vantagem para cada passo enquanto preserva a vantagem total ao nível da trajetória.
Otimização da Política: O modelo é atualizado usando um objetivo do tipo PPO que maximiza a soma ponderada dessas vantagens ao nível de passo, incentivando efetivamente o modelo a gerar passos que sejam consistentes com a maioria dos caminhos de raciocínio corretos.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Identificação de um Tipo Dominante de Alucinação: Os autores fornecem uma análise detalhada demonstrando que as alucinações factuais sensíveis ao contexto são o modo de erro dominante nos atuais modelos de raciocínio. Eles mostram que esses erros derivam de interferência contextual, e não da falta de conhecimento, um fenômeno que os métodos de detecção tradicionais frequentemente perdem.
Algoritmo SSC-GRPO: Eles propõem um novo método baseado em RL que utiliza sinais de autoconsistência através de múltiplos rollouts para gerar recompensas ao nível de passo. Isso permite que o modelo aprenda a evitar erros factuais induzidos pelo contexto sem exigir fontes de conhecimento externas ou ferramentas de verificação de fatos.
Validação Empírica: Experimentos extensos em benchmarks de raciocínio matemático e de alucinação validam que o SSC-GRPO reduz efetivamente a proporção de alucinações sensíveis ao contexto e melhora o desempenho geral de raciocínio.

4. Resultados Experimentais

Os autores avaliaram o SSC-GRPO no Qwen3-4B-Base, Qwen3-4B-Instruct e Llama3-8B-Instruct, comparando-o com baselines incluindo modelos Vanilla, GRPO padrão, FSPO (Otimização de Política Passo a Passo com Consciência de Factualidade) e SEED-GRPO.

Raciocínio Matemático: O SSC-GRPO alcançou desempenho de estado da arte em benchmarks incluindo GSM8K, MATH-500, AIME-24 e AIME-25. No Qwen3-4B-Base, ele superou o baseline em uma média de 1,80%.
Mitigação de Alucinação: Nos benchmarks de alucinação (HaluEval, TruthfulQA, HotpotQA), o método demonstrou desempenho superior em comparação aos baselines, notando particularmente que alcança esses resultados usando apenas o conhecimento interno do modelo, ao contrário de métodos como o FSPO que dependem de recuperação externa.
Análise de Alucinação: A análise pós-treinamento mostrou uma redução significativa na proporção de alucinações factuais sensíveis ao contexto (caindo de ~22,76% para ~16,90% em uma configuração) e um aumento correspondente nos passos de raciocínio corretos.
Dinâmica de Treinamento: O rastreamento das razões de consistência durante o treinamento revelou um aumento constante nos passos consistentes e uma diminuição nos passos inconsistentes, confirmando que o processo de RL aumenta com sucesso a consistência do raciocínio.

5. Significância e Alegações

O artigo afirma oferecer uma nova perspectiva para detectar e mitigar alucinações no processo de raciocínio de LLMs. Ao mudar o foco da verificação da resposta final para a autoconsistência ao nível de passo, os autores argumentam que é possível treinar modelos para reconhecer e corrigir seus próprios erros induzidos pelo contexto.

A significância reside na descoberta de que os modelos frequentemente "sabem" os fatos, mas falham em aplicá-los corretamente sob contextos de raciocínio complexos. O SSC-GRPO aborda isso reforçando a consistência dos passos intermediários de raciocínio, mitigando, assim, o tipo específico de alucinação que assola o raciocínio de cadeia longa. Os autores mantêm uma postura modesta, reconhecendo que, embora seu método seja eficaz, ele introduz sobrecarga computacional adicional devido às verificações de autoconsistência e é atualmente avaliado em famílias específicas de modelos (Qwen e Llama) nas escalas de 4B e 8B parâmetros.