💬 NLP

ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces

Este artigo apresenta o ReasoningFlow, um framework que converte traços complexos e não lineares de modelos de raciocínio de grande escala (LRM) em grafos acíclicos direcionados de granularidade fina para analisar suas estruturas de discurso, revelando que os LRMs exibem padrões de raciocínio estruturalmente semelhantes entre diferentes modelos e que a maioria dos passos errôneos não influencia as respostas finais.

Autores originais: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinu Lee, Shivam Agarwal, Amruta Parulekar, Siddarth Madala, Dilek Hakkani-Tur, Julia Hockenmaier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando um matemático genial resolver um quebra-cabeça complexo. Ele não apenas escreve a resposta em uma linha reta. Em vez disso, ele fala consigo mesmo: "Espere, esse número parece errado", "Deixe-me tentar um caminho diferente", "Ah, entendi, cometi um erro aqui, deixe-me voltar" e "Ok, agora tenho certeza".

Por muito tempo, os computadores tentando entender esses "processos de pensamento" (chamados de traços de raciocínio) apenas viam uma linha reta de texto. Eles não conseguiam ver o retrocesso, as autocorreções ou os becos sem saída. Eles apenas viam um parágrafo bagunçado.

Este artigo apresenta o ReasoningFlow, uma nova maneira de mapear esses pensamentos caóticos em um fluxograma claro (especificamente, um Grafo Acíclico Dirigido, ou DAG). Pense nisso como transformar um fluxo de consciência caótico em um mapa de metrô, onde cada estação é um pensamento e cada trilho mostra como um pensamento leva ao outro.

Aqui está o que os pesquisadores descobriram, explicado de forma simples:

1. O Mapa: Transformando Pensamentos em um Fluxograma

Os pesquisadores construíram um sistema para decompor esses longos e sinuosos traços de raciocínio em pequenos pedaços (nós) e desenhar linhas (arestas) entre eles para mostrar como se conectam.

Os Nós (Estações): Eles identificaram 8 tipos de "paradas" no mapa. Algumas são para Planejamento (decidir o que fazer a seguir), algumas para Raciocínio (fazer a matemática ou a lógica), algumas para Reflexão (verificar se estão certos) e algumas para Suposições (testar um cenário de "e se").
As Arestas (Trilhos): Eles desenharam 14 tipos diferentes de trilhos. Alguns trilhos mostram um passo lógico à frente ("inferir"), outros mostram um plano sendo executado ("executar") e outros mostram um "retrocesso" onde o pensador percebe: "Espere, esse caminho está errado", e volta para tentar algo diferente.

2. A Descoberta: O Mapa de Todos é Igual

A equipe testou isso em cinco modelos de IA diferentes (alguns modelos de "raciocínio" muito novos, outros mais antigos) em tarefas de matemática, ciência e argumentação.

O Achado: Embora esses modelos de IA tenham sido construídos por diferentes empresas e treinados com diferentes dados, seus "mapas de pensamento" eram surpreendentemente semelhantes. É como se um humano de Nova York e um humano de Tóquio pudessem usar um mapa mental semelhante para resolver um labirinto, mesmo que falem línguas diferentes. A estrutura de como eles pensam está se tornando padronizada.

3. O Superpoder da "Autocorreção"

Uma das coisas mais interessantes que descobriram é como esses modelos de IA lidam com erros.

Verificação Local: Em vez de esperar até o final para verificar se toda a resposta está correta, eles verificam constantemente seu trabalho enquanto avançam. Eles detectam pequenos erros imediatamente e os corrigem.
O Momento "Ops": O artigo descobriu que quando uma IA diz "Espere, isso parece errado" e muda de ideia, essa mudança é geralmente a chave para obter a resposta correta. O modelo está ativamente "guiando-se" para longe de erros em tempo real.

4. Os Erros "Fantasma"

Isso é talvez a descoberta mais surpreendente.

O Mito: As pessoas costumavam pensar que, se uma IA cometesse um erro no passo 3, a resposta final seria definitivamente errada.
A Realidade: Os mapas do ReasoningFlow mostraram que a maioria dos erros são "fantasmas". A IA pode cometer um erro, perceber, retroceder e ignorar completamente esse caminho errado. A resposta correta final é construída sobre um conjunto diferente de passos.
A Analogia: Imagine que você está dirigindo para uma festa. Você pega um caminho errado, percebe, dá meia-volta e pega a estrada certa. Você chegou à festa no horário. Se alguém apenas olhasse o histórico do seu GPS, veria o caminho errado e diria: "Você falhou!". Mas o mapa do ReasoningFlow mostra que o caminho errado foi um beco sem saída que não afetou sua chegada final.

5. A "Caixa Preta" vs. O "Roteiro"

Finalmente, os pesquisadores observaram como o "cérebro" interno da IA (dependências mecanísticas) corresponde às palavras que ela escreve (estrutura do discurso).

O Achado: Eles encontraram um descompasso. Só porque a matemática interna da IA diz que "o Passo A causou o Passo B", não significa que o texto reflita essa relação claramente. A "história" que a IA conta (o texto) nem sempre corresponde perfeitamente à "fiação" dentro do computador. É como o roteiro de um mágico (o texto) não explicar perfeitamente a mecânica secreta (a fiação) por trás do truque.

Resumo

ReasoningFlow é uma nova ferramenta que nos permite ver o "mapa do metrô" do pensamento de uma IA. Ela mostra que:

Os modelos de IA estão desenvolvendo um "estilo de pensamento" semelhante entre diferentes marcas.
Eles são muito bons em detectar seus próprios erros enquanto estão pensando, não apenas no final.
A maioria dos erros que cometem são becos sem saída temporários que não estragam a resposta final.
O que a IA diz (o texto) nem sempre corresponde perfeitamente ao que está acontecendo dentro de seu cérebro.

Isso ajuda os pesquisadores a entender como esses modelos resolvem problemas, em vez de apenas olhar se eles obtiveram a resposta correta ou não.

Resumo Técnico: ReasoningFlow: Estruturas de Discurso para Compreensão de Traços de Raciocínio de LLMs

Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs) geram traços de raciocínio estendidos caracterizados por comportamentos não lineares, como retrocesso (backtracking), autocorreção e verificação iterativa. Embora esses comportamentos sejam cruciais para a resolução de problemas complexos, eles complicam a avaliação e o monitoramento do processo de raciocínio. Os métodos de avaliação existentes frequentemente dependem da correção passo a passo, o que pode sinalizar etapas errôneas mesmo quando a resposta final está correta devido à autoverificação subsequente. Além disso, os frameworks atuais para análise de estruturas de raciocínio carecem de expressividade para capturar relações de discurso finas ao nível de sub-sentença ou falham em validar seus esquemas de anotação com concordância entre anotadores. Os métodos tradicionais de análise de discurso (ex: Teoria da Estrutura Retórica) são projetados para textos bem organizados e não acomodam as dependências causais orientadas a objetivos e frequentemente da esquerda para a direita encontradas em traços de LLMs autorregressivos.

Metodologia

Os autores introduzem o ReasoningFlow, um framework projetado para anotar as estruturas de discurso finas dos traços de raciocínio de LRMs, convertendo-os em Grafos Acíclicos Dirigidos (DAGs).

Esquema de Anotação

O ReasoningFlow define um esquema composto por 8 tipos de nós e 14 tipos de arestas:

Tipos de Nós: O esquema inclui três tipos funcionais principais — Raciocínio (dedução, cálculo), Planejamento (introdução de conteúdo futuro) e Reflexão (avaliação de correção ou expressão de certeza). Também define cinco subtipos especializados de nós de Raciocínio: Fato, Reiteração, Suposição, Exemplo e Conclusão. Os nós são trechos contíguos e não sobrepostos, tipicamente sentenças, embora sentenças complexas com papéis funcionais distintos sejam divididas.
Tipos de Arestas: As arestas representam relações semânticas que fluem de etapas anteriores para posteriores. Elas são categorizadas em quatro grupos: Raciocinar (ex: inferir, executar, reiterar), Planejar (ex: prosseguir, verificar), Refletir (ex: positivo, incerto, negativo) e Validar (ex: suportar, atacar).

Construção do Dataset

Anotação Manual: Para validar o esquema, os autores anotaram manualmente 31 traços de raciocínio (2,1k etapas) nos domínios de matemática, física e química. Dois anotadores por traço alcançaram alta concordância entre anotadores (Krippendorff's $\alpha > 0,8$ ) tanto para classificação de nós quanto para detecção/classificação de arestas.
Anotação Automática: Utilizando o esquema validado, os autores escalaram para a anotação automática de 1.260 traços (247,7k etapas) gerados por cinco modelos (Qwen2.5-32B-Inst, QwQ-32B, DeepSeek-V3, DeepSeek-R1, GPT-oss-120B) em três tarefas: AIME 2024 (Matemática), GPQA-Diamond (Ciência) e ArgKP (Argumentação). O pipeline utilizou LLMs (Gemini-3-Flash e Gemini-3-Pro) para segmentação, classificação e detecção de arestas, com revisão manual de um subconjunto para garantir a qualidade.

Framework de Análise

Os autores utilizaram os grafos do ReasoningFlow para analisar:

Similaridades estruturais entre modelos e domínios usando Análise de Componentes Principais (PCA) em distribuições de tripletos (nó-aresta-nó).
Comportamentos de raciocínio finos, como verificação local, sentimento de autorreflexão e raciocínio baseado em suposições (prova por contradição, DFS).
A relação causal entre etapas errôneas e respostas finais.
O alinhamento entre dependências causais mecanísticas (medidas via mascaramento de atenção) e estruturas de discurso de nível linguístico.

Principais Contribuições e Resultados

1. Similaridade Estrutural entre Modelos

Apesar de serem treinados em diferentes modelos base e potencialmente em dados de pós-treinamento não sobrepostos, diferentes LRMs (QwQ, DeepSeek-R1, GPT-oss) exibem traços de raciocínio estruturalmente similares. A divergência de Jensen-Shannon entre as distribuições de tripletos dos modelos de raciocínio é significativamente menor do que a de seus contrapartes modelos base não-raciocinadores, sugerindo que a capacidade de raciocínio induz um padrão estrutural compartilhado.

2. Comportamentos de Raciocínio Finos

O ReasoningFlow revela diversos comportamentos não capturados por frameworks mais grosseiros:

Verificação Local: LRMs frequentemente envolvem verificação local (corrigindo etapas intermediárias no meio do traço) em vez de apenas verificação global da resposta final. Correções são significativamente mais propensas a serem usadas como premissas para a resposta final do que as declarações errôneas originais.
Sentimento de Autorreflexão: Existe uma forte correlação entre o sentimento dos nós de reflexão (positivo, incerto, negativo) e a qualidade real (correção) da etapa refletida. Reflexões positivas correlacionam-se com maior correção (78,1%), enquanto reflexões negativas correlacionam-se com menor correção (45,6%).
Tratamento de Suposições: O framework identifica padrões para prova por contradição e busca em profundidade (DFS), distinguindo o raciocínio hipotético deliberado de erros normais.

3. Propagação de Erros e Fidelidade

Uma descoberta crítica é que a maioria das etapas errôneas em LRMs não é causalmente responsável por respostas finais incorretas.

Aproximadamente 79,6% dos nós errôneos não se conectam à resposta final (não utilizados).
Cerca de 6,0% dos erros estão conectados à resposta final, mas levam a uma conclusão correta (erros negligenciados), indicando que o modelo recuperou ou ignorou o erro com sucesso.
Apenas 14,4% dos nós errôneos propagam-se causalmente para respostas finais incorretas.
Isso sugere que métodos de avaliação passo a passo que filtram traços baseados em erros intermediários podem ser excessivamente conservadores, pois muitos erros são "não utilizados" ou "negligenciados" dentro do processo de raciocínio.

4. Desalinhamento Mecanístico vs. Discursivo

O artigo observa que as dependências causais medidas mecanisticamente (usando "Âncoras de Pensamento" via mascaramento de atenção) não refletem fielmente as relações de discurso de nível linguístico. O poder preditivo dos escores causais baseados em atenção não é significativamente melhor do que simplesmente selecionar os $K$ nós mais recentes, indicando uma lacuna entre os mecanismos causais internos do modelo e a estrutura de discurso de superfície.

Significância

O artigo posiciona o ReasoningFlow como uma ferramenta necessária para compreender a "parte da linguagem" do procedimento de raciocínio causal em LRMs. Ao fornecer um esquema de anotação fino e validado, ele permite:

Melhor Monitorabilidade: Identificar comportamentos específicos como verificação local e autorreflexão permite um melhor monitoramento das crenças internas do modelo.
Avaliação Refinada: Demonstrar que a maioria dos erros não se propaga para a resposta final desafia a eficácia da filtragem de erro puramente passo a passo em amostragem Best-of-N ou Modelos de Recompensa de Processo (PRMs).
Ponte entre Lacunas Mecanísticas e Semânticas: Destacar a discrepância entre dependências causais mecanísticas e estruturas de discurso aponta para uma área crucial de pesquisa futura para tornar os LRMs mais fiéis.

Os autores disponibilizam o dataset (1,3k traços) e o código para facilitar pesquisas adicionais sobre as capacidades de raciocínio de LRMs, oferecendo uma lente interpretável por humanos para estudar como os comportamentos de raciocínio emergem e funcionam.