DAG-Math: Graph-of-Thought Guided Mathematical Reasoning in LLMs

O artigo propõe o DAG-MATH, um novo paradigma que modela o raciocínio passo a passo de Grandes Modelos de Linguagem como um processo estocástico em Grafos Direcionados Acíclicos para introduzir a métrica de "proximidade lógica", permitindo avaliar a fidelidade das derivações e revelar lacunas entre a precisão da resposta final e a consistência das regras, mesmo quando as métricas tradicionais de acerto são semelhantes.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a resolver um problema de matemática difícil, como um quebra-cabeça complexo.

Até agora, a gente perguntava para o robô: "Qual é a resposta?" e ele respondia: "42!". Se a resposta estivesse certa, a gente ficava feliz e dizia: "Parabéns, você é inteligente!". Mas o artigo DAG-MATH diz que isso é perigoso. O robô pode ter chutado a resposta, ou usado um truque de sorte, sem realmente entender como chegou lá.

Os autores criaram um novo método para ver se o robô realmente "pensou" ou se apenas "adivinhou". Vamos explicar como funciona usando uma analogia simples: A Montanha-Russa da Lógica.

1. O Problema: A Montanha-Russa Caótica

Quando um modelo de linguagem (como o ChatGPT ou o Gemini) resolve um problema, ele gera um texto chamado "Cadeia de Pensamento" (Chain-of-Thought). É como se ele falasse em voz alta enquanto pensa.

O problema é que esse texto é bagunçado. É como se o robô estivesse numa montanha-russa que vai para frente, para trás, sobe, desce e às vezes pula trilhos. Ele pode chegar ao topo (a resposta certa) por acaso, mesmo tendo passado por trilhos que não levavam a lugar nenhum ou que eram perigosos.

2. A Solução: O Mapa de Trilhos (DAG)

Os autores propõem transformar esse texto bagunçado em um Mapa de Trilhos chamado DAG (Grafo Acíclico Direcionado).

• O que é um DAG? Imagine um mapa de metrô ou um diagrama de fluxo.
  • Cada Parada (Nó) é um passo do raciocínio (ex: "Se x é maior que 0...").
  • Cada Trilho (Aresta) é a lógica que conecta uma parada à outra (ex: "Porque o passo anterior disse que...").
  • Acíclico: Significa que você nunca pode voltar para trás num loop infinito. Você sempre avança em direção ao destino.

No novo formato DAG-MATH, o robô é obrigado a desenhar esse mapa enquanto pensa. Ele precisa dizer: "Estou na Parada A, puxei o trilho da Regra X, e cheguei na Parada B".

3. A Medida de Sucesso: "Proximidade Lógica"

Aqui está a mágica. Antes, só olhávamos se o robô chegou ao destino final (a resposta certa). Agora, os autores criaram uma nova métrica chamada Proximidade Lógica (Logical Closeness).

Imagine que o destino final é uma caixa de tesouro.

• Resposta Certa (PASS@1): O robô chegou na caixa. Ótimo!
• Proximidade Lógica (PRR): O robô chegou na caixa, mas todos os trilhos que ele percorreu estavam conectados e faziam sentido?

Se o robô pulou de um trilho para outro sem conexão, ou se ele inventou uma parada que ninguém usou depois, a "Proximidade Lógica" cai. É como se ele tivesse chegado no tesouro, mas tivesse deixado metade do mapa no chão ou usado um atalho mágico que não existe.

4. O Que Eles Descobriram?

Ao testar vários robôs (IA) com esse novo mapa, eles descobriram coisas interessantes:

• A Ilusão da Inteligência: Muitos robôs acertam a resposta final (PASS@1 alto), mas quando olhamos o mapa, vemos que eles estão "perdidos" no meio do caminho. Eles usam muita "exploração" (tentar muitas coisas) para achar a resposta, em vez de usar lógica pura.
• O "Ponto Doce": Os melhores raciocínios são como trilhos de trem diretos e eficientes. Eles têm poucos desvios e cada parada é necessária.
• Dificuldade Real: Problemas difíceis exigem mapas maiores e mais complexos (mais paradas, mais trilhos cruzados). Se o robô não consegue manter o mapa organizado (lógico) enquanto o problema cresce, ele falha, mesmo que às vezes acerte por sorte.

Resumo em uma Frase

O DAG-MATH é como um novo "olho de águia" que não deixa o robô apenas mostrar a resposta final. Ele exige que o robô mostre o mapa completo da viagem, garantindo que cada passo do caminho tenha uma razão lógica e esteja conectado ao anterior, separando quem realmente entende matemática de quem apenas chuta a resposta certa.

É como mudar de perguntar "Você acertou o teste?" para "Mostre-me como você chegou a essa resposta, passo a passo, sem pular nenhuma linha".

Resumo técnico

Resumo Técnico: DAG-Math

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram desempenho notável na resolução de problemas matemáticos quando utilizam a técnica Chain-of-Thought (CoT), que incentiva a geração de passos intermediários antes da resposta final. No entanto, a natureza de "caixa preta" desses processos levanta questões críticas:

• Ambiguidade na Avaliação: Não está claro se o sucesso dos modelos decorre de um raciocínio lógico rigoroso, de procedimentos de busca (tentativa e erro) ou de memorização.
• Limitações das Métricas Atuais: Métricas tradicionais como PASS@k avaliam apenas a correção da resposta final, ignorando a coerência lógica dos passos intermediários. Um modelo pode acertar a resposta final através de uma busca exploratória ou "sorte", mesmo que o caminho lógico esteja cheio de falhas, redundâncias ou inconsistências.
• Falta de Formalismo: Abordagens anteriores tentaram modelar o CoT como árvores lineares ou cadeias de Markov, mas falham em capturar dependências de longo alcance, ramificações cruzadas e a natureza direcionada a um objetivo (estado absorvente) da resolução de problemas matemáticos.

2. Metodologia

Os autores propõem um novo paradigma para modelar e avaliar o raciocínio matemático, formalizando o CoT como um processo estocástico baseado em regras sobre Grafos Acíclicos Direcionados (DAGs).

• Estrutura do Framework (Fase 1 e 2):

  • Fase 1 (Construção do DAG Específico da Tarefa): Para cada problema, define-se um DAG onde os nós representam estados de derivação intermediária (conclusões) e as arestas codificam as aplicações de regras lógicas (justificativas). O grafo é dividido em nós de entrada (dados do problema), nós intermediários e nós de saída (respostas finais, corretas ou incorretas).
  • Fase 2 (Processo Estocástico): O LLM gera trajetórias de CoT sobre este DAG seguindo regras de transição estocásticas. O processo é "absorvente", terminando quando um nó de saída é alcançado.

• Conceitos Chave:

  • Proximidade Lógica (Logical Closeness): Uma métrica que verifica se a trajetória gerada pelo modelo é "logicamente fechada". Isso significa que todo nó intermediário (exceto o final) deve ser utilizado como premissa para pelo menos um passo subsequente. Se um passo é gerado e nunca usado, ele representa um "nó não fechado", indicando exploração exploratória ou raciocínio desconexo.
  • Taxa de Raciocínio Perfeito (Perfect Reasoning Rate - PRR): Define-se um raciocínio como "perfeito" se a trajetória for logicamente fechada e terminar no nó de saída correto. A PRR mede a probabilidade de o modelo gerar tal trajetória.
  • DAG-MATH Format: Para facilitar a extração e avaliação, os autores introduzem um formato estruturado de CoT onde cada passo é explicitamente definido como: Aresta (Justificativa) -> Pais (Passos anteriores) -> Nó (Conclusão).

• Benchmarks e Dados:

  • Construíram um benchmark de 2.894 DAGs de padrão ouro (gold-standard) derivados de problemas matemáticos (Omni-MATH, AIME, BRUMO, HMMT).
  • Utilizaram uma estratégia de três estágios (Geração de Nós -> Análise de Dependências -> Geração de Arestas) com validação humana e via SymPy para garantir a qualidade dos dados de treino.

3. Principais Contribuições

1. Framework Teórico Unificado: Estabelecem uma formalização matemática rigorosa do CoT baseada em DAGs, superando as limitações de modelos lineares ou de árvores simples, permitindo capturar dependências complexas e compartilhamento de sub-derivações.
2. Nova Métrica de Avaliação (PRR e AUC): Introduzem a Taxa de Raciocínio Perfeito e escores AUC (Área sob a Curva) baseados na proximidade lógica. Essas métricas distinguem entre modelos que "adivinham" a resposta correta e aqueles que realizam inferência lógica coerente.
3. Análise Estatística de Grafos: Demonstram que problemas mais difíceis geram DAGs maiores, mais esparsos e com maior complexidade de ramificação (alto grau de saída), exigindo que os modelos decomponham tarefas e rastreiem dependências de longo prazo.
4. Diagnóstico de Capacidade de Modelos: O framework permite identificar o "limite de dificuldade" de um modelo, onde a precisão cai drasticamente quando a ramificação do grafo explode e a densidade diminui.

4. Resultados Experimentais

Os autores avaliaram cinco modelos de ponta (Gemini-2.5, GPT-4.1, Qwen3) em conjuntos de dados de alta dificuldade (AIME 2025, BRUMO 2025, HMMT 2025):

• Discrepância entre Precisão e Raciocínio: Houve uma queda estatisticamente significativa entre a precisão da resposta final (PASS@1) e a PRR. Por exemplo, o Gemini-2.5-Flash teve 52,4% de acerto final, mas apenas 17,0% de raciocínio perfeito. Isso indica que a busca (exploração) infla a precisão, mas não garante coerência lógica.
• Estabilidade da Capacidade de Raciocínio Perfeito: Enquanto o PASS@1 variava amplamente entre modelos, a PRR permaneceu relativamente estável, sugerindo que a capacidade intrínseca de raciocínio lógico puro é comparável entre modelos, mesmo que suas estratégias de busca difiram.
• Estrutura do Grafo e Dificuldade:
  • Trajetórias "Perfeitas" correspondem a grafos menores e mais densos (raciocínio concentrado).
  • Trajetórias "Incorretas" exibem ramificação excessiva e esparsidade, indicando que o modelo se perde em explorações especulativas.
  • O uso do modo "Thinking" (raciocínio explícito) aumentou tanto o PASS@1 quanto a PRR, mas a lacuna entre eles persistiu, confirmando que o pensamento ajuda na exploração, mas não elimina totalmente a tendência à busca descoordenada.
• Robustez: As métricas mostraram-se robustas a variações no prompt (reformulação e reformatagem) e consistentes entre diferentes métodos de análise (auto-análise vs. análise por modelos externos).

5. Significado e Impacto

O trabalho DAG-Math oferece um "Princípio de Dourado" (Goldilocks principle) que equilibra a flexibilidade da linguagem natural com o rigor dos sistemas de prova formal (como LEAN), sem exigir a formalização prévia de todos os problemas.

• Diagnóstico Aprofundado: Permite identificar se um erro de modelo se deve à falta de capacidade de decomposição, à falha em rastrear dependências ou à geração de passos irrelevantes.
• Guia para Treinamento e RL: As curvas AUC e a métrica de proximidade lógica podem ser usadas como funções de recompensa em Reinforcement Learning (RL) para treinar modelos a priorizar caminhos logicamente coerentes, em vez de apenas buscar respostas corretas.
• Definição de Raciocínio: O framework avança na definição matemática de "raciocínio" em LLMs, análogo aos conceitos de generalização e memorização no aprendizado supervisionado, estabelecendo bases para garantias teóricas de desempenho em raciocínio.

Em suma, o paper propõe uma mudança de paradigma: em vez de apenas perguntar "o modelo acertou a resposta?", devemos perguntar "o modelo seguiu um caminho logicamente válido e completo?".