💬 NLP

Extracting and Following Paths for Robust Relational Reasoning with Large Language Models

O artigo apresenta o Path-of-Thoughts (PoT), um novo framework que melhora o raciocínio relacional em Grandes Modelos de Linguagem (LLMs) ao decompor a tarefa em extração de grafo, identificação de caminhos e raciocínio, superando significativamente os métodos atuais sem necessidade de ajuste fino e demonstrando maior resiliência a erros de extração.

Autores originais: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Publicado 2026-03-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo muito inteligente, um "gênio" de livro (o Modelo de Linguagem ou LLM), que leu quase tudo o que existe na internet. Ele sabe o significado de milhares de palavras e consegue conversar sobre qualquer coisa. No entanto, quando você pede para ele resolver um quebra-cabeça complexo de lógica — tipo "Se o tio do primo do João mora ao norte da casa da Maria, onde está a casa do João?" — esse gênio às vezes se perde. Ele começa a alucinar, inventar fatos ou se confundir com as direções, porque ele tenta "adivinhar" a resposta baseada em padrões de texto, em vez de realmente "pensar" passo a passo.

O artigo que você enviou apresenta uma nova solução chamada PoT (Caminhos de Pensamento). Para explicar isso de forma simples, vamos usar uma analogia de exploração em uma floresta.

O Problema: O Explorador Confuso

Imagine que o Modelo de Linguagem é um explorador que precisa encontrar um tesouro (a resposta) em uma floresta densa (o problema de raciocínio).

O jeito antigo (CoT - Cadeia de Pensamento): O explorador pega um mapa mental, fecha os olhos e tenta imaginar o caminho. Ele diz: "Primeiro ando para o norte, depois para o leste...". O problema é que, se ele errar um passo no início, ele continua andando na direção errada até chegar a um lugar completamente diferente. Ele não tem um mapa real, apenas uma ideia vaga.
O problema da confusão: Às vezes, a floresta tem caminhos falsos ou sinais trocados (erros na extração de informações). O explorador antigo não consegue distinguir o caminho real do falso e acaba se perdendo.

A Solução: O PoT (Caminhos de Pensamento)

Os autores criaram um novo método que funciona como se o explorador tivesse um GPS e um mapa físico antes de começar a caminhar. O processo tem três etapas mágicas:

1. Desenhar o Mapa (Extração do Gráfico)

Em vez de apenas ler a história e tentar adivinhar, o PoT pede ao "gênio" que pare e desenhe um mapa real da situação.

A Analogia: Imagine que você tem uma história sobre uma família ou objetos em uma sala. O PoT transforma essa história em um diagrama de conexões (um gráfico). Ele escreve: "O objeto A está em cima do B", "O B está atrás do C".
O Truque: Ele faz isso de forma muito organizada, garantindo que todos os pontos (pessoas, objetos) e as setas (relações) estejam anotados corretamente em um papel, antes de tentar resolver o problema. Isso evita que o "gênio" esqueça detalhes importantes.

2. Encontrar o Caminho Certo (Identificação de Caminhos)

Agora que temos o mapa completo, o PoT não tenta adivinhar tudo de uma vez. Ele olha para o mapa e pergunta: "Qual é o caminho específico que liga o Ponto de Partida (A) ao Ponto de Chegada (B)?"

A Analogia: Imagine que o mapa tem várias estradas, algumas que levam a becos sem saída e outras que são falsas. O PoT usa um algoritmo (uma regra matemática simples) para traçar todas as rotas possíveis entre os dois pontos de interesse.
A Vantagem: Se houver um erro no mapa (por exemplo, o "gênio" desenhou uma seta na direção errada), o PoT não entra em pânico. Ele olha para as outras rotas. Se uma rota diz "Norte" e outra diz "Sul", ele percebe que há uma contradição e pode testar cada caminho separadamente. É como ter vários guias diferentes: se um errar, os outros podem corrigir.

3. A Jornada Final (Raciocínio)

Com o caminho traçado e isolado, o PoT pede ao "gênio" (ou a um computador lógico) para seguir apenas aquele caminho específico para chegar à resposta.

A Analogia: Em vez de o explorador ter que lembrar de toda a floresta, ele recebe uma instrução simples: "Siga esta linha vermelha no mapa até o fim". Como o caminho já foi filtrado e limpo, é muito mais fácil chegar ao tesouro sem se perder.

Por que isso é incrível?

O artigo mostra que essa abordagem é muito mais resistente a erros.

Resiliência: Se o "gênio" errar ao desenhar uma parte do mapa (extrair uma relação errada), o sistema de "caminhos" consegue ignorar esse erro ou testar alternativas, em vez de falhar completamente. É como ter um GPS que, se você entrar na rua errada, recalcula a rota imediatamente em vez de te levar para o fim do mundo.
Sem Treinamento Extra: O método não precisa "estudar" novos livros ou ser reprogramado. Ele usa o "gênio" que já temos, apenas mudando a forma como conversamos com ele (usando prompts inteligentes) para que ele desenhe o mapa primeiro.

Resumo em uma frase

O PoT é como ensinar um gênio da leitura a parar, desenhar um mapa claro das conexões, traçar o caminho exato no papel e só então seguir esse caminho para responder perguntas difíceis, evitando que ele se perca em meio a informações confusas.

Isso funciona muito bem para descobrir relações familiares (quem é o tio de quem) ou posições no espaço (onde está o objeto X em relação ao Y), superando os métodos antigos em até 21% de precisão!

1. O Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades notáveis em tarefas de linguagem natural, mas ainda enfrentam dificuldades significativas em tarefas de raciocínio relacional complexo, como inferência de parentesco (kinship) e raciocínio espacial.

Limitações Atuais: Embora os LLMs possuam vasto conhecimento semântico, eles tendem a realizar um raciocínio "superficial" e sofrem em tarefas de múltiplos saltos (multi-hop), onde a resposta depende de encadear várias relações intermediárias.
Falhas em Abordagens Existentes:
- Métodos baseados puramente em prompting (como Chain-of-Thought - CoT) muitas vezes falham devido a distrações com contexto irrelevante ou erros de raciocínio em cadeias longas.
- Métodos neuro-simbólicos anteriores frequentemente exigem módulos de tradução específicos para cada tarefa, são frágeis a erros de extração do LLM ou requerem um grande número de chamadas ao modelo, aumentando o custo computacional.
- Muitos trabalhos assumem que as entidades consultadas são fornecidas pelo conjunto de dados, ignorando a necessidade de extraí-las da pergunta natural, o que limita a generalização.

2. Metodologia: Path-of-Thoughts (PoT)

O artigo propõe o Path-of-Thoughts (PoT), um novo framework que decompõe o problema de raciocínio relacional em três estágios distintos, utilizando a estrutura de grafos para aumentar a robustez.

Estágio 1: Extração de Grafos (Graph Extraction)

Objetivo: Converter a história textual em um grafo estruturado $G = (N, E)$ , onde $N$ são entidades (nós) com atributos e $E$ são triplets de relações (arestas).
Inovação: Utiliza uma única chamada ao LLM com prompts altamente estruturados (com marcação de seções, delimitadores sintáticos e decomposição de tarefas) para extrair simultaneamente:
1. Todas as entidades e suas relações.
2. As entidades alvo da pergunta (query).
Resiliência: O design do prompt visa minimizar erros de extração e garantir consistência no formato de saída.

Estágio 2: Identificação de Caminhos (Path Identification)

Objetivo: Identificar todos os caminhos de raciocínio possíveis entre as duas entidades consultadas no grafo extraído.
Mecanismo: Utiliza uma busca em profundidade (DFS) para encontrar múltiplos caminhos independentes conectando o nó de origem ao nó de destino.
Vantagem Crítica: Em vez de confiar em um único caminho de raciocínio (que pode conter erros de extração), o PoT explora múltiplos caminhos. Se houver ambiguidades ou erros na extração, diferentes caminhos podem levar a diferentes respostas potenciais, permitindo que o sistema lide com ruído e contradições.

Estágio 3: Raciocínio (Reasoning)

Objetivo: Inferir a resposta final baseada nos caminhos identificados.
Abordagens Híbridas: O framework é flexível e pode usar:
- LLM como Reasoner: O LLM recebe apenas o caminho de raciocínio relevante (e não a história inteira) para inferir a resposta, reduzindo a distração por contexto irrelevante.
- Solver Simbólico: Os caminhos são traduzidos para regras lógicas (ex: Answer Set Programming - ASP) e resolvidos por um solver simbólico (como CLINGO), garantindo precisão lógica.
Mecanismo de Agregação: O sistema pode inferir respostas para cada caminho independentemente e agregar os resultados, aumentando a robustez contra erros de extração pontuais.

3. Principais Contribuições

Extração Eficiente em Chamada Única: Um método de prompting otimizado que extrai grafos de relações e consultas em uma única chamada ao LLM, eliminando a necessidade de múltiplas iterações caras.
Identificação de Múltiplos Caminhos: Uma etapa inovadora que isola e processa múltiplos caminhos de raciocínio independentes. Isso permite que o sistema seja resiliente a erros de extração do LLM e ambiguidades no texto de entrada, algo que métodos anteriores (como CoT) não fazem eficazmente.
Benchmarking Abrangente: Validação em quatro conjuntos de dados de raciocínio relacional (StepGame, CLUTRR, SPARTUN e um novo dataset de Parentesco Chinês), demonstrando superioridade sobre baselines de ponta sem necessidade de fine-tuning.
Resiliência a Ruído: Demonstração de que a abordagem baseada em grafos mitiga o impacto de erros de extração, superando métodos neuro-simbólicos tradicionais que falham quando a extração de fatos está incorreta.

4. Resultados Experimentais

Os experimentos foram realizados em diversos modelos (GPT-3.5, GPT-4, GPT-4o, Llama3-70B, e modelos focados em raciocínio como o1-mini e GPT-5).

Desempenho Geral: O PoT superou consistentemente as baselines (Zero-shot, Few-shot, CoT, CoT-SC e LLM-ASP).
- Houve uma melhoria máxima de 21,3% na precisão em relação às melhores baselines.
- Em tarefas de raciocínio espacial (StepGame) e parentesco (CLUTRR), o PoT-LLM e PoT-Simbólico superaram significativamente os métodos de prompting direto e o método LLM-ASP.
Robustez a Erros: Em testes sintéticos com ruído (erros de extração, arestas irrelevantes, contradições), o PoT com identificação de caminhos manteve alta precisão, enquanto os métodos sem identificação de caminhos (ou sem a etapa de isolamento de caminhos) sofreram quedas drásticas de desempenho.
Custo Computacional: Apesar de exigir duas chamadas ao LLM (extração + raciocínio), o PoT-LLM apresentou latência e custo de tokens comparáveis ao CoT, pois o módulo de raciocínio processa apenas o caminho extraído (muito menor que a história completa), em vez de todo o contexto.
Estudo de Ablação: A remoção do módulo de "Identificação de Caminhos" resultou em uma queda significativa de precisão (ex: de 73,4% para 69,2% no StepGame k=3), confirmando que isolar os caminhos relevantes é crucial para o sucesso.

5. Significado e Conclusão

O trabalho Path-of-Thoughts representa um avanço significativo na interseção entre LLMs e raciocínio simbólico.

Paradigma de "Mapa Cognitivo": Ao estruturar o conhecimento em um grafo (semelhante a um mapa cognitivo humano) antes de raciocinar, o PoT permite que os modelos lidem com problemas complexos de forma mais sistemática e menos propensa a alucinações.
Generalização: Diferente de métodos que exigem regras simbólicas específicas para cada domínio, o PoT extrai a estrutura fundamental (grafos) que pode ser utilizada por diversos reasoners (LLMs ou solvers simbólicos).
Implicações Futuras: O framework oferece um caminho viável para melhorar a confiabilidade de LLMs em tarefas críticas que exigem raciocínio lógico rigoroso, como planejamento, diagnóstico médico ou análise jurídica, onde erros de raciocínio em cadeia são inaceitáveis.

Em resumo, o PoT demonstra que decompor o problema em extração estruturada, identificação de caminhos e raciocínio focado é uma estratégia superior para superar as limitações atuais dos LLMs em raciocínio relacional complexo.