💬 NLP

SGR: A Stepwise Reasoning Framework for LLMs with External Subgraph Generation

O artigo apresenta o SGR, um framework de raciocínio passo a passo que aprimora o desempenho de Modelos de Linguagem de Grande Escala em tarefas complexas ao construir subgrafos específicos para consultas a partir de bases de conhecimento externas, fundamentando a inferência multi-etapa em evidências estruturadas e factuais.

Autores originais: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo muito inteligente e bem lido (o Modelo de Linguagem de Grande Escala, ou LLM) que consegue escrever histórias belas e responder a muitas perguntas. No entanto, quando você lhe pede um quebra-cabeça lógico complicado e com múltiplos passos, ele às vezes se perde, inventa fatos ou segue um caminho errado porque depende apenas de sua memória.

O artigo apresenta o SGR (Framework de Raciocínio Passo a Passo), uma nova maneira de ajudar esse amigo inteligente a resolver problemas difíceis, fornecendo a ele um mapa personalizado antes que ele comece a pensar.

Veja como o SGR funciona, usando analogias simples:

1. O Problema: A Armadilha da "Alucinação"

Pense no LLM como um viajante tentando encontrar um destino usando apenas sua memória. Se a jornada for curta, ele está bem. Mas, se a jornada exigir cinco curvas específicas e uma ponte que pode não existir, ele pode adivinhar que a ponte está lá apenas para continuar avançando. Isso leva a "alucinações" (inventar coisas) ou erros lógicos.

2. A Solução: Construir um Mapa "Subgrafo" Personalizado

Em vez de deixar o viajante adivinhar, o SGR atua como um cartógrafo que constrói um mini-mapa especificamente para aquela única pergunta.

O Grafo de Conhecimento: Imagine uma biblioteca gigante de fatos onde cada fato está conectado como uma teia de aranha (Entidade A está conectada à Entidade B).
O Subgrafo: Quando você faz uma pergunta, o SGR não examina toda a biblioteca. Ele recorta um pequeno e específico pedaço dessa teia que é relevante para sua pergunta. É como retirar um único e claro caminho de uma floresta densa e dispor sobre uma mesa para o viajante ver.

3. O Processo de Três Etapas

O SGR ajuda o LLM em três etapas distintas:

Etapa 1: Desenhar o Mapa (Geração Estruturada de Subgrafos)
O sistema analisa sua pergunta, identifica os principais "marcos" (entidades) e "estradas" (relações) e constrói um pequeno mapa estruturado. Ele filtra todo o ruído e as árvores irrelevantes da floresta, deixando apenas o caminho necessário para resolver o quebra-cabeça.
Etapa 2: Caminhar o Caminho Passo a Passo (Raciocínio Passo a Passo)
Em vez de pular direto para a resposta, o LLM é forçado a caminhar ao longo das linhas desse mapa personalizado. Ele verifica: "Ok, estou no Marco A. O mapa diz que devo ir ao Marco B. Isso faz sentido?" Isso impede que o modelo pule etapas ou faça suposições selvagens.
Etapa 3: Verificar Duplamente a Rota (Raciocínio Colaborativo)
Às vezes, um único caminho não é suficiente. O SGR pode pedir ao LLM para tentar algumas rotas diferentes no mapa. Então, age como um árbitro, verificando se a resposta final realmente se encaixa nas regras do mapa. Se o LLM tentar dizer "A resposta é X", mas o mapa mostrar que X é impossível, o sistema corrige isso. Ele combina as melhores partes de diferentes caminhos para fornecer a resposta mais confiável.

4. Por Que Funciona Melhor

O artigo testou esse método em vários desafios difíceis de perguntas e respostas (como trivia complexa ou quebra-cabeças lógicos).

O Resultado: O SGR consistentemente superou outros métodos, incluindo modelos de IA "inteligentes" padrão que apenas conversam sem um mapa.
O Benefício: Tornou a IA mais precisa e menos propensa a mentir sobre fatos. Também tornou o processo de pensamento da IA transparente — você pode realmente ver o mapa e o caminho que ela percorreu, em vez de apenas receber uma resposta mágica.

5. A Pegadinha (Limitações)

O artigo admite que construir esses mapas personalizados leva tempo e poder de computação extras. É como contratar um cartógrafo antes de cada viagem; é mais lento do que apenas adivinhar, mas muito mais preciso. Além disso, se a biblioteca original (o Grafo de Conhecimento) tiver livros faltando ou fatos errados, o mapa estará defeituoso e o viajante ainda se perderá.

Em resumo: O SGR é um framework que impede a IA de adivinhar, fornecendo a ela um mapa personalizado e verificado de fatos do mundo relevante para a pergunta, forçando-a a percorrer o caminho passo a passo para garantir que a resposta seja verdadeira.

Resumo Técnico: SGR – Um Framework de Raciocínio Passo a Passo para LLMs com Geração de Subgrafos Externos

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado proficiência em fluência e geração de texto, eles exibem limitações significativas em tarefas de raciocínio complexo que exigem inferência lógica profunda. Treinados em corpora textuais massivos, os LLMs frequentemente geram outputs que carecem de consistência lógica ou contêm alucinações factuais. Além disso, seus mecanismos internos de raciocínio são frequentemente opacos. Embora a integração de Grafos de Conhecimento (KGs) externos tenha sido proposta para mitigar esses problemas, os métodos existentes frequentemente dependem de templates de prompt fixos ou estratégias de recuperação estáticas. Essas abordagens muitas vezes falham em utilizar plenamente a rica informação estrutural dentro dos KGs, levando a cadeias de raciocínio incompletas, à introdução de ruído irrelevante ou à incapacidade de se adaptar dinamicamente a estruturas de consulta específicas.

Metodologia: O Framework SGR
Os autores propõem o SGR (Framework de Raciocínio Passo a Passo), um sistema projetado para aprimorar o raciocínio de LLMs gerando dinamicamente subgrafos externos a partir de bases de conhecimento. O framework opera através de três componentes principais:

Geração Estruturada de Subgrafos:
- Ao receber uma pergunta de entrada $q$ , o sistema extrai entidades-chave, relações e restrições para formar uma representação estruturada $S_q$ .
- Usando uma abordagem guiada por esquema, o LLM atua como um especialista em grafo de conhecimento para identificar entidades e relações centrais. Ele constrói um subgrafo específico da consulta $G_q$ filtrando o KG externo para triplas com alta relevância semântica à pergunta.
- Esse processo envolve a geração de um esquema estruturado, que é então traduzido em uma consulta Cypher executável (via um módulo NLCypher) para recuperar triplas candidatas precisas de um banco de dados Neo4j. Isso evita as limitações de prompts fixos ao criar um contexto de conhecimento dinâmico e adaptado à consulta.
Aprimoramento do Raciocínio Passo a Passo:
- O framework guia o LLM a realizar o raciocínio de maneira passo a passo sobre o subgrafo gerado.
- O processo de raciocínio é modelado como uma trajetória de estados $z_{1:T}$ , onde cada passo condiciona-se à pergunta, aos estados anteriores e à evidência atual do subgrafo.
- Um escore de consistência de caminho é introduzido para garantir que o caminho de raciocínio esteja alinhado com o conhecimento estruturado recuperado. O modelo é incentivado a selecionar respostas que maximizem tanto a confiança no raciocínio quanto a consistência estrutural com o subgrafo.
Integração de Raciocínio Colaborativo:
- O SGR emprega duas estratégias para gerar o output final: Raciocínio Direto e Raciocínio Colaborativo.
- Raciocínio Direto: O LLM gera respostas diretamente com base no subgrafo e no esquema recuperados, seguido por uma etapa de validação onde as respostas candidatas são verificadas contra as restrições de esquema no KG.
- Raciocínio Colaborativo: Se o raciocínio direto for insuficiente, o framework inicia um loop iterativo. O LLM gera hipóteses intermediárias, que são verificadas e expandidas recuperando evidências de suporte do KG. Esse ciclo se repete, permitindo que o sistema explore múltiplos caminhos de raciocínio.
- Finalmente, os resultados de múltiplos caminhos são agregados, ponderados por uma combinação de confiança do modelo e consistência do grafo, para produzir a previsão final.

Principais Contribuições

Framework Inovador: A introdução do SGR, um framework de aprimoramento de raciocínio passo a passo que alavanga subgrafos específicos da consulta, gerados externamente, para melhorar o desempenho de LLMs em problemas complexos de raciocínio multi-etapa.
Interpretabilidade: O desenvolvimento de um procedimento de raciocínio interpretável e aprimorado por conhecimento. Diferente da geração de caixa-preta, o SGR produz caminhos de raciocínio explícitos e outputs finais que podem ser rastreados e verificados contra o grafo de conhecimento subjacente.
Validação Empírica: Experimentos extensivos demonstrando que o SGR supera bases competitivas (incluindo prompting padrão, Cadeia de Pensamento e métodos anteriores de última geração) em múltiplos conjuntos de dados de referência.

Resultados Experimentais
O framework foi avaliado em quatro conjuntos de dados de referência: CWQ (Complex WebQuestions), WebQSP, GrailQA e KQA Pro.

Desempenho: O SGR alcançou melhorias consistentes sobre as bases. Por exemplo, no conjunto de dados CWQ, o SGR com ChatGPT alcançou um Hits@1 de 0,578 e Precisão de 0,526, superando o prompting padrão do ChatGPT (0,376/0,256) e o prompting CoT (0,388/0,258). Em GrailQA, o SGR/ChatGPT atingiu 0,713 Hits@1 e 0,633 de Precisão.
Estudos de Ablação: Experimentos no conjunto de dados CWQ confirmaram a necessidade de ambos os componentes. A remoção da geração de subgrafos guiada por esquema ou da recuperação baseada em Neo4j resultou em quedas significativas de desempenho, validando que a recuperação estruturada e o guia de esquema são críticos para o raciocínio multi-etapa.
Generalização: O framework demonstrou capacidades agnósticas ao modelo, mostrando ganhos consistentes quando aplicado tanto a LLMs Cypher quanto ao ChatGPT, e até mesmo melhorando o desempenho em modelos de linguagem menores.

Significado e Alegações
O artigo alega que o SGR oferece uma solução robusta para as limitações dos LLMs em raciocínio complexo ao fundamentar etapas intermediárias em conhecimento estruturado externo. Seu significado reside em:

Precisão e Confiabilidade: Ao concentrar o modelo em entidades e relações relevantes dentro de um subgrafo, o framework reduz o impacto de informações irrelevantes ou ruidosas, melhorando assim a confiabilidade factual.
Transparência: O framework fornece um mecanismo para rastrear caminhos de raciocínio, abordando as questões de interpretabilidade frequentemente associadas aos LLMs.
Adaptabilidade: Ao gerar subgrafos dinamicamente em vez de depender de templates estáticos, o sistema adapta-se a diversas estruturas de consulta e padrões de raciocínio.

Limitações
Os autores reconhecem que o SGR incorre em custos computacionais adicionais devido aos requisitos de geração de subgrafos e recuperação de conhecimento, o que pode impactar a eficiência de inferência em aplicações de grande escala. Além disso, o desempenho do framework é contingente à completude e precisão dos grafos de conhecimento externos subjacentes; fatos ausentes ou ruidosos no KG ainda podem levar a erros de raciocínio. Sugere-se que trabalhos futuros se concentrem em otimizar a eficiência de recuperação e explorar estratégias de implantação leve.