Resumo Técnico: Melhoria do Raciocínio Passo a Passo para LLMs via Geração de Subgrafo Externo (SGR)

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas em geração de linguagem natural e aprendizado de poucos disparos (few-shot learning). No entanto, quando aplicados a tarefas de raciocínio de múltiplos passos, complexas e intensivas em conhecimento, eles enfrentam limitações críticas:

1. Falta de Fundamentação Factual: Os resultados podem depender de conhecimento paramétrico implícito em vez de fatos externos verificáveis.
2. Inconsistência Lógica: Os processos de raciocínio podem ser falhos ou contraditórios.
3. Baixa Interpretabilidade: Os passos internos de raciocínio são frequentemente implícitos, tornando difícil rastrear evidências ou verificar a validade de uma resposta gerada.

Métodos convencionais de geração aumentada por recuperação (RAG) frequentemente dependem de passagens de texto não estruturadas ou fatos fracamente conectados, que falham em preservar as dependências relacionais estritas necessárias para a inferência de múltiplos saltos (multi-hop inference). Embora os Grafos de Conhecimento (KGs) ofereçam triplas estruturadas para raciocínio explícito, construir dinamicamente subgrafos compactos e relevantes para a consulta para guiar os LLMs permanece um desafio em aberto.

Metodologia: O Framework SGR

O artigo propõe o SGR (Stepwise Reasoning Enhancement - Melhoria do Raciocínio Passo a Passo), um framework que integra LLMs com Grafos de Conhecimento externos através da geração dinâmica de subgrafos relevantes à consulta. O framework opera através de quatro estágios primários:

1. Geração de Subgrafo Estruturado

Em vez de recuperar textos brutos, o SGR converte uma pergunta de entrada $q$ em um esquema estruturado $S_q = \{V_q, R_q, C_q\}$, onde:

• $V_q$: Entidades vinculadas extraídas da pergunta.
• $R_q$: Relações candidatas que conectam essas entidades.
• $C_q$: Restrições (ex: restrições temporais, numéricas ou de tipo).

Usando este esquema, o sistema recupera um subgrafo compacto $G_q$ de um KG externo (armazenado no Neo4j). O processo de recuperação expande-se a partir de entidades semente ao longo de relações candidatas enquanto aplica estritamente as restrições para filtrar caminhos irrelevantes. Isso resulta em um subgrafo denso e rico em evidências, contendo apenas caminhos de entidade-relação relevantes para a consulta.

2. Melhoria do Raciocínio Passo a Passo

O LLM é guiado para raciocinar passo a passo sobre a evidência explícita em $G_q$. Em vez de gerar uma resposta diretamente do conhecimento paramétrico, o modelo percorre o subgrafo, selecionando evidências em cada etapa para construir uma trajetória de raciocínio interpretável. Passos não suportados são filtrados ou recebem pontuações de confiabilidade menores.

3. Melhoria do Raciocínio Direto (Baseado em Cypher)

Para fornecer uma base sólida de fundamentação factual, o SGR traduz o esquema gerado $S_q$ em consultas Cypher executáveis usando um módulo "Cypher LLM".

• A consulta é executada no Neo4j para recuperar respostas candidatas $A_c$ diretamente do grafo.
• Isso transforma o raciocínio de linguagem natural em operações simbólicas, estreitando o espaço de busca e garantindo que as respostas estejam fundamentadas na estrutura do grafo.
• Um passo de Validação de Resposta segue-se, pontuando candidatos com base na consistência do grafo (alcancabilidade em $G_q$) e confiança semântica (compatibilidade com a pergunta).

4. Integração de Raciocínio Colaborativo

Para aumentar a robustez, o SGR agrega respostas de múltiplos caminhos de raciocínio (tanto os caminhos derivados de Cypher quanto os caminhos gerados por LLM).

• Para cada caminho $p_i$, uma pontuação de confiabilidade $\omega_i$ é computada equilibrando a confiança do modelo ($\rho_i$) e a consistência do grafo ($\eta_i$).
• A resposta final $\hat{a}$ é selecionada agregando o suporte de todos os caminhos, favorecendo respostas suportadas por múltiplas trajetórias de alta confiança e consistentes com o grafo. Este mecanismo suprime previsões ruidosas de caminho único.

Principais Contribuições

1. Proposta de Framework: Introdução do SGR, um framework de raciocínio passo a passo que gera dinamicamente subgrafos externos para guiar LLMs em tarefas de resposta a perguntas intensivas em conhecimento.
2. Estratégia Guiada por Esquema: Um método inovador para extrair entidades, relações e restrições para recuperar evidências estruturadas e compactas, indo além da recuperação de texto isolado.
3. Mecanismo Colaborativo: Um design que combina o raciocínio direto baseado em Cypher com o raciocínio baseado em LLM, validando e agregando resultados com base tanto na confiança do modelo quanto na consistência do grafo.
4. Validação Empírica: Experimentos abrangentes demonstrando que o SGR melhora o desempenho em relação ao prompting padrão e às bases existentes de melhoria de conhecimento.

Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados de referência: CWQ, WebQSP, GrailQA e KQA Pro. O estudo comparou três variantes (SGR/Cypher LLM, SGR/ChatGPT, SGR/GPT-4) contra o prompting padrão (IO, CoT) e baselines como StructGPT e Tree-of-Graphs.

• Ganhos de Desempenho: O SGR superou consistentemente os métodos de prompting padrão. Por exemplo, no CWQ, o SGR/ChatGPT melhorou o Hits@1 de 0,376 (IO Prompt) para 0,578 e a precisão para 0,526.
• Comparação com o Estado da Arte: No WebQSP, o SGR/GPT-4 alcançou 0,826 Hits@1 e 0,808 de precisão, igualando os melhores resultados de Hits@1 e alcançando a maior precisão entre todos os métodos testados. No GrailQA, atingiu 0,756 Hits@1 e 0,703 de precisão.
• Estudos de Ablação: Remover tanto o guia de esquema quanto a recuperação do Neo4j resultou em quedas significativas de desempenho. Por exemplo, no CWQ, remover os prompts de esquema fez o Hits@1 do SGR/ChatGPT cair de 0,578 para 0,400. Isso confirma que tanto o guia de esquema quanto a recuperação de grafo externa são cruciais para a eficácia do framework.

Significância e Alegações

O artigo afirma que o SGR aborda a natureza de "caixa preta" do raciocínio de LLMs ao fornecer evidência relacional explícita e verificável. Ao gerar dinamicamente subgrafos, o framework:

• Melhora a fundamentação factual ao ancorar o raciocínio em triplas estruturadas em vez de memória paramétrica.
• Aumenta a interpretabilidade ao tornar a trajetória de raciocínio rastreável através do grafo.
• Aumenta a robustez através da integração colaborativa, reduzendo o risco de respostas não suportadas ou alucinações.

Os autores concluem que subgrafos externos gerados dinamicamente são um mecanismo viável e eficaz para melhorar a precisão, robustez e transparência do raciocínio baseado em LLM em cenários complexos de múltiplos saltos.

Limitações

O artigo reconhece diversas limitações:

• Dependência da Qualidade do KG: O desempenho é contingente na cobertura e precisão do grafo de conhecimento externo; fatos ausentes ou ruidosos podem levar a um raciocínio incorreto.
• Erros de Extração: Erros na vinculação de entidades, identificação de relações ou construção de esquema podem se propagar para a recuperação do subgrafo e respostas finais.
• Dimensionamento do Subgrafo: Determinar o tamanho ideal do subgrafo é desafiador; subgrafos pequenos podem perder evidências, enquanto subgrafos grandes introduzem ruído.
• Custo Computacional: As etapas adicionais de geração de esquema, consulta Cypher e integração de caminhos aumentam os custos de inferência em comparação ao prompting direto.