Structure-Augmented Reasoning Generation

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) evoluíram significativamente em capacidades de raciocínio, e a Geração Aumentada por Recuperação (RAG) permitiu que eles acessassem informações externas além de seus dados de treinamento. No entanto, os pipelines de RAG padrão enfrentam uma limitação crítica: eles tratam documentos recuperados como blocos de texto independentes e não estruturados.

Para consultas de multi-hop (que exigem a síntese de informações dispersas em vários documentos), essa abordagem força o modelo a conectar implicitamente fatos fragmentados. Isso resulta em:

• Fenômeno "Lost-in-the-Middle": O modelo falha em capturar dependências entre documentos, mesmo quando todas as informações necessárias estão presentes.
• Síntese Superficial: Dificuldade em raciocinar sobre cadeias causais complexas.
• Limitações de Métodos Existentes: Abordagens baseadas em grafos globais (como GraphRAG) exigem indexação prévia de todo o corpus (caro e lento para corpora dinâmicos), enquanto grafos genéricos (como Wikidata) carecem de relações contextuais específicas.

2. Metodologia: SARG

O SARG (Structure-Augmented Reasoning Generation) é um framework pós-recuperação leve que materializa estruturas de raciocínio explícitas a partir dos documentos recuperados, sem exigir indexação global ou fine-tuning específico de domínio. Ele opera em quatro etapas principais:

A. Construção de Grafo Consciente do Contexto

Diferente da Extração de Informação Aberta (OpenIE) padrão que gera grafos densos e ruidosos, o SARG impõe um esquema específico para raciocínio.

• Extração de Triplos: Usa few-shot prompting com LLMs para extrair apenas triplos do tipo <causa, relação, efeito> (ex: "inflação", "causa", "aumento de taxas").
• Esparsidade Intencional: Filtra dados atributivos triviais (ex: "é um", "tem"), mantendo apenas dependências lógicas, causais e sequenciais. Isso cria um "rascunho de raciocínio" (reasoning scratchpad) esparsa e focada.

B. Correspondência de Nós Semânticos e Classificação de Direção

• Ancoragem: Extrai conceitos-chave da pergunta do usuário (usando KeyBERT) e mapeia-os para os nós iniciais do grafo local.
• Classificação de Direção: Um modelo estudante leve (DistilBERT), destilado de um LLM maior, classifica a intenção da consulta em três direções lógicas: Forward (efeito), Backward (causa) ou Bidirectional. Isso evita a exploração cega e reduz a latência em ~495x comparado a usar um LLM para essa tarefa.

C. Varredura Multi-hop Baseada em Grafos

• Utiliza uma Busca em Feixe Semântico (Semantic Beam Search) para explorar o grafo a partir dos nós iniciais.
• A busca prioriza caminhos que mantêm alta similaridade semântica com a intenção do usuário, podando caminhos irrelevantes.
• Identifica cadeias de raciocínio completas que conectam a pergunta à resposta potencial através de passos intermediários.

D. Seleção de Cadeias e Compilação de Prompt

• As cadeias de raciocínio encontradas são serializadas em linguagem natural e integradas ao prompt de geração junto com os trechos de texto originais.
• Isso fornece ao LLM gerador um "andaime" (scaffold) explícito, guiando-o passo a passo através da lógica necessária para responder.

3. Principais Contribuições

1. Camada de Raciocínio Pós-Recuperação Agnóstica ao Recuperador: O SARG funciona como uma camada modular que pode ser adicionada a qualquer pipeline RAG existente (BM25, DPR, etc.), operando apenas sobre os documentos recuperados, sem reindexação de corpus.
2. Extração Focada em Raciocínio: Demonstra que LLMs instruídos podem extrair triplos causais de alta precisão sem fine-tuning, atuando como um filtro semântico que evita a explosão combinatória de grafos OpenIE.
3. Descoberta de Cadeias Bidirecionais: A capacidade de navegar para frente e para trás no grafo permite recuperar passos intermediários implícitos necessários para conectar evidências dispersas.
4. Rastreabilidade Total: Ao expor as cadeias de raciocínio exatas usadas, o SARG oferece inferências totalmente interpretáveis e verificáveis, ao contrário de métodos baseados em atenção ou resumos globais.

4. Resultados Experimentais

O SARG foi avaliado em benchmarks de QA multi-hop (HotPotQA, MuSiQue) e em dois conjuntos de dados personalizados de domínio (Bitcoin e Doença de Gaucher).

• Desempenho em Benchmarks Multi-hop: O SARG superou consistentemente os baselines de estado da arte (incluindo GraphRAG, HippoRAG e métodos RAG planos) em métricas de Exact Match (EM) e F1. Em HotPotQA e MuSiQue, alcançou os melhores resultados globais com backbones de código aberto.
• Qualidade de Raciocínio (Domínios Especializados):
  • Fidelidade (Faithfulness): Reduziu significativamente alucinações, mantendo as respostas estritamente ancoradas nas evidências recuperadas.
  • Precisão de Síntese: Superou métodos de indexação global em tarefas que exigem explicar mecanismos complexos (ex: flutuações de preço de Bitcoin), demonstrando que a construção de grafo "on-the-fly" é tão eficaz quanto a pré-indexação.
  • Lógica de Raciocínio: Obteve ganhos substanciais na coerência lógica, especialmente em finanças, onde a causalidade é crítica.
• Eficiência Computacional:
  • O SARG é 5x a 7x mais rápido na construção de contexto do que métodos globais pesados (como GraphRAG), pois opera apenas no subconjunto recuperado ($O(|D|)$) em vez de todo o corpus ($O(|C|)$).
  • O tempo de inferência por consulta é de apenas ~1.2 segundos para a construção do grafo, tornando-o viável para cenários dinâmicos.
• Estudo de Caso Qualitativo: Em um exemplo médico, o SARG conseguiu reconstruir uma cadeia causal completa (Genes de Suscetibilidade $\to$ Diabetes Tipo 1 Fulminante $\to$ Diagnóstico Precoce $\to$ Tratamento Otimizado) que um grafo anotado por humanos falhou em capturar totalmente.

5. Significado e Conclusão

O SARG representa um avanço significativo na arquitetura RAG ao resolver o problema de síntese de conhecimento sem sacrificar a flexibilidade. Ele preenche a lacuna entre a simplicidade do RAG plano (que falha em raciocínio complexo) e a rigidez dos métodos de grafos globais (que são lentos e difíceis de atualizar).

Ao transformar documentos recuperados em uma estrutura lógica explícita e navegável, o SARG permite que LLMs realizem raciocínio de "Sistema 2" (lento, deliberado e lógico) com alta precisão factual e interpretabilidade. Isso é particularmente crucial para aplicações de alto risco em medicina, finanças e tomada de decisão, onde a justificativa do raciocínio é tão importante quanto a resposta final.