Resumo Técnico: GRASP (Busca Agente sobre Proposições em Grafos)

Declaração do Problema

A resposta a perguntas multi-hop (QA) exige que os modelos coletem evidências de forma iterativa para resolver dependências que a similaridade semântica isolada não consegue abordar. Embora sistemas recentes de recuperação agencial melhorem a precisão ao conceder autonomia aos modelos de linguagem (LLMs) para buscar e raciocinar, eles enfrentam um gargalo crítico: eficiência de tokens.

Abordagens baseadas em grafos existentes, como HippoRAG e GeAR, utilizam grafos de conhecimento (KGs) construídos a partir de triplos relacionais (sujeito-relação-objeto) para permitir uma travessia estruturada. No entanto, isso introduz custos significativos:

1. Custo de Indexação: A extração e construção de KGs baseados em triplos são computacionalmente caras e frequentemente pouco confiáveis, às vezes degradando a qualidade da recuperação abaixo da RAG ingênua.
2. Custo de Inferência: Sistemas agentes frequentemente sofrem com o uso cumulativo de tokens devido a chamadas repetidas de LLM, expansão de janelas de contexto e travessia redundante por agentes paralelos.

Os métodos atuais falham em otimizar conjuntamente alta precisão e uso mínimo de tokens nas fases de indexação e inferência.

Metodologia: GRASP

Os autores propõem o GRASP (Busca Agente sobre Proposições em Grafos), um sistema de recuperação agencial projetado para otimizar tanto a precisão da QA quanto a eficiência de tokens. O GRASP opera por meio de três componentes principais:

1. Construção de Grafo Hierárquico de Três Camadas

Diferentemente de KGs baseados em triplos, o GRASP constrói um grafo $G = (V_E, V_P, V_D, E)$ com três camadas distintas:

• Camada de Entidades ($V_E$): Entidades tipadas (por exemplo, "Pessoa", "Localização") extraídas do texto. Elas servem como gateways direcionados para a travessia.
• Camada de Proposições ($V_P$): A unidade central de recuperação. Em vez de triplos atômicos, o sistema extrai proposições naturais atômicas e autocontidas (por exemplo, "O Coelho da Páscoa foi registrado no sudoeste da Alemanha em 1678").
• Camada de Passagens ($V_D$): Os documentos fonte originais vinculados às suas proposições constituintes.

Processo de Extração: Entidades e proposições são extraídas conjuntamente em uma única chamada de LLM. As entidades são vinculadas às suas proposições de origem por meio de referências de índice, formando as arestas do grafo. Isso evita a compressão com perda de contexto em triplos relacionais.

2. Pipeline de Inferência Baseado em Planejamento

O GRASP decompõe perguntas complexas multi-hop em planos conscientes de dependência:

• Planejador: Um módulo gera um esboço de raciocínio em linguagem natural e uma sequência ordenada de subperguntas. Crucialmente, ele usa espaços reservados numéricos (por exemplo, #1) para referenciar explicitamente respostas de subperguntas anteriores, espelhando a estrutura de dependência de conjuntos de dados como o MuSiQue.
• Execução de Sub-Agente: Cada subpergunta é tratada por um sub-agente independente. O agente mantém um estado de observação compacto ($O_i$) em vez de um histórico completo de conversação, limitando o crescimento do contexto.
  • Busca Híbrida: O agente reformula a subpergunta em uma declaração de busca declarativa e uma lista de palavras-chave. Ele realiza uma busca híbrida (vetor denso + BM25) sobre a camada de proposições para recuperar entidades candidatas.
  • Pontuação RankVote: As proposições recuperadas são agregadas às entidades candidatas. Para a recuperação de passagens, o sistema utiliza RankVote, um mecanismo de votação por classificação recíproca que pontua passagens com base nas classificações de suas proposições constituintes, priorizando contextos altamente relevantes.
  • Refinamento Iterativo: O agente avalia se as evidências são suficientes. Se não forem, ele reescreve a declaração de busca e reinicia a travessia (até um limite), evitando a re-leitura redundante de evidências.

3. Métrica de Economia de Sucesso

O artigo introduz a Economia de Sucesso ($C_w$), uma métrica inspirada na teoria da informação para avaliar a eficiência. Ela amortiza o custo total de tokens sobre respostas corretas ponderadas pela dificuldade:
$$C_w = \frac{\sum T_i}{\sum w_i \cdot \mathbb{1}[EM_i = 1]}$$
onde $w_i = -\log_2(r_i)$ é a surpresa (autoinformação) de uma resposta correta, estimada ao solicitar o LLM base várias vezes. Isso penaliza o desperdício de tokens e recompensa a resolução eficiente de perguntas difíceis.

Contribuições Principais

1. Sistema GRASP: Um sistema de recuperação agencial aprimorado com grafos que otimiza conjuntamente precisão e eficiência de tokens, avaliado competitivamente em configurações de recuperação aberta e contexto estendido.
2. Indexação Baseada em Proposições: Um grafo hierárquico inovador de três camadas usando proposições como unidade central de recuperação. Os autores demonstram que isso alcança um recall de passagens superior ao de grafos baseados em triplos (HippoRAG2) enquanto usa 69% menos tokens de indexação.
3. Inferência Compartimentada: Um pipeline baseado em planejamento com sub-agentes isolados que compartimentalizam o contexto tanto entre saltos quanto dentro da execução individual do agente, impedindo o crescimento ilimitado do contexto.
4. Economia de Sucesso: Uma nova métrica de avaliação que defende a adoção de avaliações conscientes da eficiência na QA agencial, indo além de benchmarks focados apenas na precisão.

Resultados Experimentais

O GRASP foi avaliado em MuSiQue, 2WikiMultihopQA e HotpotQA sob duas configurações:

Configuração de Recuperação de Corpus Aberto

• Desempenho: O GRASP alcançou as maiores pontuações de Correspondência Exata (EM), F1 e Juiz no MuSiQue e no 2Wiki, superando o IRCoT+HippoRAG2.
• Eficiência: Ele usou 40–50% menos tokens que o IRCoT+HippoRAG2 enquanto alcançava precisão superior. No HotpotQA, embora o IRCoT+HippoRAG2 tivesse precisão ligeiramente maior, isso ocorreu a mais de 2x o custo de tokens.
• Qualidade de Recuperação: Na recuperação agencial simulada, o GRASP alcançou um recall de 0,904 em comparação com 0,817 do HippoRAG2, validando as proposições como uma unidade de recuperação superior.

Configuração de Contexto Estendido (LongBench)

• Desempenho: O GRASP liderou em EM e F1 em todos os três conjuntos de dados. No 2Wiki, ele melhorou o EM em 12 pontos sobre o GraphReader enquanto usava aproximadamente 70% do custo de tokens.
• Eficiência: O GRASP usou 30% menos tokens que o próximo método mais preciso (GraphReader) enquanto mantinha pontuações de Juiz competitivas ou superiores.
• Ablação: A remoção do grafo de proposições ou da camada de seleção de entidades degradou significativamente o desempenho ou aumentou o uso de tokens, confirmando a necessidade da estrutura de três camadas.

Significado e Alegações

O artigo afirma que o GRASP situa-se na fronteira de Pareto para compensações entre precisão e custo em QA multi-hop. Ao tratar a eficiência de tokens como um objetivo de design de primeira classe ao lado da precisão, o GRASP aborda a tensão fundamental em sistemas agentes, onde a profundidade de raciocínio tipicamente leva a um crescimento exponencial de tokens.

Os autores enfatizam que:

• Proposições são superiores a triplos: Elas preservam a nuance semântica perdida na extração de triplos e servem como unidades mais discriminativas para recuperação baseada em embeddings.
• Decomposição estruturada é vital: A decomposição baseada em planejamento combinada com recuperação estruturada (o grafo) é mais eficaz do que intercalar recuperação com cadeia de pensamento isoladamente.
• Eficiência é um requisito padrão: A introdução da "Economia de Sucesso" defende que a comunidade adote a avaliação consciente da eficiência como prática padrão, reconhecendo que o custo de inferência escala diretamente com a complexidade do raciocínio.

O trabalho sugere que melhorias futuras poderiam focar em refinar a precisão da decomposição do planejador (atualmente um gargalo para perguntas de 3 e 4 saltos) por meio de ajuste fino supervisionado ou aprendizado por reforço, mas a arquitetura atual já demonstra um salto significativo no equilíbrio entre desempenho e custo.