Resumo Técnico: RAS (Retrieval-And-Structuring) para Geração de LLM Intensiva em Conhecimento

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades impressionantes em tarefas intensivas em conhecimento, mas frequentemente lutam com o raciocínio de múltiplos passos. Essa limitação decorre amplamente da natureza não estruturada do contexto recuperado em frameworks padrão de Recuperação-Aumentada de Geração (RAG). Embora o RAG forneça informações externas, a falta de organização explícita entre os trechos recuperados força os modelos a realizar pontes lógicas de forma implícita, o que frequentemente leva a caminhos de raciocínio frágeis e alucinações.

Tentativas existentes de integrar Grafos de Conhecimento (KGs) com LLMs tipicamente dependem de grafos estáticos de todo o corpus. Essas abordagens enfrentam duas limitações significativas:

1. Alto Custo: Construir e manter KGs globais (ex: Wikipedia) requer milhões de chamadas de LLM e recursos financeiros substanciais.
2. Ambiguidade: Grafos globais frequentemente misturam evidências de documentos conflitantes, criando relações ambíguas ou contraditórias que obscurecem o contexto específico relevante para uma consulta do usuário.

Consequentemente, há a necessidade de um sistema que possa construir dinamicamente estruturas de conhecimento adaptadas a consultas específicas, permitindo um raciocínio mais interpretável e robusto sem os custos proibitivos de indexação offline.

Metodologia: O Framework RAS

Os autores propõem o Retrieval-And-Structuring (RAS), um framework que constrói dinamicamente grafos de conhecimento específicos para a pergunta através de recuperação iterativa e construção de conhecimento estruturado. O RAS intercala o planejamento de recuperação direcionado com a construção incremental de grafos, permitindo que o modelo monte e raciocine sobre estruturas de conhecimento evolutivas adaptadas a cada consulta.

O framework opera através de três estágios primários:

1. Planejamento Consciente do Conhecimento

O processo é iniciado e controlado por um módulo de planejamento que avalia dinamicamente o estado atual do conhecimento.

• Planejamento Inicial: Dada uma consulta $Q$, o modelo determina se a consulta pode ser respondida diretamente ([NO_RETRIEVAL]) ou se a recuperação é necessária. Se a recuperação for necessária, a pergunta principal serve como a subconsulta inicial ($q_0$).
• Planejamento Iterativo: Em cada iteração $i$, o modelo analisa o grafo de conhecimento acumulado $G_i$ e o histórico de subconsultas e triplas extraídas. Ele decide se deve:
  • Gerar uma nova subconsulta focada ($q_{i+1}$) para preencher lacunas de conhecimento específicas ([SUBQ]).
  • Encerrar a recuperação se o conhecimento acumulado for suficiente ([SUFFICIENT]).

2. Recuperação de Texto e Estruturação

Uma vez gerada uma subconsulta, o sistema executa um pipeline de recuperação e estruturação:

• Recuperação: Um recuperador denso busca os top-$k$ trechos semanticamente relevantes ($t_i$) para a subconsulta.
• Conversão de Texto-para-Triplas: Um modelo especializado ($f_{t2t}$) converte o texto recuperado em triplas fatuais estruturadas (sujeito-predicado-objeto). Este modelo é treinado no dataset WikiOfGraph.
• Construção do Grafo: As triplas extraídas são convertidas em uma estrutura de grafo $g'_i$ com embeddings semânticos para nós e arestas.
• Enriquecimento Iterativo: O novo grafo $g'_i$ é fundido em um grafo de conhecimento evolutivo e específico para a pergunta $G_Q$. Este grafo cresce iterativamente, acumulando evidências relevantes para a pergunta principal.

3. Resposta Aumentada por Conhecimento

Quando o módulo de planejamento sinaliza que o conhecimento é suficiente, o modelo gera a resposta final.

• Se nenhuma recuperação foi necessária, a resposta é gerada diretamente a partir da consulta.
• Caso contrário, a resposta é gerada condicionada ao KG codificado específico da pergunta ($G_Q$) e à cadeia de subconsultas e suas informações de grafo associadas. O modelo atende a este contexto estruturado para produzir saídas precisas e coerentes.

Estratégia de Treinamento

O RAS emprega uma abordagem de Aprendizado Multitarefa Consciente de Estrutura. Um único Graph LLM é treinado para realizar tanto as tarefas de planejamento quanto as de resposta usando uma estratégia de ajuste fino eficiente em parâmetros (LoRA). Os dados de treinamento, HotpotQA-SUBQ, são construídos filtrando documentos do HotpotQA, gerando subconsultas para cada documento de suporte e rotulando amostras com a ação de planejamento apropriada ([SUBQ], [SUFFICIENT] ou [NO_RETRIEVAL]) ou resposta final.

Contribuições Principais

1. Framework RAS: A proposta de um framework que constrói dinamicamente grafos de conhecimento específicos para perguntas através de recuperação e estruturação iterativa, evitando os custos e o ruído de KGs globais.
2. Arquitetura de Modelo Unificada: O design de um Graph LLM unificado que planeja conjuntamente as necessidades de recuperação e gera respostas sobre grafos de conhecimento evolutivos, utilizando uma configuração de aprendizado multitarefa.
3. Validação Empírica: Demonstração de ganhos consistentes de desempenho em sete benchmarks diversos, mostrando que a estruturação dinâmica melhora a precisão e a robustez do raciocínio.

Resultados Experimentais

Os autores avaliaram o RAS em sete benchmarks cobrindo QA de domínio aberto (TriviaQA, PopQA, 2WikiMultihopQA), tarefas de conjunto fechado (PubHealth, ARC-Challenge) e geração de texto longo (ASQA, ELI5).

• Ganhos de Desempenho: O RAS superou consistentemente bases fortes, incluindo Self-RAG, RPG e SuRe.
  • Com LLMs de código aberto (LLaMA-2-7B/LLaMA-3-8B), o RAS alcançou ganhos de até 7,0% sobre as bases de comparação.
  • Com modelos proprietários (Claude-3.5-Sonnet), o RAS alcançou ganhos de até 8,7%.
• Estudos de Ablação:
  • Planejamento Iterativo: Remover o módulo de planejamento (revertendo para recuperação de passagem única) causou quedas significativas de desempenho, destacando a necessidade de determinar dinamicamente as necessidades de recuperação.
  • Construção de Grafo: Remover a conversão de texto-para-tripla ou o codificador de grafo levou a uma degradação substancial, confirmando o valor da representação de conhecimento estruturada.
  • Estratégia de Treinamento: O treinamento multitarefa conjunto e o uso de LoRA foram considerados críticos para o desempenho ideal.
• Eficiência: Ao contrário dos métodos de grafo estático (ex: GraphRAG) que exigem indexação offline cara (estimada em \85k–\500k para escala Wikipedia), o RAS incorre em custos offline negligenciáveis ao construir grafos dinamicamente durante a inferência.

Significância e Alegações

O artigo alega que a estruturação de conhecimento dinâmica e específica para a pergunta oferece um caminho robusto para melhorar a precisão e a robustez do raciocínio na geração de modelos de linguagem. Ao organizar explicitamente o conhecimento recuperado em grafos evolutivos, o RAS mitiga os riscos de alucinação associados ao contexto não estruturado e as ineficiências dos grafos de conhecimento globais.

Os autores enfatizam que sua abordagem se alinha a estudos de interpretabilidade que sugerem que as falhas dos LLMs frequentemente derivam de cadeias de raciocínio implícitas quebradas. Ao tornar essas cadeias explícitas através de raciocínio intermediário estruturado, o RAS fornece uma solução transparente e escalável para tarefas intensivas em conhecimento. O framework é apresentado como uma abordagem de propósito geral para questionamento de domínio aberto, em vez de estar limitado a tarefas específicas de Questionamento de Grafo de Conhecimento (KGQA).