Resumo Técnico: Um Recuperação para Cobrir a Todos

Declaração do Problema

Os sistemas atuais de Geração Aumentada por Recuperação (RAG) são otimizados para a relevância de consulta única, recuperando documentos que são semanticamente similares a uma consulta isolada do usuário. No entanto, usuários corporativos interagem com bases de conhecimento (KBs) por meio de sessões: episódios coerentes de perguntas relacionadas que abrangem partes semanticamente distantes da KB.

O artigo identifica uma "lacuna de cobertura de sessão" crítica: os sistemas RAG padrão falham em recuperar o conjunto completo de documentos que um usuário precisa em uma única sessão porque esses documentos residem frequentemente em diferentes vizinhanças semânticas. Por exemplo, um usuário configurando um site precisa de artigos sobre configuração de domínio, design de templates e processamento de pagamentos. Embora funcionalmente relacionados, esses documentos são semanticamente distantes no espaço de embeddings.

• O Ponto Cego: Métricas de recuperação padrão (ex: Recall@k) otimizam para encontrar o melhor documento único para uma única pergunta, ignorando necessidades de informação de múltiplos documentos.
• A Consequência: No benchmark WixQA, um sistema RAG padrão cobre apenas 41% da necessidade de informação de sessão de um usuário com uma única chamada de recuperação ($k=8$). Os usuários devem emitir múltiplas consultas de acompanhamento para acessar o restante do conhecimento, aumentando a latência, os custos de API e o atrito para o usuário.

Metodologia

Os autores propõem a Reorganização de Base de Conhecimento Consciente de Coocorrência, uma abordagem de pré-recuperação que reestrutura a KB offline para se alinhar aos padrões de comportamento do usuário em vez de apenas à similaridade semântica. O método consiste em duas fases:

1. Offline: Agrupamento Consciente de Coocorrência

O sistema aprende um novo espaço de embedding baseado em padrões de coocorrência de documentos (documentos acessados juntos em sessões) em vez de similaridade semântica de texto.

• Construção de Sequências: As sequências de coocorrência são construídas a partir de três fontes:
  1. Verdade Fundamental (Ground-truth): Consultas rotuladas por especialistas com múltiplos IDs de artigos relevantes.
  2. Caminhadas de Vizinhança de Embedding: Caminhadas aleatórias através do grafo de similaridade semântica com uma alta probabilidade de salto (40%) para capturar relações entre vizinhanças.
  3. Sequências Impulsionadas por QA: Pares de pergunta-resposta sintéticos e seus vizinhos de documentos de origem.
• Aprendizado de Embedding: Os IDs de documentos são tratados como tokens, e as sequências como sentenças. Um modelo Word2Vec (CBOW) é treinado para gerar embeddings de coocorrência ($z_d$). Isso captura a relação funcional: documentos necessários juntos em uma sessão estão próximos no espaço $z$, mesmo que sejam semanticamente distantes.
• Agrupamento Hierárquico: O agrupamento aglomerativo é aplicado aos embeddings de coocorrência para agrupar documentos em clusters. O objetivo é reduzir o tamanho efetivo da KB para 20% do seu tamanho original (ex: 6.221 documentos $\to$ 1.244 clusters).

2. Online: Recuperação Híbrida com Expansão de Cluster

No momento da consulta, o sistema realiza um processo de recuperação híbrida:

1. Recuperação Vanilla: Recupera os top-$k_v$ (ex: 3) documentos baseados na similaridade semântica padrão (usando qualquer encoder).
2. Expansão de Cluster: Para cada documento recuperado, reúne todos os outros documentos dentro de seu cluster pré-computado como candidatos de expansão.
3. Re-ranking: Reclassifica a união dos resultados vanilla e dos candidatos de expansão usando a similaridade original entre consulta e documento para retornar os top-$k$ (ex: 8) resultados finais.

Esta abordagem é independente de encoder (a estrutura do cluster é aprendida independentemente do encoder da consulta) e de pré-recuperação (a KB é reorganizada uma única vez offline).

Principais Contribuições

1. Métricas de Avaliação de Nível de Sessão: O artigo introduz a Cobertura de Sessão de Consulta Única (a fração dos documentos de uma sessão recuperados em uma única chamada) e as Chamadas para $\tau$-Cobertura (o número de chamadas necessárias para cobar uma fração específica de uma sessão). Estas métricas deslocam o foco da avaliação da recall de consulta única para a satisfação holística da sessão.
2. Reorganização de KB Consciente de Coocorrência: Um método inovador que reorganiza a KB offline usando padrões de coocorrência para permitir a recuperação híbrida expandida por cluster.
3. Validação Empírica: Demonstração de ganhos consistentes em quatro modelos de embedding diferentes, seis domínios funcionais e complexidades de sessão variadas em um benchmark empresarial.

Resultados

Avaliado no WixQA (6.221 artigos de suporte empresarial) e em um corpus de Suporte de E-Commerce:

• Cobertura de Sessão: O método proposto eleva a cobertura de sessão de consulta única de 41,4% (Vanilla RAG) para 59,1% em $k=8$ (+17,7% absoluto; IC 95%: [14,1, 20,4]).
• Eficiência de Recuperação: Para atingir 70% de cobertura de sessão, o método reduz o número médio de chamadas de recuperação de 4,0 (Vanilla) para 2,6, uma redução de 34%.
• Robustez do Encoder: O método melhora a cobertura em todos os quatro modelos de embedding testados (MiniLM, BGE, GTE, E5) com ganhos absolutos variando de +17,1% a +20,6%.
• Generalização de Domínio: Os ganhos são consistentes em seis domínios funcionais distintos (ex: Reservas, Apps, Editor), com melhorias variando de +12,7% a +21,5%.
• Compressão de KB: O agrupamento reduz o tamanho efetivo da KB para 20% do original enquanto melhora a cobertura.
• Trade-off de Precisão: A precisão do primeiro acerto (Hits@K) diminui ligeiramente (96,0% para 93,0%), o que os autores argumentam ser um trade-off aceitável para uma cobertura de sessão significativamente mais ampla.
• Condições de Limite: O método não apresenta ganhos no HotpotQA, confirmando que a melhoria depende de bases de conhecimento persistentes com reutilização de documentos entre sessões, e não no mecanismo de expansão em si.

Significância e Alegações

O artigo argumenta que a cobertura de nível de sessão, e não a recall de consulta única, deve ser a métrica primária para a avaliação de RAG empresarial. A significância deste trabalho reside em:

• Preenchimento do Gap Semântico: Demonstra que a similaridade semântica e as necessidades de informação do usuário são sinais distintos. Documentos necessários juntos nem sempre são semanticamente similares, e confiar apenas na similaridade de embedding perde contextos críticos.
• Eficiência e Custo: Ao recuperar os documentos corretos na primeira chamada, o método reduz o número de chamadas de API, a latência e o atrito do usuário necessários para resolver problemas de suporte complexos.
• Complementaridade: A abordagem é ortogonal ao reescrita de consulta ou compressão pós-recuperação. Pode ser combinada com otimizações existentes do lado da consulta (como reescrita de multi-consulta) ou métodos pós-recuperação (como EDC2-RAG) para otimização de sessão de ponta a ponta.
• Praticidade: A reorganização offline é computacionalmente eficiente (menos de 20 minutos para 6k documentos) e o overhead online é desprezível, tornando-a viável para implantação em produção.

Os autores concluem que, embora suas sequências de coocorrência sejam atualmente derivadas de fontes sintéticas e baseadas em embeddings, o método estabelece um framework onde padrões de coocorrência podem servir como um sinal poderoso e complementar aos embeddings semânticos para sistemas RAG empresariais.