Resumo Técnico: Portfólios de Recuperadores: Uma Abordagem Principiada para RAG Adaptativo

1. Formulação do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) normalmente dependem de um único recuperador com um conjunto fixo de hiperparâmetros para lidar com todas as consultas do usuário. No entanto, as distribuições de consultas em aplicações do mundo real são altamente heterogêneas, variando de perguntas simples de fatos a tarefas complexas de raciocínio multi-hop. Diferentes configurações de recuperação (modelos, estratégias ou hiperparâmetros) frequentemente se especializam em diferentes regimes, o que significa que nenhum único recuperador é ideal para todas as consultas. Trabalhos recentes como Adaptive-RAG e Vendi-RAG tentam adaptar as estratégias de recuperação, mas operam sobre um conjunto pequeno e desenhado à mão de estratégias ou realizam ajustes de hiperparâmetros caros por consulta durante a inferência, levando a alta latência e custos de tokens.

Este artigo aborda a limitação da recuperação "tamanho único" propondo uma abordagem fundamentada de Otimização de Portfólio de Recuperadores. O problema central é definido como a seleção de um subconjunto pequeno e diverso (um portfólio) de $k$ recuperadores de um grande conjunto de candidatos $m$. O objetivo é maximizar o desempenho esperado do "melhor-de-$k$" recuperador para uma consulta aleatória extraída da distribuição subjacente, em vez de maximizar o desempenho médio de um único recuperador.

2. Metodologia

2.1. Estrutura Teórica

Os autores formalizam o problema usando um objetivo de melhor-de-$k$ esperado. Seja $Q$ o conjunto de consultas com uma distribuição desconhecida $D$, e $\mathcal{R}$ o conjunto de candidatos a recuperadores. Uma função de pontuação $s(q, r) \in [0, 1]$ mede a adequação de um recuperador $r$ para uma consulta $q$. A qualidade de um portfólio $S \subseteq \mathcal{R}$ (onde $|S| \le k$) é definida como:
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
O objetivo é encontrar $S$ que maximize $F(S)$. Os autores provam que, para qualquer consulta fixa $q$, a função $f_q(S) = \max_{r \in S} s(q, r)$ é não-negativa, monotônica e submodular. Consequentemente, o objetivo da população $F(S)$ e sua estimativa empírica também são funções de conjunto submodulares.

2.2. Algoritmo: Seleção de Portfólio Gananciosa (Greedy)

Para resolver este problema de otimização de forma eficiente, o artigo propõe o Algoritmo 1, um procedimento ganancioso baseado em amostragem:

1. Amostragem: Extrair $N$ consultas i.i.d. da distribuição $D$.
2. Estimativa Empírica: Substituir o objetivo da população por uma estimativa empírica $\hat{F}_Q(S)$.
3. Construção Gananciosa: Selecionar iterativamente o recuperador $r$ que maximiza o ganho marginal $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$. O algoritmo mantém um vetor memorizado das melhores pontuações atuais por consulta para calcular os ganhos de forma eficiente.
4. Garantias: O algoritmo executa em tempo $O(k |\mathcal{R}| N)$. A análise teórica mostra que ele alcança uma aproximação de $(1 - 1/e)$ para o portfólio ideal, até um termo de erro estatístico $\epsilon$, desde que o tamanho da amostra $N$ escale apropriadamente com o tamanho do pool e a confiança desejada.

2.3. Pipeline de Inferência

O sistema proposto consiste em dois estágios:

1. Construção de Portfólio Offline: Usando o Algoritmo 1, um portfólio diverso de $k$ recuperadores complementares é selecionado de um grande pool (incluindo recuperadores Densos, Baseados em Diversidade e Baseados em Grafos) com base nos dados de treinamento.
2. Inferência Adaptativa: Um roteador leve é treinado para selecionar dinamicamente o(s) melhor(es) recuperador(es) para uma consulta específica.
   • O roteador codifica a consulta usando texto bruto e embeddings densos em cache (MPNet/E5).
   • Ele pontua os $k$ membros do portfólio via similaridade com embeddings de recuperadores aprendidos.
   • Os top-$\ell$ recuperadores são executados em paralelo para minimizar a latência.
   • Um LLM seletor agrega as respostas dos recuperadores paralelos para produzir a saída final.

Esta abordagem amortiza o custo da adaptação offline, evitando a busca iterativa exigida pelos métodos de ajuste em tempo de inferência.

3. Principais Contribuições

• Formulação do Problema: Introdução do problema de "otimização de portfólio RAG", formalizando a seleção de um conjunto pequeno e diverso de recuperadores para cobrir distribuições de consultas heterogêneas via um objetivo de melhor-de-$k$ esperado.
• Garantias Teóricas: Prova de que o objetivo é submodular, permitindo a construção eficiente de portfólios próximos do ideal com garantias de aproximação prováveis de $(1 - 1/e)$.
• Pipeline Prático: Um sistema completo compreendendo seleção de portfólio offline e um roteador leve que permite recuperação e resposta paralelas, reduzindo significativamente a latência de recuperação em comparação com métodos adaptativos sequenciais.
• Validação Empírica: Avaliação abrangente em quatro benchmarks de QA diversos (HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue) demonstrando desempenho superior sobre baselines de recuperador único e abordagens de ajuste em tempo de inferência.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados de QA de domínio aberto usando dois modelos de resposta (Gemma-3-27B-IT e Llama-3.1-70B-Instruct).

• Cobertura de Recuperação: Portfólios aprendidos superam significativamente a seleção de recuperador "melhor-médio". Por exemplo, um portfólio de tamanho $k=5$ alcançou um Suporte de Recall de 0.594 comparado a 0.492 para os 5 melhores recuperadores médios. Os ganhos foram mostrados como decorrentes da complementaridade (cobertura de diferentes subpopulações de consultas) em vez de simplesmente recuperar mais documentos.
• Precisão End-to-End: Portfólios roteados alcançaram consistentemente pontuações de Exact Match (EM) mais altas do que baselines de recuperador único e Vendi-RAG (um baseline de ajuste em tempo de inferência). O portfólio "all-pool" (combinando recuperadores Dense, Vendi e GraphDense) rendeu o melhor EM médio em todos os datasets.
• Eficiência vs. Precisão: Em comparações controladas com o Vendi-RAG (usando o mesmo espaço de busca Vendi), a abordagem de portfólio offline alcançou precisão comparável ou superior com latência e custos de tokens substancialmente menores. Isso ocorre porque o portfólio permite a execução paralela de um conjunto fixo de recuperadores, enquanto o Vendi-RAG requer geração e julgamento sequenciais e iterativos.
• Efetividade do Roteador: Estudos de ablação mostraram que o roteador aprendido supera significativamente a seleção aleatória e seleciona consistentemente recuperadores que melhoram o desempenho em relação ao melhor membro médio individual, roteando efetivamente as consultas para os membros mais adequados do portfólio.

5. Significância e Alegações

O artigo afirma avançar o campo do RAG ao deslocar o ônus da adaptação de uma fase de inferência sequencial e cara para uma construção de portfólio offline eficiente. Os autores argumentam que:

• Nenhum recuperador único é ideal: Fixar uma única estratégia deixa desempenho sobre a mesa para diversas necessidades de informação.
• Complementaridade é a chave: Um conjunto pequeno de recuperadores diversos pode cobrir a distribuição de consultas de forma mais eficaz do que um único recuperador "melhor" ou simplesmente aumentando o orçamento de documentos.
• Eficiência: Portfólios fixos permitem recuperação e chamadas de LLM paralelas, oferecendo um compromisso prático que alcança alta precisão com latência previsível e baixo uso de tokens, tornando o RAG adaptativo mais implantável em ambientes de produção.

O trabalho não afirma resolver todos os desafios de RAG, mas fornece um método principiado e teoricamente fundamentado para selecionar e rotear entre estratégias de recuperação que é tanto provadamente próximo do ideal quanto empiricamente eficaz.