Resumo Técnico: CAMI – Multi-Index Prático Orientado por Agentes e Consciente de Custos para Recuperação Semântica

1. Declaração do Problema

Os sistemas modernos de Geração Aumentada por Recuperação (RAG) dependem cada vez mais da Recuperação de Múltiplos Índices (Multi-Index Retrieval) para mitigar o descompasso lexical e estrutural entre as consultas do usuário e os documentos de origem. Esta abordagem envolve a geração de Representações de Dados Enriquecidos (EDRs) — como resumos sintéticos, paráfrases ou perguntas — utilizando Grandes Modelos de Linguagem (LLMs) durante a fase de ingestão. Esses EDRs são indexados junto ao texto base para melhorar a revocação (recall).

No entanto, esta estratégia introduz um gargalo de custo combinatório:

1. Complexidade do Espaço de Busca: O espaço das possíveis tipologias de EDR (ex: resumo vs. mapa mental) pareadas com modelos geradores (ex: Qwen-8B vs. Llama-70B) cresce exponencialmente.
2. Custo de Avaliação: Avaliar exaustivamente cada possível portfólio (combinação de EDRs e modelos) em um corpus completo é financeiramente e computacionalmente proibitivo. O custo da busca escala linearmente com o tamanho do corpus, muitas vezes excedendo o custo de simplesmente implantar um índice suboptimal.
3. Limitações Estáticas: Pipelines existentes frequentemente dependem de catálogos estáticos fixos de templates de enriquecimento que podem não se alinhar às características específicas do corpus, levando a custos de construção desperdiçados sem garantia de melhoria na revocação.

O desafio central é identificar a fronteira de Pareto-ótima das configurações de múltiplos índices que maximiza a revocação semântica enquanto minimiza o custo estrutural de implantação, tudo dentro de um orçamento de otimização rigoroso.

2. Metodologia: O Framework CAMI

Os autores propõem o CAMI (Cost-Aware Multi-Indexing), um framework que formaliza a construção de múltiplos índices como um problema de seleção de portfólio multi-objetivo e orçado. O CAMI opera em duas fases principais:

Fase 1: Descoberta de EDR por Agente

Em vez de depender de um catálogo estático, o CAMI emprega uma fase de descoberta agêntica. Um agente baseado em LLM propõe templates de prompts de EDR específicos para o corpus com base em pares semente de consulta-evidência e contexto do corpus.

• Proposta Governada: O agente gera templates (ex: "Extração Procedural" para manuais técnicos) que são validados, verificados quanto ao esquema e "congelados" antes do início da busca.
• Contabilidade de Orçamento: O uso de tokens para o agente de descoberta é cobrado do orçamento de busca, garantindo que a expansão dinâmica não ultrapasse as restrições financeiras.

Fase 2: O Algoritmo de Busca AACA

O motor de otimização central é o AACA (Atomic-unit Acquisition + Closure + MO-ASHA). Ele trata o espaço de busca não como configurações monolíticas, mas como unidades atômicas compostas (um tipo de EDR pareado com um modelo gerador específico).

• Definição de Unidade Atômica: Uma unidade atômica $a = (e, m)$ é um tipo de enriquecimento específico $e$ e um modelo $m$. Um portfólio é um conjunto de unidades atômicas ativas.
• Avaliação de Multi-Fidelidade: Para limitar custos, o CAMI avalia as configurações em subconjuntos de consultas aninhados ($Q_0 \subset Q_1 \subset \dots \subset Q_L$).
  • Fidelidade 0: Pequenos subconjuntos representativos usados para triagem inicial.
  • Fidelidades Superiores: Subconjuntos maiores usados para confirmação.
  • Representatividade: Os subconjuntos são amostrados via estratificação consciente de tópicos para garantir que aproximem a distribuição total de consultas.
• Loop de Três Ações: O algoritmo seleciona iterativamente uma de três ações:
  1. Aquisição (Acquisition): Um selecionador baseado em LLM propõe novas unidades atômicas (impulsionadas por novidade/sinergia) para expandir o pool.
  2. Fechamento (Closure): O sistema recombina unidades atômicas previamente validadas do pool de fidelidade atual para formar novos portfólios. Isso explora o fato de que, se a Unidade A e a Unidade B são boas individualmente, sua combinação vale o teste sem a necessidade de reavaliá-las do zero.
  3. Promoção (Promotion): Configurações são promovidas para fidelidades superiores baseadas em um cronograma MO-ASHA (Multi-Objective Asynchronous Successive Halving).
• Promoção Consciente de Confiança: As promoções utilizam um ranking de Limite Superior de Confiança (UCB - Upper Confidence Bound) para equilibrar o desempenho empírico com a incerteza (erro padrão). Isso evita que configurações promissoras sejam descartadas prematuramente devido ao ruído em subconjuntos pequenos.
• Semântica de Custo: O CAMI distingue entre:
  • Gasto Não-Cacheado em Tempo de Execução ($C_{uncached}$): O custo real em dólares incorrido durante a busca (regido pelo orçamento $B_{search}$).
  • Custo Estrutural ($C_{struct}$): O custo teórico para implantar um índice final, calculado somando os custos nominais de suas unidades atômicas (permitindo o reuso de cache).

3. Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Formalização: O enriquecimento de recuperação é enquadrado como um problema de descoberta de fronteira de Pareto orçado com semântica de custo explícita, separando custos de construção de custos de otimização de busca.
2. Otimizador AACA: Introdução de um otimizador que une controles de orçamento MO-ASHA com fechamento local de fidelidade, permitindo o reuso computacional de pares EDR-modelo durante a busca.
3. Descoberta Agêntica: Integração de uma fase de descoberta guiada por LLM para gerar templates de EDR específicos para o corpus, indo além de catálogos estáticos enquanto adere às restrições de orçamento.
4. Operacionalização: Um pipeline de ingestão RAG prático e de ponta a ponta avaliado em diversos conjuntos de dados públicos, demonstrando melhorias significativas na revocação com orçamentos de busca reduzidos.

4. Resultados Experimentais

O framework foi avaliado em cinco conjuntos de dados: BRIGHT-ES (Ciências da Terra), BRIGHT-Econ (Economia), BRIGHT-SO (Stack Overflow), StatCanDialogueRetrieval e NQTables.

• Desempenho vs. Busca Aleatória: O CAMI (especificamente o otimizador AACA) superou consistentemente o baseline de busca aleatória com orçamento equivalente. Em todos os datasets, alcançou uma taxa de vitória agregada de 92% (92 vitórias vs. 8 derrotas) na identificação de portfólios superiores de Recall@10.
• Ganhos de Revocação: O CAMI identificou portfólios que melhoraram o Recall@10 em até 9,4% em relação aos baselines de apenas conteúdo (ex: dataset StatCan).
• Eficiência de Busca: O CAMI identificou portfólios de alta revocação usando até 5x menos orçamento do que os baselines de busca aleatória. Em casos específicos (ex: StatCan), atingiu configurações próximas do ideal usando menos de 20% do custo exigido por uma busca em grade (grid search) exaustiva.
• Estudos de Ablação:
  • Ranking Consciente de Incerteza: O uso de UCB para promoção melhorou significativamente o rendimento (throughput) em comparação ao ranking baseado apenas na média, evitando a eliminação prematura de configurações de alto potencial em subconjuntos pequenos e ruidosos.
  • Fechamento vs. Descoberta: Embora a descoberta guiada por LLM tenha expandido a biblioteca de candidatos, o mecanismo de fechamento local de fidelidade (recombinação de átomos comprovados) foi o principal motor da eficiência de busca a longo prazo.
  • Dinâmico vs. Estático: EDRs descobertos por agentes (ex: causal_links para Economia, function_names para Stack Overflow) frequentemente apareceram nos portfólios finais de Pareto-ótima, superando os catálogos de sementes estáticos tanto em custo quanto em qualidade.

5. Significância e Alegações

O artigo afirma que o CAMI muda fundamentalmente o design de sistemas de recuperação de múltiplos índices, passando de um enriquecimento estático e baseado em heurísticas para uma otimização adaptativa ao corpus e baseada em evidências.

• Praticidade: Ao desacoplar o orçamento de busca do tamanho total do corpus e aproveitar a recombinação atômica, o CAMI torna a otimização de pipelines RAG complexos viável em cenários reais de produção, onde a avaliação exaustiva é impossível.
• Troca Custo-Qualidade: O framework fornece um método rigoroso para navegar na fronteira de Pareto de revocação-custo, garantindo que os profissionais possam selecionar configurações que ofereçam a melhor qualidade de recuperação para um orçamento de implantação específico.
• Escalabilidade: O uso de avaliação de multi-fidelidade e rastreamento de orçamento consciente de cache permite que o sistema escale para grandes corpora sem incorrer em custos de tokens proibitivos durante a fase de busca de configuração.

Os autores reconhecem limitações, observando que a abordagem depende da premissa de que as unidades atômicas são aditivas (ignorando interações não-aditivas complexas) e que o desempenho depende da precisão dos subconjuntos de proxy (subconjuntos de fidelidade) em refletir o comportamento do corpus total. Sugere-se que trabalhos futuros modelem interações não-aditivas mais fortes e melhorem as regras de parada de promoção.