Resumo Técnico: AgentIR

Declaração do Problema

A memória conversacional de longo prazo para agentes de LLM apresenta uma carga de trabalho de recuperação fundamentalmente diferente dos sistemas clássicos de Recuperação de Informação (IR) como Lucene, FAISS ou PISA. Enquanto os motores tradicionais assumem corpora estáticos, distribuições de consulta estacionárias e orçamentos de latência medidos em dezenas de milissegundos, a memória do agente exibe cinco propriedades distintas que quebram essas suposições:

1. Viés Extremo de Recência: As consultas de recuperação concentram-se pesadamente na fração mais recente dos registros (por exemplo, os 20–27% superiores das sessões), ao contrário da deriva lenta da pesquisa na web.
2. Crescimento Não Estático do Índice: O corpus cresce monotonicamente durante o fluxo de consultas (na taxa de conversação), tornando impraticáveis as reconstruções de índice tradicionais ou atualizações incrementais (que incorrem em alta latência de cauda).
3. Tipos de Consulta Heterogêneos: Uma única sessão de agente contém pesquisas factuais, raciocínio multi-etapa e consultas temporais, onde nenhuma estratégia de fusão única (BM25, Densa ou RRF) domina todos os tipos.
4. Orçamentos de Latência Estritos: Com 5–20 recuperações por etapa do agente, o orçamento por consulta é inferior a 10 ms. Codificadores densos (por exemplo, SPLADE++) frequentemente excedem esse orçamento devido à sobrecarga de codificação.
5. Registros Estruturados por Função: Os dados incluem metadados (função, ID de sessão, tipo de ferramenta) que exigem lógica específica de filtragem e fusão além da correspondência de texto padrão.

Os sistemas existentes falham em explorar essas propriedades, tratando frequentemente a memória do agente como "IR pequeno" e sofrendo com custos de escala linear e estratégias de fusão subótimas.

Metodologia: Substrato AgentIR

O AgentIR é um substrato de recuperação em cascata adaptativo à carga de trabalho, projetado para abordar essas propriedades estruturais através de uma superfície de controle adaptativa de dois eixos: (1) selecionar a estratégia de fusão ótima por consulta e (2) decidir se o canal denso caro deve ser executado ou não.

1. Arquitetura e Pipeline

O sistema executa três canais concorrentes sobre um único substrato CSR (Compressed Sparse Row):

• BM25 Acelerado por SIMD: Uma busca esparsa baseada em CPU usando vetorização AVX2/NEON e poda MaxScore.
• Canal Denso: Uma busca ANN baseada em HNSW para embeddings densos (por exemplo, BGE-small).
• Índice Particionado Temporalmente: Uma estrutura de índice baseada em janelas de tempo que particiona documentos em buckets de 7 dias.

Adaptação de Dois Eixos:

• Seleção de Fusão: O sistema escolhe entre BM25, Densa, RRF ou um RRF "consciente do agente" (que adiciona um bônus de recência e peso de importância) com base no tipo de consulta.
• Roteamento em Cascata: Um roteador acionado por confiança decide se deve ignorar completamente o canal denso. Se a margem do top-$k$ do BM25 for alta (indicando alta confiança), o sistema sai antecipadamente; caso contrário, escala para o pipeline híbrido completo.

2. Otimizações Chave

• Escala Temporal Sublinear: Aproveitando o viés exponencial de recência das cargas de trabalho de agentes, o índice temporal busca apenas as partições mais recentes. O Teorema 4.1 prova que, sob esse viés, o trabalho esperado é $O(\log(1/\varepsilon))$, independente do tamanho total do corpus $N$.
• Pipeline Heterogêneo CPU/GPU:
  • CPU: Otimizado para HNSW limitado por memória e BM25 limitado por computação via SIMD e paralelismo multithread.
  • GPU: Um pipeline CUDA de dois kernels para pontuação de BM25 em lote (layout CSR) e seleção de top-$k$. O sistema identifica e corrige três armadilhas específicas de correção na reimplementação do BM25 em hardware moderno: frequência de termo pré-normalizada, nDCG de ganho linear e leituras de memória compartilhada desatualizadas em kernels de top-$k$ de GPU.
• Fusão Condicional à Carga de Trabalho: Um roteador em tempo de execução (usando TF-IDF ou classificadores leves) prevê o tipo de consulta e seleciona a melhor estratégia de fusão. Um "roteador suave" mistura listas de classificação com base nos posteriors do classificador para lidar com consultas ambíguas.

Contribuições Principais

1. Implementação no Regime Sublinear: Demonstra que um índice particionado temporalmente pode alcançar trabalho de $O(\log(1/\varepsilon))$ para cargas de trabalho enviesadas para a recência. Empiricamente, aumentar o corpus 1.234× (de 4K para 5M de registros) aumenta a latência em apenas 3,6×, alcançando um aceleramento de 1.769× sobre a varredura sequencial em 5M de registros com latência $p50$ sub-100 $\mu$s.
2. Motor Híbrido de Alto Desempenho: Entrega recuperação de qualidade Lucene (dentro de $\pm 0,020$ nDCG@10) em 9 conjuntos de dados BEIR (até 8,8M de documentos), enquanto executa 10× mais rápido que o Pyserini (8 threads) e 11× mais rápido que o PISA-1T (BlockMax-WAND) em média. Também valida a correção bit-perfect entre implementações em CPU e GPU.
3. Evidência Trans-Carga de Trabalho para Fusão Condicional: Mostra empiricamente que a estratégia de fusão ótima varia conforme a carga de trabalho e o tipo de consulta.
   • No LongMemEval (500 perguntas), uma estratégia híbrida RRF + recência supera as bases estáticas. Um roteador aprendido alcança o limite do "oráculo discreto" (0,300 de precisão julgada por LLM) sob gpt-4o.
   • No LoCoMo (1.982 perguntas), apenas o BM25 é o sistema mais forte.
   • Um Roteador em Cascata ajusta automaticamente entre esses benchmarks: ignora o canal denso para 63% das consultas do LongMemEval (aceleramento de 2,67×) e 100% das consultas do LoCoMo (aceleramento de 132×), mantendo a paridade na precisão.

Resultados

• Qualidade: Igual ou superior ao Pyserini Lucene em 5 dos 9 conjuntos de dados BEIR. O RRF híbrido com BGE-small melhora o nDCG@10 médio em +0,033 sobre o BM25 apenas. No LongMemEval, a fusão consciente do agente alcança R@10=0,978 e precisão julgada por LLM de 0,254 (vs. 0,246 para BM25).
• Latência e Vazão:
  • Escala Temporal: Em 5M de registros, a partição temporal atende consultas em <100 $\mu$s ($p50$), enquanto a varredura sequencial leva ~159 ms.
  • Multi-tenant: Uma VM de 8 núcleos atende 8 agentes concorrentes com latência $p50$ invariante (~0,38 ms) e 5,5× de vazão agregada.
  • Eficiência em Cascata: O roteador em cascata reduz a latência amortizada de 53,2 ms para 19,9 ms (2,67×) no LongMemEval e para 0,4 ms (132×) no LoCoMo.
• Correção: O artigo documenta e corrige três bugs sutis (TF pré-normalizado, nDCG de ganho linear, memória desatualizada de GPU) que anteriormente causavam regressões de 6–8× no nDCG@10. Após a correção, CPU e GPU concordam dentro de 0,0002 nDCG@10.

Significado e Alegações

O artigo argumenta que a memória do agente não é meramente "IR pequeno", mas um regime de carga de trabalho distinto que requer especialização arquitetônica. O significado do AgentIR reside em:

• Explorar Propriedades Estruturais: Ao tratar o viés de recência, o crescimento monotônico e a heterogeneidade de consultas como entradas de design, o sistema alcança um trabalho por consulta ordens de magnitude menor do que motores genéricos.
• Adaptação Condicional à Carga de Trabalho: Demonstra que uma única implantação pode ajustar automaticamente a pontos de operação vastamente diferentes (por exemplo, fusão híbrida vs. apenas BM25) com base na carga de trabalho específica, usando um roteador leve e mecanismo em cascata.
• Correção e Reprodutibilidade: O artigo fornece uma implementação verificada e bit-perfect do BM25 em hardware moderno de CPU/GPU, corrigindo regressões silenciosas comuns em reimplementações.
• Eficiência de Custos: O custo do substrato de recuperação é estimado em 2–3 ordens de magnitude menor que a camada de LLM, tornando-o um componente crítico para sistemas de agentes escaláveis e economicamente viáveis.

Os autores concluem que a combinação de partição temporal, fusão condicional à carga de trabalho e roteamento em cascata permite que um único sistema atenda a memória de agente de longo prazo com latências sub-milissegundo em hardware comercial, um regime anteriormente inatingível com motores IR estáticos.