Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective

---

1. O Problema

A Geração Aumentada por Recuperação (RAG) é fundamental para conectar Grandes Modelos de Linguagem (LLMs) a conhecimento externo, mitigando alucinações e falta de atualidade. No entanto, a RAG enfrenta dois desafios principais de escalabilidade:

1. Custo de Contexto: Inserir documentos completos na janela de contexto do modelo aumenta drasticamente o custo de inferência, a latência e o consumo de memória.
2. Redundância e Ruído: Documentos recuperados frequentemente contêm informações irrelevantes para a consulta específica, o que pode confundir o modelo ("lost in the middle") e degradar a qualidade da resposta.

Limitações das Abordagens Atuais (Compressão Suave):
Métodos recentes de "compressão suave" tentam codificar documentos longos em embeddings densos compactos. Contudo, eles geralmente falham em superar a RAG sem compressão devido a uma abordagem de compressão total (full-compression) baseada em autoencoders. O artigo identifica duas limitações fundamentais nessa abordagem:

• Inviabilidade: Tentar comprimir todas as informações de um documento sem perdas para um espaço de embedding pequeno é incompatível com a capacidade do LLM de seguir instruções. O modelo tende a focar excessivamente no embedding comprimido, ignorando instruções de controle (como "ignore o documento acima").
• Não Necessidade: Em tarefas de RAG, o LLM não precisa de todo o documento, apenas das partes relevantes condicionadas à consulta. A compressão total dilui a densidade da informação relevante, misturando-a com ruído e redundância.

2. Metodologia: SeleCom

Os autores propõem o SeleCom, um framework de compressão suave que redefine o papel do codificador de um "compressor total" para um selecionador de informações condicionado à consulta.

Arquitetura

O sistema consiste em três componentes principais:

1. Selecionador (Selector):
   • Utiliza uma arquitetura decoder-only (semelhante a um LLM generativo).
   • Recebe como entrada a consulta (query) e o documento.
   • Em vez de reconstruir o texto, ele seleciona e comprime apenas as informações necessárias para responder à consulta em um conjunto de embeddings densos.
   • Utiliza tokens especiais (<ENCODE>) treináveis que agregam a informação global de forma autoregressiva.
2. Projetor (Projector):
   • Um MLP (Multilayer Perceptron) que mapeia os embeddings de saída do selecionador para o espaço de embeddings de tokens do gerador (LLM).
3. Gerador (Generator):
   • O LLM padrão que recebe a consulta e os embeddings comprimidos (substituindo tokens de documento) para gerar a resposta final.

Estratégia de Treinamento (Duas Etapas)

Para superar a falta de dados adequados, os autores criaram um pipeline de síntese de dados robusto:

1. Etapa 1 (Treinamento do Selecionador):
   • Dados Sintéticos: Criaram um conjunto de dados massivo (~14 milhões de pares) a partir do Wikipedia, utilizando LLMs para filtrar documentos, gerar perguntas de QA (Question Answering) de diferentes níveis de dificuldade e verificar respostas.
   • Aprendizado Curricular: O treinamento é realizado com aumento gradual da dificuldade das perguntas.
   • Objetivo: O selecionador é treinado diretamente para a tarefa de QA, aprendendo a extrair apenas a evidência relevante, em vez de reconstruir o texto.
2. Etapa 2 (Ajuste Fino do Gerador):
   • O gerador é ajustado para aprender a utilizar efetivamente os embeddings comprimidos fornecidos pelo selecionador, utilizando conjuntos de dados públicos de QA.

3. Principais Contribuições

• Análise Teórica e Empírica: Demonstraram que a compressão total de documentos é tanto inviável (quebra a adesão a instruções) quanto desnecessária (dilui informações relevantes).
• Mudança de Paradigma: Propuseram a transição de um codificador de compressão total para um selecionador autoregressivo condicionado à consulta.
• Pipeline de Dados: Desenvolvimento de um pipeline de síntese de dados em larga escala com curadoria de dificuldade para treinar o selecionador em tarefas de seleção de informação, não apenas reconstrução.
• Eficiência e Desempenho: O framework SeleCom alcança desempenho competitivo ou superior à RAG sem compressão, com redução significativa de latência e custo computacional.

4. Resultados Experimentais

Os experimentos foram realizados em seis tarefas intensivas em conhecimento (QA de domínio aberto, multihop, verificação de fatos) usando backbones como Mistral-7B e Qwen2.5-7B.

• Desempenho (Eficácia):
  • O SeleCom superou consistentemente todas as abordagens de compressão existentes (como ICAE, xRAG, COCOM, PISCO).
  • Em várias métricas (EM, F1, LLM-as-a-Judge), o SeleCom alcançou desempenho paralelo ou superior à linha de base de RAG sem compressão (que usa documentos completos), mesmo com uma taxa de compressão extrema (ex: 82x).
• Eficiência:
  • Redução de Latência: Redução de 33,8% a 84,6% no tempo de inferência total e no tempo até o primeiro token (TTFT) em comparação com a RAG sem compressão.
  • Custo Computacional: Redução significativa de GFLOPs devido ao contexto muito menor no gerador.
  • O método escalou bem ao aumentar o número de documentos recuperados (Top-k), mantendo a eficiência enquanto a RAG padrão sofria aumentos drásticos de custo.
• Análise de Atenção:
  • Visualizações de heatmaps de atenção mostraram que, ao contrário dos métodos de compressão total (que cegam o modelo para instruções), o SeleCom permite que o LLM siga instruções corretamente e foque apenas nas partes relevantes do documento comprimido.

5. Significado e Impacto

O trabalho oferece uma reavaliação fundamental da compressão de contexto em RAG. Ao demonstrar que a "compressão total" é um erro de design que sacrifica a utilidade da informação em prol da compactação, o artigo estabelece que a seleção condicional à consulta é a chave para a eficiência.

O SeleCom oferece uma solução prática para a aplicação de RAG em cenários do mundo real onde a latência e o custo são críticos, permitindo que modelos menores operem com conhecimento externo de alta qualidade sem a sobrecarga de processar documentos inteiros. A abordagem de usar um selecionador treinado especificamente para extração de evidências, em vez de reconstrução, abre novas direções para o design de sistemas de recuperação e geração.

O código, dados e modelos foram disponibilizados como open-source, facilitando a adoção e pesquisa futura na área.