OSCAR: Online Soft Compression And Reranking

O OSCAR é um método inovador de compressão online e reclassificação dependente da consulta que reduz significativamente o custo computacional e acelera a inferência em pipelines de RAG, mantendo a precisão de modelos de linguagem de grande porte sem sobrecarga de armazenamento.

O essencial

Imagine que você é um detetive tentando resolver um caso complexo. Para isso, você precisa consultar uma biblioteca gigante cheia de livros, artigos e documentos.

O Problema (RAG Tradicional):
Hoje, quando usamos Inteligência Artificial (IA) para responder perguntas com base em dados externos (o que chamamos de RAG), o processo é assim:

1. Você faz a pergunta.
2. O sistema vai à biblioteca e traz 10 livros inteiros (documentos) que podem ter a resposta.
3. Ele joga esses 10 livros inteiros na mesa do detetive (a IA).
4. O detetive precisa ler tudo, página por página, para encontrar a resposta.

O Problema: Isso é lento e cansa o cérebro do detetive. Se a biblioteca for enorme, o detetive demora horas para ler tudo, gastando muita energia (computação) e tempo.

---

A Solução: OSCAR (O "Resumidor Mágico")

Os autores deste paper criaram o OSCAR. Pense nele como um assistente de pesquisa superinteligente e rápido que trabalha antes de você entregar os livros ao detetive.

Aqui está como o OSCAR funciona, usando analogias simples:

1. O "Filtro de Café" (Compressão Online)

Antes, existiam duas formas de lidar com esses livros:

• Método "Tesoura" (Hard Compression): Alguém lia os livros e cortava as páginas, deixando apenas os parágrafos principais. Era rápido, mas você perdia detalhes importantes e só conseguia reduzir o tamanho pela metade.
• Método "Resumo Offline" (Soft Compression): Alguém lia todos os livros, escrevia um resumo super curto e guardava esse resumo numa gaveta. O problema? Se você mudasse a pergunta, o resumo na gaveta não servia mais. E fazer esse resumo demorava muito.

O que o OSCAR faz diferente:
O OSCAR é como um chef de cozinha que prepara o prato enquanto você pede.

• Você diz: "Quero saber sobre o filme do Ken Loach".
• O OSCAR pega os 10 livros, olha para a sua pergunta específica e, em tempo real, transforma cada livro inteiro em apenas 8 "palavras mágicas" (embeddings) que contêm exatamente o que você precisa.
• Ele descarta tudo o que é irrelevante para sua pergunta específica.

2. A "Carta de Apresentação" (Reranking)

O OSCAR não só resume, mas também classifica.
Imagine que os 10 livros chegam na mesa. O OSCAR olha para eles e diz: "Esse livro aqui é o mais importante, coloque-o no topo. Aquele ali é quase inútil, jogue fora."
Ele faz isso de graça, enquanto está resumindo. Isso significa que o detetive (a IA) lê primeiro o que realmente importa.

3. O "Detetive Acelerado" (Geração)

Agora, em vez de jogar 10 livros inteiros (que teriam milhares de palavras) na mesa, o OSCAR entrega apenas um pequeno cartão com as "palavras mágicas" resumidas.
O detetive (a IA) lê esse cartão rapidinho e responde sua pergunta.

• Resultado: A resposta é dada 2 a 5 vezes mais rápido.
• Qualidade: A resposta é tão boa quanto se ele tivesse lido os livros inteiros (na verdade, às vezes até melhor, porque ele não se distrai com informações inúteis).

---

Por que isso é revolucionário?

1. Economia de Energia: Processar 10 livros inteiros gasta muita eletricidade (computação). Processar 80 "palavras mágicas" gasta muito pouco. É como trocar um caminhão de carga por uma bicicleta para entregar um pequeno pacote.
2. Sem "Pré-cozinha": Diferente de outros métodos que precisam de um tempo longo para preparar os resumos antes de você chegar, o OSCAR faz tudo na hora que você pergunta. É "plug-and-play".
3. Funciona para todos: Eles testaram com IAs pequenas (como um cérebro de 1 bilhão de neurônios) e gigantes (24 bilhões de neurônios). Em todas, o OSCAR acelerou o processo sem perder a inteligência.

Resumo da Ópera

O OSCAR é como ter um bibliotecário mágico que, assim que você faz uma pergunta, corre até a estante, pega os 10 livros relevantes, rasga as páginas inúteis, destaca as frases importantes, reorganiza a ordem e entrega a você um resumo perfeito e ultra-curto em segundos.

Isso permite que a Inteligência Artificial seja mais rápida, mais barata de rodar e ainda mais precisa, transformando o que era um processo lento e pesado em algo fluido e eficiente.

Resumo técnico

Título: OSCAR: Compressão Soft Online e Reranking para RAG

Autores: Maxime Louis, Thibault Formal, Hervé Dejean, Stéphane Clinchant (NAVER LABS Europe)
Data: Março de 2026

---

1. O Problema

O Retrieval-Augmented Generation (RAG) tornou-se fundamental para melhorar a precisão e a relevância de Grandes Modelos de Linguagem (LLMs) ao integrar conhecimento externo. No entanto, à medida que o tamanho dos conjuntos de dados recuperados aumenta, os pipelines de RAG tornam-se computacionalmente proibitivos devido ao alto custo de inferência.

Existem duas abordagens principais para mitigar esse custo, ambas com limitações significativas:

• Compressão "Hard" (Dura): Envolve resumir ou podar o texto recuperado (ex: Provence, RECOMP). São métodos online e dependentes da consulta, mas oferecem taxas de compressão modestas (aprox. 2x), limitando os ganhos de eficiência.
• Compressão "Soft" (Suave): Mapeia textos para espaços de embeddings contínuos (ex: PISCO, COCOM). Oferecem altas taxas de compressão (até 16x), mas geralmente operam offline (pré-computando representações independentes da consulta) ou exigem passadas pesadas do LLM, o que impede sua aplicação em cenários dinâmicos de baixa latência. Além disso, muitas sofrem de degradação de desempenho.

O Desafio: Criar um método de compressão que seja online (dependente da consulta em tempo real), suave (alta taxa de compressão) e que mantenha a precisão sem sobrecarga de armazenamento ou latência excessiva.

---

2. Metodologia

O OSCAR (Online Soft Compression And Reranking) é um método inovador que realiza compressão de documentos recuperados em tempo de inferência, condicionada à consulta (query-dependent).

Arquitetura e Funcionamento

O pipeline do OSCAR consiste em dois componentes principais:

1. Compressor (Compressor LLM):

   • Recebe a consulta ($q$), o documento recuperado ($d_i$) e um conjunto de tokens de memória aprendíveis ($[MEM]$).
   • Diferente de métodos anteriores que comprimem documentos independentemente da consulta, o OSCAR gera embeddings que capturam apenas as informações do documento relevantes para a consulta específica.
   • O documento original é substituído por um pequeno número de tokens de embedding (ex: 8 tokens para um documento de 128 tokens, resultando em uma compressão de 16x).
   • Arquiteturas Propostas:
     • OSCAR-N-Layers: Utiliza as primeiras $N$ camadas do LLM gerador (sem cabeçalho de saída), eliminando a necessidade de pré-treinamento para alinhamento.
     • OSCAR-llama: Utiliza um LLM menor (ex: Llama-1B) como compressor, com camadas densas adicionais para alinhar o espaço de embeddings ao gerador. Requer pré-treinamento para mapeamento.

2. Gerador (Generator LLM):

   • Recebe o prompt RAG contendo a consulta e os embeddings comprimidos (substituindo os textos originais).
   • Gera a resposta final. Como o contexto de entrada é drasticamente reduzido, a geração é muito mais rápida.

Reranking Simultâneo

Uma contribuição chave é a capacidade de realizar reranking (reclassificação) simultaneamente à compressão.

• Um token especial $[RR]$ é adicionado ao prompt do compressor.
• Uma camada densa mapeia o estado oculto desse token para uma pontuação de relevância.
• Isso permite que o modelo não apenas comprima, mas também classifique a utilidade dos documentos para a consulta em uma única passagem, tornando o custo de reranking "gratuito" dentro do pipeline de compressão.

Treinamento

• Utiliza distilação de conhecimento de nível de sequência. Um "professor" (ex: Mistral-7B) gera respostas a partir dos documentos originais (sem compressão).
• O pipeline OSCAR (compressor + gerador) é treinado para imitar essas respostas do professor, usando a função de perda de entropia cruzada.
• Para o reranking, utiliza-se uma distilação pontual a partir de um reranker de referência (ex: DeBERTa).

---

3. Principais Contribuições

1. Primeiro Método de Compressão Soft Online: OSCAR supera a limitação de métodos soft anteriores que exigiam processamento offline, permitindo compressão dinâmica dependente da consulta.
2. Alta Eficiência com Baixa Perda de Precisão: Alcança taxas de compressão de 16x (e até 128x em ablações) com perda de precisão mínima ou nula em benchmarks de QA.
3. Aceleração de Inferência: Demonstra um speed-up de 2x a 5x na inferência end-to-end em comparação com pipelines RAG sem compressão e métodos de compressão hard.
4. Integração de Reranking: Unifica compressão e reranking em um único modelo, otimizando o pipeline RAG e reduzindo a latência total.
5. Escalabilidade: Funciona eficazmente em LLMs de diferentes tamanhos (de 1B a 24B parâmetros), com ganhos de eficiência proporcionais ao tamanho do modelo base.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos conjuntos de dados (Natural Questions, TriviaQA, HotpotQA, ASQA, PopQA, BioASQ) e backbones (Mistral-7B/24B, Llama-1B, Qwen2-7B).

• Desempenho vs. Eficiência:
  • O modelo OSCAR-llama para Mistral-24B reduziu a complexidade computacional em 5x enquanto melhorou os resultados gerais.
  • Em comparação com métodos hard (Provence, RECOMP), o OSCAR é mais rápido e mantém ou supera a precisão.
  • Comparado a métodos soft offline (PISCO), o OSCAR oferece desempenho superior em cenários online, com ganhos de velocidade significativos.
• Robustez:
  • Mantém desempenho estável mesmo com retrievers mais ruidosos (ex: BM25 sem reranking).
  • Demonstra capacidade de generalização para um número maior de documentos recuperados (até 50 documentos) durante a inferência, embora tenha sido treinado com 5.
• Ablações:
  • A dependência da consulta (query-dependence) é crítica; métodos que ignoram a consulta na compressão sofrem quedas severas de desempenho (-6%).
  • O pré-treinamento do compressor (no caso do OSCAR-llama) é essencial para alinhar os espaços de embeddings.

---

5. Significado e Impacto

O OSCAR representa um avanço significativo na viabilidade de pipelines RAG em larga escala e de baixa latência. Ao eliminar a necessidade de pré-computação de embeddings e permitir que a compressão seja adaptada dinamicamente à consulta, o método resolve o dilema entre eficiência computacional e qualidade de resposta.

• Aplicabilidade Prática: Facilita a implementação de RAG em cenários dinâmicos (ex: web aberta, grandes corpora) onde o conteúdo recuperado não pode ser pré-processado.
• Otimização de Recursos: A redução de 2x a 5x no custo de inferência (FLOPs) e memória permite a execução de modelos maiores em hardware mais acessível ou com maior throughput.
• Futuro do RAG: Estabelece um novo padrão para compressão de contexto, sugerindo que a combinação de compressão suave online e reranking é o caminho ideal para sistemas de geração aumentada por recuperação eficientes.

O código e os modelos estão disponíveis publicamente no Hugging Face e GitHub da NAVER LABS Europe.