CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG

O artigo apresenta o CARROT, um sistema de otimização de recuperação para RAG que utiliza busca em árvore Monte Carlo e um agente de configuração para selecionar e ordenar blocos de conhecimento de forma adaptativa, maximizando a utilidade dentro de restrições de custo e superando desafios como redundância e utilidade não monotônica.

O essencial

Imagine que você tem um gênio muito inteligente (a Inteligência Artificial) que sabe responder a quase tudo, mas tem um problema: ele não sabe o que aconteceu ontem, nem tem acesso a livros novos. Para resolver isso, nós damos a ele uma biblioteca gigante (a internet ou documentos da empresa) para consultar antes de responder.

Esse processo é chamado de RAG (Geração Aumentada por Recuperação). Mas aqui está o problema: a biblioteca é enorme e o gênio tem uma "memória de curto prazo" limitada. Se você jogar 100 páginas de texto para ele ler, ele fica confuso, cansado e começa a inventar coisas (alucinar).

A maioria dos sistemas atuais funciona assim: eles pegam os 5 ou 10 pedaços de texto que parecem mais parecidos com a sua pergunta e jogam tudo junto. É como tentar montar um quebra-cabeça jogando todas as peças de uma vez no chão e esperando que a imagem apareça. Muitas vezes, as peças se sobrepõem, se contradizem ou estão na ordem errada, e o resultado é ruim.

O artigo que você enviou apresenta o CARROT (um sistema inteligente para organizar essa "biblioteca"). Vamos entender como ele funciona usando analogias simples:

1. O Problema: A Bagunça na Biblioteca

O CARROT identifica três problemas principais nos sistemas atuais:

• A Desordem: Eles pegam pedaços de texto (chamados de "chunks") de forma isolada, sem pensar em como eles se conectam. É como pegar um capítulo de um livro, depois um parágrafo aleatório de outro, e depois a capa do livro. A ordem importa muito!
• O Efeito "Mais é Pior": Às vezes, adicionar mais texto piora a resposta. Se você tem a resposta exata em um parágrafo, adicionar mais 10 páginas de informações irrelevantes só confunde o gênio. A utilidade não é sempre crescente; às vezes, menos é mais.
• O "Tamanho Único" não funciona: Perguntas sobre medicina precisam de uma estratégia diferente de perguntas sobre culinária. Os sistemas atuais usam a mesma "receita" para tudo.

2. A Solução: O Detetive com um Mapa (MCTS)

O CARROT não joga as peças no chão. Ele usa uma estratégia chamada Busca em Árvore de Monte Carlo (MCTS).

A Analogia do Labirinto:
Imagine que você precisa encontrar a saída de um labirinto (a melhor resposta).

• Sistemas antigos (Gananciosos): Eles olham para a porta mais próxima e vão para ela. Se for um beco sem saída, eles ficam presos.
• O CARROT: Ele é como um detetive que desenha um mapa mental. Ele testa vários caminhos possíveis, simula o que aconteceria se ele fosse por ali ou por acolá, e escolhe o caminho que parece levar à melhor saída, considerando que ele tem um limite de tempo (custo).

No caso do CARROT, ele não escolhe apenas quais pedaços de texto usar, mas também a ordem exata em que eles devem aparecer para o gênio ler. Ele descobre que colocar o pedaço A antes do B é muito melhor do que B antes de A, mesmo que ambos sejam relevantes.

3. O Gerente Inteligente (Agente de Configuração)

O CARROT tem um "gerente" que olha para a sua pergunta antes de começar a busca.

• Se você pergunta algo complexo sobre leis, o gerente diz: "Precisamos de mais tempo de busca e um especialista em textos jurídicos".
• Se você pergunta algo simples sobre o clima, ele diz: "Vamos rápido, usemos uma busca simples".

Isso evita desperdício. O sistema se adapta automaticamente, sem precisar ser reprogramado para cada novo tipo de pergunta.

4. O Orçamento (Custo)

Tudo isso custa "dinheiro" (tokens, que são unidades de processamento). O CARROT é muito econômico. Ele sabe exatamente quando parar. Se ele já encontrou a resposta perfeita com 3 pedaços de texto, ele não continua procurando mais 10 só porque pode. Ele economiza recursos para não estourar o orçamento.

Resumo dos Resultados

Os testes mostraram que o CARROT é um vencedor:

• Melhor Qualidade: As respostas são até 30% melhores do que os sistemas atuais.
• Mais Rápido e Barato: Ele usa menos "memória" (tokens) para chegar a uma resposta melhor.
• Escalável: Funciona bem mesmo quando a biblioteca de textos é gigantesca.

Conclusão

Em vez de jogar uma pilha de papéis bagunçados na mesa de um gênio e esperar que ele adivinhe a ordem, o CARROT organiza os papéis, escolhe os melhores, coloca-os na sequência perfeita e entrega apenas o necessário. É como ter um bibliotecário de elite que sabe exatamente qual livro, qual página e em qual ordem entregar para que você tenha a melhor resposta possível, gastando o mínimo de tempo e energia.

Resumo técnico

Título: CARROT: Um Sistema de Otimização de Recuperação Aprendido com Restrição de Custos para RAG

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) demonstram capacidades impressionantes, mas sofrem com alucinações e falta de conhecimento atualizado. A Geração Aumentada por Recuperação (RAG) mitiga isso ao buscar conhecimento externo. No entanto, os sistemas RAG atuais enfrentam três desafios fundamentais que limitam sua eficácia e eficiência:

1. Relações entre "Chunks" (Trechos): Métodos existentes (como k-NN aproximado ou agrupamento/clustering) tratam os trechos de forma independente ou em clusters, ignorando correlações, redundâncias e, crucialmente, a ordem dos trechos. A posição da informação no contexto afeta significativamente o desempenho do LLM (fenômeno "lost in the middle").
2. Não Monotonicidade da Utilidade: A premissa de que "mais trechos = melhor resposta" é falsa. Adicionar mais trechos pode diluir informações-chave, introduzir ruído ou criar conflitos, degradando a qualidade da resposta. A utilidade dos trechos não é monotônica em relação ao tamanho do contexto.
3. Diversidade de Consultas: Diferentes tipos de consultas e domínios exigem estratégias de reclassificação (reranking) e configurações distintas. Sistemas atuais geralmente usam um único modelo de reranker fixo, falhando em se adaptar a variações de intenção de consulta.

Além disso, métodos baseados em fine-tuning ou grafos de conhecimento impõem custos computacionais proibitivos para implantação em larga escala.

2. Metodologia: O Framework CARROT

O CARROT é um framework baseado em ranking que otimiza a recuperação de trechos sob uma restrição de custo (número de tokens). Sua arquitetura principal consiste em dois módulos:

A. Busca de Combinação Ótima de Trechos (MCTS-Based Policy Tree Search)
Em vez de selecionar trechos individualmente, o CARROT trata a seleção e ordenação como um problema de busca em árvore de políticas.

• Modelagem: O espaço de busca é modelado como uma árvore onde cada nó representa uma combinação ordenada de trechos.
• Algoritmo MCTS (Monte Carlo Tree Search): Utiliza uma variação do MCTS para explorar o espaço exponencial de combinações de forma eficiente, sem necessidade de enumeração exaustiva.
  • Seleção: Usa uma função de utilidade baseada em UCB (Upper Confidence Bound) que equilibra exploração e exploração, incorporando o custo dos tokens.
  • Expansão e Simulação: Expande nós candidatos e avalia combinações em paralelo usando um modelo reranker. Isso permite avaliar múltiplas combinações em uma única chamada de modelo, reduzindo drasticamente a latência.
  • Backpropagation: Atualiza as estatísticas dos nós com base nos benefícios obtidos.
• Restrição de Orçamento: Diferente de métodos que param apenas quando o orçamento de tokens se esgota, o CARROT identifica a combinação ótima que maximiza a utilidade dentro do orçamento, reconhecendo que o ponto ótimo pode não usar todo o orçamento disponível.

B. Agente de Configuração (Configuration Agent)
Para lidar com a diversidade de consultas, o sistema emprega um agente aprendido que prevê as melhores configurações para cada consulta.

• Aprendizado: Utiliza Aprendizado Contrastivo combinado com regressão e classificação.
• Entrada: O agente recebe o embedding da consulta e dos trechos recuperados.
• Saída: Prevê dinamicamente:
  1. O modelo reranker mais adequado para aquele domínio/consulta.
  2. Os hiperparâmetros do MCTS (número de iterações, coeficiente de exploração, coeficiente de custo).
• Treinamento: O agente é treinado offline para generalizar entre diferentes domínios e LLMs, permitindo adaptação sem fine-tuning pesado do LLM principal.

3. Principais Contribuições

1. Primeiro Framework RAG com Otimização de Ordem: O CARROT é pioneiro em considerar explicitamente a ordem de combinação dos trechos como parte do processo de otimização, resolvendo o problema de "perda no meio" e redundância.
2. Formulação de Utilidade Não Monotônica: Introduz uma formulação matemática que não assume que a utilidade aumenta linearmente com o número de trechos, permitindo a seleção de subconjuntos ótimos que podem ser menores que o orçamento máximo.
3. Agente de Configuração Adaptativo: Propõe um mecanismo de aprendizado que ajusta dinamicamente a estratégia de busca e o modelo de reranking baseado na semântica da consulta e na distribuição dos dados, superando a rigidez de sistemas estáticos.
4. Eficiência Computacional: Através da avaliação paralela de nós e da busca guiada por MCTS, o sistema alcança alta qualidade com custos de inferência (tokens e tempo) significativamente menores que métodos baseados em grafos ou fine-tuning.

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados (WikiPassageQA, MARCO, HotpotQA) com diversos LLMs (Llama3-8B, DeepseekV3, GPT-4o).

• Eficácia: O CARROT superou consistentemente todos os baselines (incluindo métodos baseados em grafos como GraphRAG e métodos de fine-tuning como ColBERT), apresentando um ganho de desempenho de até 30% em métricas como ROUGE-1 e F1.
• Eficiência e Custo:
  • O CARROT opera com um custo de tokens online muito inferior aos métodos que consomem todo o orçamento disponível.
  • A latência de recuperação é competitiva, especialmente comparada a métodos que exigem múltiplas chamadas de LLM para construção de grafos ou resumos.
  • A análise de escalabilidade mostrou que, ao aumentar o número de trechos candidatos de 10k para 100k, a latência do CARROT aumentou apenas ~10%, demonstrando alta escalabilidade.
• Validação de Componentes: Estudos de ablação confirmaram que:
  • A remoção do MCTS (substituindo por busca gulosa ou beam search) degrada significativamente a qualidade.
  • A remoção do Agente de Configuração reduz a adaptabilidade a diferentes domínios.
  • A avaliação paralela reduz a latência em mais de 80% comparado a uma avaliação sequencial.
• Generalização: O sistema demonstrou robustez ao ser treinado em um domínio e testado em outros, mantendo desempenho competitivo sem re-treinamento.

5. Significância e Conclusão

O CARROT representa um avanço significativo na área de RAG ao demonstrar que a otimização da estrutura de entrada (seleção e ordenação de trechos) é tão crítica quanto a qualidade da recuperação inicial.

Ao tratar a seleção de contexto como um problema de otimização de custo restrito e não monotônico, o CARROT oferece uma solução prática e escalável para empresas que necessitam de respostas precisas de LLMs sem os custos proibitivos de fine-tuning massivo ou construção de grafos de conhecimento complexos. O código-fonte foi disponibilizado publicamente, facilitando a adoção e o avanço da pesquisa em recuperação otimizada para geração.