RAGPerf: An End-to-End Benchmarking Framework for Retrieval-Augmented Generation Systems

O artigo apresenta o RAGPerf, um framework de benchmarking de ponta a ponta que modulariza e avalia o desempenho e a precisão de sistemas de Geração Aumentada por Recuperação (RAG), suportando diversos componentes, dados e métricas com sobrecarga negligenciável.

O essencial

Imagine que você tem um gênio da lâmpada (o LLM, ou Modelo de Linguagem) que sabe tudo sobre o mundo geral, mas não sabe nada sobre a sua empresa, seus documentos privados ou as notícias de ontem. Se você perguntar algo específico, ele vai "alucinar" ou inventar uma resposta.

Para resolver isso, criamos o RAG (Geração Aumentada por Recuperação). É como dar ao gênio uma biblioteca gigante e dizer: "Antes de responder, leia estes livros específicos sobre o assunto".

O problema é que montar essa "biblioteca mágica" é complexo. Você precisa cortar os livros em pedaços, transformar cada pedaço em um código matemático, guardar em um armário superorganizado, procurar o pedaço certo quando você pergunta, reorganizar a lista de melhores respostas e, finalmente, pedir ao gênio para escrever a resposta.

Se algo for lento ou errado em qualquer uma dessas etapas, o sistema todo fica lento ou a resposta fica ruim. E até agora, não existia um "teste de estresse" fácil para ver qual peça estava travando o carro.

É aqui que entra o RAGPerf.

O que é o RAGPerf?

Pense no RAGPerf como um mecânico de Fórmula 1 superinteligente para esses sistemas de IA.

Em vez de apenas olhar para a velocidade final do carro (se a resposta foi boa), o RAGPerf coloca sensores em cada peça do motor:

1. O Motor de Busca: Quão rápido ele acha o documento?
2. O Tradutor: Quão rápido ele transforma o texto em código matemático?
3. O Organizador: Quão rápido ele guarda os dados no armário?
4. O Gênio: Quão rápido ele escreve a resposta?

Como ele funciona? (Analogias do Dia a Dia)

1. O Simulador de Trânsito (Gerador de Carga)

Imagine que você quer testar um novo sistema de entrega de pizza. Você não pode testar apenas em um dia calmo. Você precisa simular uma sexta-feira à noite, com chuva, quando todos pedem pizza ao mesmo tempo.

O RAGPerf faz isso com dados. Ele cria cenários reais:

• Leitura: Alguém perguntando coisas.
• Escrita/Atualização: Alguém adicionando um novo documento ou corrigindo um erro antigo na biblioteca.
• Padrões: Às vezes, todos querem saber sobre o mesmo tópico (como um vídeo viral); outras vezes, as perguntas são aleatórias.
  O RAGPerf simula esse caos para ver onde o sistema "quebra" ou fica lento.

2. O Desmontador de Blocos de Lego (Modularidade)

Muitos sistemas de IA são como um bloco de Lego colado com supercola: você não consegue tirar uma peça sem quebrar tudo.

O RAGPerf é feito de Lego solto. Ele separa o sistema em peças independentes:

• Você pode trocar o "armário" (banco de dados) de um tipo para outro.
• Você pode trocar o "tradutor" (modelo de embedding) por um mais rápido ou mais preciso.
• Você pode trocar o "gênio" (LLM) por um mais inteligente ou mais barato.

Isso permite que você teste: "O que acontece se eu usar um armário mais rápido, mas um gênio mais lento?" ou "O que acontece se eu tiver menos memória no computador?".

3. O Relógio de Precisão (Métricas de Desempenho)

O RAGPerf não apenas diz "está lento". Ele diz onde está lento.

• "O gargalo não é o gênio, é o tempo que o sistema leva para procurar o papel no armário."
• "O sistema está usando 90% da memória do computador, mas o processador está quase dormindo."

Ele mede tudo: quanto tempo leva, quanto energia gasta, quanto memória usa e, o mais importante, se a resposta final é verdadeira e precisa.

Por que isso é importante?

Antes do RAGPerf, os desenvolvedores estavam "atirando para o escuro". Eles tentavam configurar o sistema e torcer para funcionar. Com o RAGPerf, é como ter um GPS de engenharia:

• Se você tem pouco dinheiro (pouca memória), o RAGPerf diz: "Não use esse modelo gigante, use aquele menor, ou sua resposta vai demorar 10 segundos".
• Se você precisa de respostas em tempo real, ele diz: "Troque esse tipo de armário de dados, o atual é muito lento para atualizações constantes".

Resumo da Ópera

O RAGPerf é uma ferramenta que permite que empresas e pesquisadores testem, comparem e melhorem seus sistemas de Inteligência Artificial de ponta a ponta. Ele transforma um processo complexo e cheio de "achismos" em uma ciência exata, garantindo que, quando você pedir uma informação ao seu assistente de IA, ele responda rápido, barato e com a verdade.

E o melhor de tudo? Eles tornaram esse "mecânico de F1" de código aberto, ou seja, qualquer pessoa pode baixar, usar e ajudar a melhorar.

Resumo técnico

Título: RAGPerf: Um Framework de Benchmarking End-to-End para Sistemas de Geração Aumentada por Recuperação (RAG)

1. O Problema

A Geração Aumentada por Recuperação (RAG) tornou-se fundamental para superar as limitações de conhecimento dos Grandes Modelos de Linguagem (LLMs), permitindo que eles acessem bases de conhecimento externas e atualizadas. No entanto, à medida que as empresas implementam pipelines de RAG para aplicações específicas, surgem desafios críticos:

• Complexidade do Stack Computacional: Um pipeline de RAG envolve múltiplos componentes interconectados (embedding, indexação, recuperação, reranking e geração), tornando difícil identificar gargalos de desempenho e fazer trade-offs de design.
• Falta de Benchmarks Holísticos: As soluções de benchmarking existentes focam predominantemente em métricas semânticas (qualidade da resposta, alucinação) ou avaliam componentes isolados (apenas bancos de dados vetoriais ou apenas LLMs). Poucos estudos examinam o comportamento de desempenho de tempo de execução (throughput, latência, uso de recursos) em um pipeline totalmente integrado.
• Falta de Flexibilidade e Realismo: Muitos benchmarks não permitem a personalização de configurações (modelos, bancos de dados vetoriais, estratégias de indexação) nem simulam cenários do mundo real, como atualizações contínuas de dados e padrões de acesso variados.

2. Metodologia e Arquitetura

O RAGPerf foi desenvolvido como um framework de benchmarking modular, extensível e de baixo overhead para caracterizar o comportamento de sistemas de IA baseados em RAG.

• Arquitetura Modular: O framework desacopla o fluxo de trabalho RAG em componentes independentes:
  1. Embedding: Processamento de dados brutos (texto, PDF, áudio, código) e geração de vetores.
  2. Indexação: Armazenamento em bancos de dados vetoriais (suporta LanceDB, Milvus, Qdrant, Chroma, Elasticsearch) com diversos métodos de índice (HNSW, IVF, etc.).
  3. Recuperação: Busca de vizinhos mais próximos (ANN).
  4. Reranking: Refinamento dos resultados recuperados.
  5. Geração: Uso de LLMs (via vLLM) para gerar a resposta final.
• Gerador de Carga de Trabalho (Workload Generator):
  • Simula cenários realistas com operações concorrentes de leitura (query) e escrita (inserção, atualização, exclusão).
  • Suporta distribuições de acesso variadas (Uniforme e Zipfiana) para modelar "hotspots" de dados.
  • Geração Dinâmica de Ground Truth: Para operações de atualização, o RAGPerf utiliza LLMs para modificar sinteticamente trechos de documentos e gerar perguntas/respostas de verificação, garantindo que a avaliação de precisão seja válida mesmo com dados dinâmicos.
• Coleta de Métricas:
  • Métricas de Desempenho: Throughput de consulta, latência, uso de CPU/GPU, memória (host e dispositivo), e largura de banda de I/O.
  • Métricas de Qualidade: Recall de contexto, precisão da consulta e consistência factual (utilizando o framework Ragas).
• Baixo Overhead: O sistema de monitoramento opera como um daemon de baixa prioridade e desacoplado, garantindo que o perfilamento não interfira significativamente no comportamento normal do RAG.

3. Principais Contribuições

1. Framework End-to-End Unificado: Primeiro framework a integrar medições de desempenho de sistema e métricas de qualidade de resposta em um único pipeline RAG completo.
2. Flexibilidade de Configuração: Permite aos usuários alterar parâmetros em cada estágio (ex: dimensões de embedding, métodos de indexação, modelos de reranking, tamanho de lote) para explorar o espaço de otimização.
3. Simulação de Cenários Dinâmicos: Capacidade única de simular atualizações contínuas de conhecimento e medir o impacto na latência e na frescura dos dados, algo negligenciado por benchmarks estáticos.
4. Suporte Multimodal: Suporta nativamente pipelines para texto, documentos visuais (PDF/Imagem via OCR ou modelos multimodais como ColPali) e áudio (via ASR).
5. Código Aberto: O projeto foi disponibilizado no GitHub, permitindo reprodutibilidade e extensão pela comunidade.

4. Resultados da Avaliação

Os autores realizaram experimentos extensivos em um ambiente com GPUs NVIDIA H100, demonstrando as seguintes descobertas:

• Gargalos de Desempenho:
  • Em pipelines de texto, a geração (LLM) é o gargalo dominante (75-91% da latência total), tornando a escolha do banco de dados vetorial menos crítica para a latência final.
  • Em pipelines multimodais (PDF/Imagem), a conversão de formato (OCR) e a indexação são os maiores contribuintes para a latência.
  • O uso de índices acelerados por GPU (como CAGRA) oferece ganhos marginais de throughput em comparação ao alto consumo de memória GPU, que poderia ser melhor utilizado para inferência do LLM.
• Impacto de Recursos:
  • O número de núcleos de CPU tem impacto mínimo no throughput.
  • A memória do host é um gargalo crítico; a falta dela força o uso de índices baseados em disco, degradando o throughput em até 85%.
  • A memória da GPU limita diretamente o tamanho do lote de inferência e a capacidade de carregar modelos maiores.
• Operações de Atualização:
  • A introdução de um "índice plano temporário" (temporary flat index) permite que novos dados sejam pesquisáveis imediatamente, melhorando a precisão, mas aumenta a latência à medida que o índice cresce até a próxima reconstrução.
  • Distribuições de atualização enviesadas (Zipfiana) resultam em menos sobrecarga de latência do que atualizações uniformes.
• Qualidade vs. Eficiência:
  • Um alto context recall não garante alta precisão se o modelo de geração for pequeno e incapaz de utilizar o contexto recuperado efetivamente.
  • Aumentar o tamanho do lote (batch size) melhora o throughput, mas pode reduzir o desempenho se exceder a memória disponível para o cache KV, forçando decodificação sequencial.
• Overhead do Próprio RAGPerf: O framework adiciona apenas 0,11% de sobrecarga no tempo de iteração e consome menos de 0,26% de uso de CPU, provando ser leve.

5. Significância

O RAGPerf preenche uma lacuna crítica no ecossistema de IA, oferecendo uma ferramenta essencial para desenvolvedores e pesquisadores que desejam:

• Otimizar Sistemas de Produção: Identificar gargalos de hardware e software antes da implantação em escala.
• Tomar Decisões Baseadas em Dados: Avaliar trade-offs entre custo, latência e qualidade da resposta ao escolher modelos e configurações de banco de dados.
• Validar Arquiteturas Multimodais: Fornecer insights sobre como pipelines complexos (texto + imagem + áudio) se comportam sob carga real.

Em resumo, o RAGPerf transforma a avaliação de sistemas RAG de uma análise puramente qualitativa para uma disciplina quantitativa e orientada por dados, facilitando a construção de sistemas de IA mais robustos e eficientes.