Resumo Técnico: RAGtio

Declaração do Problema

Embora os sistemas de Geração Aumentada por Recuperação (RAG) estejam sendo cada vez mais adotados no domínio biomédico para mitigar as limitações dos Grandes Modelos de Linguagem (LLMs), como alucinações e conhecimento desatualizado, a avaliação de seus componentes de recuperação permanece não padronizada. A literatura existente foca predominantemente na precisão da resposta a perguntas (QA) de ponta a ponta, o que torna difícil isolar a contribuição específica da etapa de recuperação. Além disso, métricas específicas de recuperação são frequentemente aplicadas de forma inconsistente, e os pipelines de avaliação são frequentemente implementados de forma ad hoc. Essa falta de ferramentas de avaliação sistemáticas e reproduzíveis dificulta a capacidade de usuários não técnicos (ex: clínicos e pesquisadores do domínio) de avaliar rigorosamente a qualidade da recuperação, particularmente em relação ao "viés autorreferencial", onde consultas sintéticas podem inflar artificialmente as métricas de desempenho.

Metodologia

O artigo apresenta o RAGtio, um framework modular de código aberto projetado para a avaliação sistemática de pipelines de recuperação RAG híbridos. O sistema é construído sobre a biblioteca Haystack e utiliza o Qdrant como banco de dados vetorial, implantado via Docker Compose para garantir a reprodutibilidade.

Arquitetura do Sistema

O framework orquestra cinco estágios distintos:

1. Ingestão de Documentos: Suporta formatos heterogêneos (PDF, DOCX, CSV, JSON, etc.) e os processa através de um Document Cleaner (Limpador de Documentos) e um Document Splitter (Divisor de Documentos) configurável (suportando fragmentação baseada em caracteres, recursiva e por parágrafos).
2. Indexação: Gera tanto embeddings densos (via FastEmbed compatível com ONNX/sentence-transformers) quanto representações esparsas (via BM25). Estes são armazenados no Qdrant com indexação de similaridade de cosseno.
3. Recuperação: Implementa quatro configurações alternáveis selecionáveis via YAML sem mudanças no código:
   • Esparsa: Recuperação lexical BM25.
   • Densa: Recuperação semântica usando embeddings de sentence-transformer.
   • Híbrida: Uma Fusão de Classificação Recíproca (RRF) ponderada dos resultados esparsos e densos ($w_{dense}=0.7, w_{sparse}=0.3$).
   • Híbrida com Re-ranking: O output híbrido é refinado por um re-ranker de cross-encoder.
4. Geração de Resposta: Constrói prompts para LLMs (suportando inferência local via Ollama ou APIs compatíveis com OpenAI) usando os fragmentos recuperados, com instruções para permanecer fiel ao contexto.
5. Avaliação: Avalia a qualidade da recuperação usando quatro métricas padrão de Recuperação de Informação (IR): Recall@K, Hit Rate@K, Mean Reciprocal Rank (MRR) e nDCG@K.

Modos de Avaliação Duplos

Uma contribuição metodológica central é a implementação de dois modos de avaliação complementares para abordar o viés:

• Modo A (Sintético): Gera consultas automaticamente a partir de fragmentos de documentos amostrados aleatoriamente usando um LLM. Isso permite uma avaliação rápida e em larga escala, mas é suscetível ao viés autorreferencial.
• Modo B (Manual): Aceita pares de consulta-relevância fornecidos pelo usuário e curados por especialistas do domínio. Isso produz uma estimativa imparcial da qualidade da recuperação em consultas genuinamente novas, mitigando o viés inerente ao Modo A.

Principais Contribuições

1. Framework Modular: Uma plataforma agnóstica de domínio que cobre ingestão, indexação, recuperação, geração e avaliação focada em recuperação, distinta de trabalhos anteriores que frequentemente vinculam a avaliação a corpora ou tarefas específicas.
2. Estratégias de Recuperação Configuráveis: A capacidade de comparar estratégias esparsas, densas, híbridas e de re-ranking híbrido dentro de um único ambiente controlado, utilizando índices e conjuntos de consultas idênticos.
3. Protocolo de Avaliação Complementar: A introdução do Modo A e Modo B permite que os usuários examinem a sensibilidade do desempenho de recuperação ao viés de geração de consultas, um fator crítico em domínios especializados como a biomedicina.
4. Acessibilidade Operacional: Diferente de muitos protótipos de pesquisa, o RAGtio é fornecido como um conjunto de software totalmente conteinerizado e implantável, com uma interface de configuração baseada em YAML e uma GUI baseada na web. Isso permite que usuários não técnicos executem avaliações, inspecionem resultados e curam julgamentos de relevância sem necessidade de experiência em programação.

Resultados

O framework foi avaliado em quatro domínios biomédicos: Oncologia, Diabetes, Farmacologia e Doenças Infecciosas.

• Desempenho Quantitativo: Usando a configuração híbrida com re-ranking de cross-encoder, o sistema demonstrou eficácia consistente. No Modo A (sintético), o domínio de Oncologia alcançou um MRR de 0.657 e um Recall@10 de 0.732. A Farmacologia apresentou o desempenho mais forte, com um MRR de 0.778.
• Insights do Modo B: A avaliação manual (Modo B) revelou que, embora o sistema consiga apresentar efetivamente pelo menos um parágrafo relevante imediatamente (Hit Rate@1 de 0.800 em Oncologia), as métricas de recall foram menores. Os autores atribuem isso à natureza do Modo B, onde consultas anotadas por especialistas frequentemente possuem um conjunto mais amplo de fragmentos relevantes do que as consultas sintéticas, tornando a cobertura total dentro de uma janela limitada de top-K mais difícil.
• Q&A Interativo: Em testes qualitativos, consultas associadas a pontuações de confiança de re-ranker altas geralmente produziram respostas corretas. No entanto, o estudo observa que alta confiança de recuperação não garante respostas perfeitas e, inversamente, o LLM pode às vezes compensar uma recuperação moderadamente ruidosa se o parágrafo de topo for altamente relevante.

Significância e Alegações

O artigo posiciona o RAGtio não como um novo algoritmo de recuperação, mas como uma infraestrutura de avaliação sistemática. Sua principal significância reside em unir o rigor metodológico à acessibilidade prática.

• Reprodutibilidade: Ao fornecer um fluxo de trabalho conteinerizado e orientado por configuração, o framework permite que pesquisadores reproduzam experimentos de recuperação sem reconstruir pipelines complexos.
• Mitigação de Viés: O protocolo de avaliação de modo duplo aborda explicitamente o "viés autorreferencial" comum em estudos de RAG, oferecendo uma avaliação mais realista da qualidade da recuperação através de benchmarks curados por especialistas.
• Usabilidade: A interface web reduz a barreira de entrada para especialistas do domínio, permitindo que validem sistemas RAG em seus próprios corpora sem habilidades de desenvolvimento de software.

Os autores reconhecem modestamente as limitações, incluindo a pequena escala das anotações manuais (único anotador), o foco em um único modelo de embedding no caso de estudo e o uso exclusivo da configuração híbrida para a avaliação principal. Eles enquadram o trabalho como um passo fundamental em direção a uma avaliação de RAG mais transparente e padronizada, particularmente em campos especializados como a biomedicina.