Pursuing Best Industrial Practices for Retrieval-Augmented Generation in the Medical Domain

Título: Buscando as Melhores Práticas Industriais para Geração Aumentada por Recuperação (RAG) no Domínio Médico

1. O Problema

Embora a Geração Aumentada por Recuperação (RAG) tenha sido rapidamente adotada em aplicações industriais baseadas em Grandes Modelos de Linguagem (LLMs), não há um consenso sobre quais são as melhores práticas para construir esses sistemas, especialmente no domínio médico. Os desafios principais incluem:

• Alucinações: LLMs podem gerar respostas plausíveis, mas factualmente incorretas.
• Dados Desatualizados: Os dados de treinamento dos modelos não incluem informações recentes (notícias, pesquisas científicas ou médicas mais novas).
• Complexidade de Implementação: Existe uma grande variabilidade nas abordagens para cada componente do sistema RAG (classificação de consulta, fragmentação, indexação, recuperação e geração), dificultando a escolha da configuração ótima para aplicações industriais que exigem um equilíbrio entre desempenho e eficiência.

2. Metodologia

Os autores propõem uma abordagem sistemática de três etapas para identificar as melhores práticas, focando em tarefas de domínio aberto e médico:

1. Análise de Componentes: Investigação detalhada de alternativas para cada módulo do fluxo de trabalho RAG:

   • Classificação de Consulta: Um classificador (baseado em BERT, RoBERTa ou DeBERTa) decide se uma consulta precisa de recuperação ou se pode ser respondida diretamente pelo LLM, economizando recursos.
   • Fragmentação (Chunking): Comparação entre Vanilla (sem sobreposição), Small2big (recupera um pedaço pequeno, mas usa um contexto maior para a resposta) e Sliding-window (com sobreposição).
   • Indexação de Documentos: Avaliação de indexação esparsa (BM25), densa (vetorial/ANN) e híbrida.
   • Modelos de Embedding: Teste de modelos gerais (BGE-base, GTE-base) e específicos do domínio médico (MedCPT).
   • Aumento de Consulta (Query Augmentation): Estratégias como reescrita de consulta, geração de pseudo-respostas e uso da consulta original.
   • Estratégia de Prompt: Comparação entre Resposta Direta, Cadeia de Pensamento (CoT) e CoT-Refine (que pede ao modelo para refletir e corrigir uma resposta inicial usando documentos recuperados).

2. Otimização Iterativa: Os autores otimizam um módulo de cada vez, mantendo os outros constantes, para estabelecer uma configuração base ótima.

3. Avaliação Comparativa: Criação de uma configuração "Best Practice" (BP-RAG) e comparação com variações que alteram um único módulo por vez, além de um cenário sem RAG.

Conjunto de Dados e Métricas:

• Benchmarks: MMLU (domínio geral), PubMedQA (perguntas biomédicas) e PromptNER (extração de entidades nomeadas).
• Corpus: Wikipedia, PubMed e um corpus proprietário de livros/documentos científicos.
• Métricas: Acurácia (para QA), F1-strict (para NER) e Latência média (segundos por consulta).

3. Principais Contribuições

• Investigação Abrangente: O estudo analisa sistematicamente as abordagens existentes para cada módulo de um sistema RAG industrial.
• Identificação de Melhores Práticas: Através de extensos experimentos, os autores identificam a configuração ótima que equilibra desempenho e eficiência para tarefas biomédicas.
• Análise de Trade-offs: O trabalho fornece insights claros sobre como diferentes escolhas de arquitetura impactam a latência versus a precisão, crucial para aplicações em tempo real.

4. Resultados Chave

A configuração proposta, denominada BP-RAG, alcançou os melhores resultados gerais. As descobertas específicas por módulo foram:

• Classificação de Consulta: O uso de um classificador (DeBERTa-base) é crucial. Ele melhora a pontuação média em 1% e reduz drasticamente a latência (de 20,7s para 14,3s), pois evita a recuperação desnecessária para consultas simples.
• Fragmentação (Chunking): A estratégia Small2big superou as outras. Recuperar um segmento pequeno para busca, mas injetar um contexto maior (contendo o pequeno) no prompt, retém melhor a informação contextual.
• Indexação: A Indexação Híbrida (combinação de BM25 e vetorial) obteve as pontuações mais altas, superando indexações puramente esparsas ou densas, pois combina precisão lexical e semântica.
• Embeddings: O modelo BGE-base (domínio geral) funcionou melhor no geral. O MedCPT (específico para medicina) foi superior apenas no PubMedQA, mas performou pior em tarefas de domínio aberto, indicando que modelos gerais podem ser mais robustos para RAG híbrido.
• Aumento de Consulta: A Geração de Pseudo-respostas (onde o modelo gera uma resposta inicial que é concatenada à consulta para busca) melhorou a relevância dos documentos recuperados, embora aumente a latência em ~30%.
• Prompting: A estratégia CoT-Refine (Cadeia de Pensamento com Refinamento) superou a Cadeia de Pensamento padrão e a Resposta Direta, demonstrando que pedir ao modelo para refletir e corrigir com base nos documentos recuperados melhora a qualidade final.

Desempenho Global:
O sistema BP-RAG melhorou o desempenho médio em 25,6% em comparação com o uso direto do LLM sem RAG. No entanto, a latência aumentou em 32,4%, destacando o compromisso entre precisão e velocidade.

5. Significado e Conclusão

Este trabalho é fundamental para a implementação industrial de RAG no setor de saúde. Ele demonstra que não existe uma solução "tamanho único"; a configuração ótima depende do equilíbrio desejado entre precisão e latência.

• Para aplicações críticas: A configuração BP-RAG (com CoT-Refine, indexação híbrida e Small2big) oferece a máxima precisão, essencial para decisões clínicas.
• Para aplicações sensíveis ao tempo: Os autores sugerem que praticantes podem optar por configurações simplificadas (ex: remover a classificação de consulta ou usar indexação puramente densa) para reduzir a latência, aceitando uma pequena perda de desempenho.

O estudo também aborda considerações éticas, enfatizando que o RAG deve servir como uma ferramenta de suporte à decisão clínica, aumentando a transparência e a rastreabilidade das informações, sem substituir o julgamento humano.