RAGulate: Retrieval-Augmented Generation for Post-hoc Literature-Grounded Regulatory Assessment

Resumo Técnico: RAGulate

Problema
Biólogos enfrentam desafios significativos ao priorizar relações entre fatores de transcrição (TF) e seus alvos previstos por modelos computacionais para validação experimental. Este processo atualmente exige a inspeção manual de evidências heterogêneas e dependentes de contexto, dispersas ao longo da literatura biomédica. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma solução potencial para agilizar essa tarefa, sua dependência de conhecimento de propósito geral frequentemente leva a alucinações e interpretações imprecisas, particularmente quando nuances contextuais específicas de interações regulatórias são necessárias.

Metodologia
O artigo apresenta o RAGulate, um framework de Geração Aumentada de Recuperação (RAG) projetado para a avaliação da regulação transcricional fundamentada na literatura. O sistema opera através de um pipeline modular com os seguintes componentes principais:

• Integração de Base de Conhecimento: O RAGulate utiliza o CollecTRI, uma base de conhecimento regulatória externa que fornece ligações TF-alvo suportadas por Identificadores PubMed (PMIDs).
• Processamento de Consulta: O sistema emprega expansão de consulta sensível a aliases para lidar com a variabilidade na nomenclatura de genes e proteínas.
• Estratégia de Recuperação: Utiliza uma abordagem de recuperação híbrida que combina métodos de recuperação esparsa (léxica) e densa (baseada em embeddings).
• Reclassificação (Re-ranking): Os candidatos recuperados passam por uma reclassificação por relevância máxima marginal (MMR) para garantir diversidade e relevância.
• Classificação e Geração: Um LLM classifica as previsões com base nos documentos recuperados. Crucialmente, o sistema infere o contexto específico de cada interação a partir da literatura recuperada, em vez de depender de conhecimento geral pré-treinado.

Principais Contribuições

1. Desenvolvimento de Framework: A criação do RAGulate, uma ferramenta especializada que integra conhecimento regulatório externo com técnicas avançadas de RAG para fundamentar as saídas dos LLMs em literatura biomédica específica.
2. Inferência Contextual: Diferente do prompting padrão, o RAGulate infere o contexto das interações TF-alvo diretamente dos documentos recuperados, abordando a dependência de contexto da biologia regulatória.
3. Pipeline Modular: A implementação de um pipeline abrangente apresentando normalização de aliases, recuperação híbrida e reclassificação MMR especificamente adaptados para avaliação regulatória.

Resultados
A avaliação foi conduzida utilizando um benchmark equilibrado de TF-alvo-contexto derivado do recurso CollecTRI, avaliando o desempenho de recuperação, a precisão da classificação e a fidelidade da evidência. As principais descobertas incluem:

• Desempenho de Recuperação: A normalização de aliases mostrou melhorar marcadamente a revocação (recall) da recuperação. Além disso, o método de recuperação híbrida, que mescla candidatos léxicos e baseados em embeddings, alcançou a maior recuperação de evidências em todos os cortes (cut-offs) em comparação com abordagens de método único.
• Precisão de Classificação: Condicionar os LLMs aos documentos recuperados melhorou consistentemente as métricas de desempenho (AUROC e AUPR) para classificar se uma interação TF-alvo é suportada em um contexto especificado, superando métodos de prompting direto.
• Fidelidade e Alucinação: O framework reduziu significativamente as alucinações e melhorou a correção das citações ao nível de PMID. As explicações geradas mostraram-se fiéis à literatura de suporte.

Significância
O artigo posiciona o RAGulate como uma ferramenta de IA baseada em conhecimento projetada para ser parceira de biólogos. Sua principal significância reside na capacidade de acelerar a priorização de alvos de TF para validação experimental e fomentar a geração de hipóteses. Ao mitigar os riscos de alucinação inerentes aos LLMs de propósito geral e garantir que as saídas sejam fundamentadas na literatura recuperada específica, o RAGulate oferece um mecanismo confiável para navegar pela complexa evidência biomédica. O software e os tutoriais são disponibilizados à comunidade para facilitar a adoção.