RAGulate: Retrieval-Augmented Generation for Post-hoc Literature-Grounded Regulatory Assessment

Resumen Técnico: RAGulate

Planteamiento del Problema
Los biólogos enfrentan desafíos significativos al priorizar las relaciones entre factores de transcripción (TF) y sus objetivos predichas por modelos computacionales para su validación experimental. Este proceso requiere actualmente la inspección manual de evidencia heterogénea y dependiente del contexto, dispersa a lo largo de la literatura biomédica. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen una solución potencial para agilizar esta tarea, su dependencia del conocimiento de propósito general suele conducir a alucinaciones e interpretaciones inexactas, particularmente cuando se requieren matices contextuales específicos de las interacciones regulatorias.

Metodología
El artículo presenta RAGulate, un marco de Generación Aumentada por Recuperación (RAG) diseñado para la evaluación de la regulación transcripcional fundamentada en la literatura. El sistema opera mediante un pipeline modular con los siguientes componentes principales:

• Integración de la Base de Conocimientos: RAGulate aprovecha CollecTRI, una base de conocimiento regulatorio externa que proporciona enlaces TF-objetivo respaldados por identificadores de PubMed (PMIDs).
• Procesamiento de Consultas: El sistema emplea la expansión de consultas sensible a alias para manejar la variabilidad en la nomenclatura de genes y proteínas.
• Estrategia de Recuperación: Utiliza un enfoque de recuperación híbrida que combina métodos de recuperación dispersos (léxicos) y densos (basados en embeddings).
• Reclasificación (Re-ranking): Los candidatos recuperados se someten a una reclasificación por relevancia máxima marginal (MMR) para asegurar la diversidad y la relevancia.
• Clasificación y Generación: Un LLM clasifica las predicciones basándose en los documentos recuperados. Crucialmente, el sistema infiere el contexto específico de cada interacción a partir de la literatura recuperada en lugar de depender del conocimiento general preentrenado.

Contribuciones Clave

1. Desarrollo del Marco de Trabajo: La creación de RAGulate, una herramienta especializada que integra el conocimiento regulatorio externo con técnicas avanzadas de RAG para fundamentar los resultados de los LLM en la literatura biomédica específica.
2. Inferencia Contextual: A diferencia del prompting estándar, RAGulate infiere el contexto de las interacciones TF-objetivo directamente de los documentos recuperados, abordando la dependencia del contexto en la biología regulatoria.
3. Pipeline Modular: La implementación de un pipeline integral que cuenta con normalización de alias, recuperación híbrida y reclasificación por MMR, diseñado específicamente para la evaluación regulatoria.

Resultados
La evaluación se llevó a cabo utilizando un benchmark equilibrado de TF-objetivo-contexto derivado del recurso CollecTRI, evaluando el rendimiento de la recuperación, la precisión de la clasificación y la fidelidad de la evidencia. Los hallazgos clave incluyen:

• Rendimiento de la Recuperación: Se demostró que la normalización de alias mejoró notablemente la recuperación (recall). Además, el método de recuperación híbrida, que fusiona candidatos léxicos y basados en embeddings, logró la mayor recuperación de evidencia en todos los puntos de corte en comparación con los enfoques de un solo método.
• Precisión de la Clasificación: El condicionamiento de los LLMs con los documentos recuperados mejoró consistentemente las métricas de rendimiento (AUROC y AUPR) para clasificar si una interacción TF-objetivo está respaldada en un contexto específico, superando a los métodos de prompting directo.
• Fidelidad y Alucinación: El marco redujo significamente las alucinaciones y mejoró la corrección de las citas a nivel de PMID. Se encontró que las explicaciones generadas reflejaban fielmente la literatura de respaldo.

Significancia
El artículo posiciona a RAGulate como una herramienta de IA basada en el conocimiento diseñada para colaborar con los biólogos. Su principal significancia radica en su capacidad para acelerar la priorización de TF-objetivos para la validación experimental y fomentar la generación de hipótesis. Al mitigar los riesgos de alucinación inherentes a los LLM de propósito general y asegurar que los resultados estén fundamentados en la literatura recuperada específica, RAGulate ofrece un mecanismo confiable para navegar la compleja evidencia biomédica. El software y los tutoriales están disponibles para la comunidad para facilitar su adopción.