DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

Resumen Técnico: DrugAgent

Planteamiento del Problema
La evaluación de la interacción fármaco-objetivo (DTI, por sus siglas en inglés) es una tarea crítica en las etapas iniciales del descubrimiento de fármacos que requiere la síntesis de fuentes de datos heterogéneas: predicciones cuantitativas de modelos de aprendizaje automático (ML), relaciones curadas de grafos de conocimiento (KG) y hallazgos experimentales de la literatura científica. Estas fuentes suelen ser complementarias pero imperfectas. Los modelos de ML pueden carecer de calibración fuera de su distribución de entrenamiento; los KG pueden implicar conectividad sin una unión directa; y la evidencia en la literatura está distribuida de manera desigual y puede contener hallazgos contradictorios o específicos de un ensayo. Los enfoques actuales suelen depender de modalidades únicas (por ejemplo, predicciones numéricas de ML) o carecen de mecanismos para reconciliar explícitamente el acuerdo, el conflicto y la incertidumbre entre estas diversas procedencias. Existe la necesidad de un sistema que pueda integrar estas fuentes en una evaluación interpretable y fundamentada en la evidencia, en lugar de funcionar únicamente como un predictor independiente.

Metodología
Los autores presentan DrugAgent, un sistema multi-agente basado en modelos de lenguaje de gran tamaño (LLM) diseñado para integrar evidencia biomédica heterogénea para la evaluación de DTI. El sistema emplea un flujo de trabajo estructurado y modular que consta de cuatro componentes clave:

1. Agente Coordinador: Orquesta el flujo de trabajo, invocando agentes especializados y aplicando un esquema JSON compartido para sus salidas con el fin de garantizar un procesamiento descendente consistente.
2. Agentes de Evidencia Especializados:
   • Agente de ML: Utiliza un modelo DeepPurpose preentrenado (redes neuronales de paso de mensajes para fármacos, CNN para proteínas) entrenado en BindingDB para generar predicciones de afinidad cuantitativas (por ejemplo, pKd), las cuales se discretizan en etiquetas de actividad (Fuerte, Moderada, Débil).
   • Agente de KG: Construye un grafo de conocimiento heterogéneo que integra DrugBank, CTD y BindingDB. Realiza una búsqueda en anchura de múltiples saltos (profundidad máxima de 5) para encontrar rutas mecanísticas. Las rutas se califican según su longitud y una penalización por pasar a través de nodos "hub" de alto grado para reducir la conectividad no específica. El agente genera evidencia estructurada que incluye descripciones de rutas y puntuaciones de confianza.
   • Agente RAG (Generación Aumentada por Recuperación): Recupera artículos de texto completo de PubMed Central (Acceso Abierto) utilizando una estrategia de canales múltiples: consultas de pares fármaco-objetivo, consultas de solo fármaco y consultas de solo objetivo. Las consultas se enriquecen con terminología específica de ensayos (por ejemplo, IC50, Kd, inhibición). Los fragmentos recuperados se re-clasifican según el tipo de sección (favoreciendo los Resultados) y las co-menciones de entidades.
3. Agente de Razonamiento: Este módulo realiza la integración central en dos etapas:
   • Resumen Estructurado: Convierte las salidas de los agentes en una representación compartida, resumiendo explícitamente el acuerdo, el conflicto y la incertidumbre entre las fuentes.
   • Toma de Decisiones Guiada por Reglas: Aplica una lógica basada en prioridades (acuerdo de mayoría primero, luego resolución de empates) para generar una etiqueta final. Si las reglas no son concluyentes, se utiliza un fallback de LLM restringido. Este diseño separa la síntesis de evidencia de la decisión final para asegurar la interpretabilidad.

Contribuciones Clave

• Marco de Integración Multi-Agente: DrugAgent es el primer sistema que integra conjuntamente predicciones de ML, evidencia de rutas basadas en KG y recuperación de literatura mediante RAG en un proceso de razonamiento unificado y estructurado para DTI.
• Modelado Explícito de Conflicto: El sistema modela y resume explícitamente el acuerdo y el conflicto entre las fuentes de evidencia, en lugar de tratarlas como un único flujo de entrada.
• Interpretabilidad y Fidelidad: Al convertir las salidas de los agentes en representaciones estructuradas y utilizar la toma de decisiones guiada por reglas, DrugAgent proporciona razonamientos reproducibles que están fundamentados en la evidencia específica proporcionada, evitando la naturaleza de "caja negra" del razonamiento de un LLM sin restricciones.
• Evaluación de la Disponibilidad de Evidencia: El estudio analiza sistemáticamente cómo la disponibilidad de la literatura recuperada impacta en la plausibilidad biológica y la coherencia de los resultados del sistema.

Resultados
El sistema fue evaluado en dos benchmarks: un conjunto de datos de inhibición de quinasas (900 pares, 178 quinasas, 42 inhibidores) y un conjunto de datos de cribado de antagonistas del receptor de andrógenos (AR) de Tox21 (500 pares).

• Fidelidad: En las evaluaciones de LLM como Juez (LLMaJ), los resultados de DrugAgent fueron fieles a la evidencia de entrada en el 98.8% de los casos de quinasas, con puntuaciones altas en fundamentación y bajas tasas de afirmaciones no sustentadas.
• Plausibilidad Biológica: El 98.9% de los resultados de DrugAgent fueron juzgados como al menos plausibles. El sistema mostró una alta estabilidad, con un 98% de acuerdo en las etiquetas en ejecuciones repetidas.
• Dinámica de la Evidencia:
  • Resolución de Conflictos: Cuando las fuentes de evidencia entraban en conflicto, DrugAgent tendía a asignar etiquetas intermedias (por ejemplo, "Moderada") en lugar de extremas. En casos de conflicto total, el 68% de los resultados recibieron la etiqueta "Moderada".
  • Impacto de la Literatura: La presencia de literatura directa sobre el par fármaco-objetivo mejoró significamente la plausibilidad biológica y las puntuaciones de coherencia mecanística. Los sistemas sin RAG (por ejemplo, ML+KG) a veces produjeron puntuaciones de plausibilidad más altas, pero con una mayor tasa de resultados "contradictorios y no plausibles", lo que sugiere que la literatura actúa como una restricción de fundamentación crucial.
  • Desempeño Estratificado: Aunque el baseline de ML+KG funcionó de manera competitiva en el agregado, DrugAgent (incorporando RAG) superó a los baselines cuando la evidencia de literatura directa estaba disponible. Una estrategia híbrida (usar DrugAgent solo cuando existen artículos a nivel de par, de lo contrario ML+KG) logró los mejores resultados en el conjunto de datos de Tox21 (Precisión: 0.67, F1: 0.67).
• Controles de Sanidad: Las puntuaciones de plausibilidad no se correlacionaron directamente con las etiquetas de actividad de la verdad de campo (ground-truth), lo que indica que la plausibilidad refleja la coherencia del argumento dado la evidencia, más que una medida directa de la precisión predictiva.

Significancia y Reivindicaciones
Los autores posicionan a DrugAgent no como un predictor de DTI independiente destinado a superar a los modelos de ML especializados de forma aislada, sino como una herramienta complementaria para la integración de evidencia. La principal significancia radica en su capacidad para:

1. Proporcionar evaluaciones fundamentadas en evidencia heterogénea que sean interpretables y reproducibles.
2. Ofrecer estrategias para modelar el acuerdo, el conflicto y la incertidumbre en los datos biomédicos, abordando el desafío de reconciliar distintas modalidades y procedencias biológicas.
3. Demostrar que la literatura recuperada es más beneficiosa cuando existe evidencia directa, resaltando la importancia de la disponibilidad de evidencia para la integración basada en RAG.

El artículo concluye que, si bien el sistema mejora la fiabilidad e interpretabilidad, sigue siendo guiado por reglas en lugar de estar estadísticamente calibrado, y se requiere trabajo futuro para abordar los costos computacionales, las preocupaciones de fuga de datos en los componentes preentrenados y la generalización más amplia a través de pares fármaco-objetivo y clases de objetivos no vistos.