Resumen Técnico: DrugClaw y DrugAudit

Declaración del Proble de Problema

El cuestionamiento de preguntas y respuestas (QA) sobre información de fármacos opera en un entorno de alto riesgo donde los hechos alucinados pueden inducir erróneamente la toma de decisiones clínicas. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) demuestran un fuerte conocimiento biomédico general, su conocimiento paramétrico se degrada rápidamente fuera de las áreas de enfermedades con altos recursos, y carecen de pistas de auditoría nativas hacia fuentes reguladoras o revisadas por pares. Además, los agentes existentes aumentados por herramientas suelen fallar al saltarse las fuentes primarias reguladoras en favor de la primera URL disponible o al fabricar numéricos que parecen plausibles pero carecen de citas.

Existe una brecha crítica en la capa de evaluación: la puntuación de QA biomédica actual suele calificar la corrección superficial de la respuesta, pero no logra distinguir entre las citas a fuentes primarias ascendentes (por ejemplo, etiquetas de la FDA, FAERS) y los envoltorios agregadores descendentes de esas mismas fuentes. En entornos regulados de información sobre fármacos, la procedencia no es simplemente una elección de presentación, sino un eje de evaluación fundamental.

Metodología

El Sistema DrugClaw

DrugClaw es un sistema multi-agente de recuperación aumentada diseñado para consultar un registro de habilidades de fármacos y farmacovigilancia a través de un flujo de trabajo de máquina de estados impulsado por reflexión. Su arquitectura se basa en tres objetivos de diseño:

1. Trazabilidad de la fuente primaria: Cada afirmación emitida debe portar un identificador resoluble contra un registro regulatorio primario o revisado por pares.
2. Abstención calibrada: El sistema debe negarse a responder cuando las habilidades subyacentes no devuelven evidencia de soporte, en lugar de fabricar hechos.
3. Profundidad de recuperación adaptativa: El bucle de recuperación y razonamiento termina una vez que la evidencia es suficiente, pero se profundiza automáticamente cuando la evidencia es escasa.

Arquitectura y Flujo de Trabajo:
El sistema opera como un sistema dinámico discreto sobre un estado $S_t = (P_t, E_t, G_t, a_t, r_t)$, donde $P_t$ es el plan de consulta, $E_t$ es el conjunto de evidencia, $G_t$ es un subgrafo de afirmación-evidencia, $a_t$ es la prosa de respuesta intermedia y $r_t$ es una puntuación de suficiencia de reflexión. El flujo de trabajo itera a través de seis agentes especializados (Plan, Recuperación, Constructor de Grafos, Re-clasificador, Respuesta, Reflector) hasta que $r_t \geq \tau_{suff}$ o se alcanza un recuento máximo de iteraciones.

• Registro de Habilidades: DrugClaw accede a un registro cerrado de 57 habilidades activas extraídas de más de 70 recursos curados (por ejemplo, openFDA, ChEMBL, DrugBank, PharmGKB, SIDER). Estos están organizados en una taxonomía de 15 subcategorías.
• Agente de Código en Sandbox: Para garantizar la seguridad y el determinismo, la recuperación es mediada por un Agente de Código. Este agente traduce las subconsultas en un sublenguaje Python restringido ($L_{safe}$) que prohíbe la iteración ilimitada y la ejecución dinámica. El código se ejecuta en un sandbox de solo proxy con un tiempo de espera estricto. Si la validación o el tiempo de ejecución fallan, el sistema recurre a una llamada directa a la API.
• Mecanismo de Reflexión: El agente Reflector calcula una puntuación de suficiencia $\rho_{t+1}$ basada en la cobertura, completitud, calidad de la fuente, consistencia y accionabilidad. Se aplica una penalización de regresión si la nueva puntuación es menor que la anterior, para desalentar el "vaivén" (thrashing) entre iteraciones.
• Modos de Razonamiento: El sistema soporta tres modos:
  • Lineal: Un flujo de trabajo de una sola pasada que prioriza la baja latencia.
  • Grafo: Un flujo de trabajo iterativo completo con construcción de grafo de afirmación-evidencia y re-clasificación.
  • Solo Web: Un modo de respaldo que evita el registro para realizar búsquedas web directas (usado solo cuando el registro es insuficiente).

El Benchmark DrugAudit

Para evaluar estos sistemas, los autores introducen DrugAudit, un benchmark de 3,772 elementos consciente de la autoridad derivado de nueve bases de datos de origen. A diferencia de los benchmarks estándar, DrugAudit incluye citas de oro con localizadores de nivel de campo y URLs.

Panel de Métricas Conscientes de la Autoridad:
El marco de evaluación introduce cuatro métricas para abordar los sesgos estructurales en puntuaciones previas:

1. Coincidencia de Autoridad de la Fuente: Utiliza una regla de cubeta de equivalencia y una relación asimétrica de "ascendente de" (upstream-of). Otorga crédito si un sistema cita una fuente primaria ascendente (por ejemplo, FAERS) incluso si el estándar de oro cita un agregador descendente (por ejemplo, SIDER), siempre que la fuente ascendente sea autoritativa para esa consulta.
2. Solapamiento Semántico de Fragmentos: Reemplaza la coincidencia estricta de subcadenas con la similitud de Jaccard de tokens sobre tokens que no sean palabras de parada (stop-words).
3. Tasa de Fuente Primaria: Calcula el peso medio de las fuentes citadas basándose en una jerarquía (1.0 para regulatorio/revisado por pares, 0.7 para bases de conocimiento curadas, 0.5 para agregadores).
4. Tasa de Fidelidad: Mide la fracción de las citas predichas que están fundamentadas en el universo de la fuente de oro o en el texto de la respuesta.

Protocolo de Evaluación:
El artículo emplea un protocolo de doble juez LLM-como-juez utilizando Llama-3.1-70B-Instruct y gpt-oss-120b. Estos jueces son externos a todos los sistemas candidatos para eliminar el sesgo de auto-preferencia. Califican la corrección de la respuesta basándose en reglas de equivalencia fáctica (conversión de unidades, tolerancia de redondeo, insensibilidad al orden) y lógica de rechazo calibrada. El acuerdo entre jueces ($\kappa$) reportado es de 0.88 (casi perfecto).

Contribuciones Clave

1. DrugClaw: Un sistema multi-agente basado en la autoridad que consulta un registro cerrado de fuentes reguladoras y revisadas por pares verificadas, asegurando que cada afirmación sea trazable a un registro primario.
2. DrugAudit: Un benchmark de 3,772 elementos con un panel de evaluación que califica explícitamente la coincidencia de la fuente ascendente del estándar de oro, el solapamiento semántico de tokens y la fidelidad de la cita.
3. Protocolo de Doble Juez: Un método de evaluación escalable utilizando dos LLMs de pesos abiertos independientes para lograr un acuerdo casi perfecto ($\kappa = 0.88$) sobre la corrección de la respuesta.
4. Resultados Empíricos: Comparación exhaustiva de siete sistemas, demostrando que DrugClaw supera a los baselines en tasas de fuente primaria y densidad de evidencia.

Resultados

Evaluado en DrugAudit, MedQA (subconjunto relacionado con fármacos, 751 ítems) y PubMedQA (subconjunto relacionado con fármacos, 512 ítems), DrugClaw alcanzó el rendimiento de primer nivel (top-1) en todas las métricas principales:

• Tasa de Fuente Primaria: DrugClaw-graph logró 0.918, una mejora de 10.1 puntos porcentuales (pp) sobre el siguiente mejor sistema (0.817).
• Fidelidad: DrugClaw-linear logró 0.887, una mejora de 5.9 pp sobre el siguiente mejor.
• Índice de Evidencia Compuesto (EI): DrugClaw-graph obtuvo 0.632 (juez Llama) y 0.623 (juez gpt-oss), liderando todos los baselines.
• Precisión de Forma Cerrada: DrugClaw-graph logró 0.920 en MedQA y 0.693 en PubMedQA.
• Rechazo Calibrado: DrugClaw se negó a responder en el 41–48% de los ítems. Entre estos rechazos, el 91–97% se alineó con las respuestas de oro que indicaban "sin datos", mientras que los baselines mostraron solo un 1–5% de alineación. Esto indica que el sistema se abstiene efectivamente cuando la evidencia es insuficiente.

Los resultados muestran que, si bien los líderes en precisión de forma cerrada fueron competitivos (dentro de los intervalos de confianza de bootstrap de los baselines), las métricas conscientes de la autoridad (tasa de fuente primaria e índice de evidencia) mostraron una separación estadísticamente significativa de los baselines.

Significancia

El artículo afirma que DrugClaw y DrugAudit abordan la necesidad crítica de procedencia en el QA de información sobre fármacos. Al distinguir entre registros reguladores primarios y agregadores descendentes, el sistema operacionaliza los estándares de la medicina basada en la evidencia. Los resultados sugieren que un enfoque de registro cerrado con recuperación adaptativa y rechazo calibrado produce una mayor calidad estructural en las citas y menores tasas de alucinación en comparación con los enfoques de web abierta o puramente paramétricos. El protocolo de doble juez y las métricas conscientes de la autoridad proporcionan un marco robusto para evaluar futuros sistemas de recuperación aumentada en dominios regulados.

Los autores señalan limitaciones, incluyendo la dificultad de procesar la prosa de múltiples afirmaciones desde el modo de grafo para los jueces LLM, y el compromiso de cobertura inherente a un registro cerrado (que puede omitir fármacos de la "larga cola" aún no presentes en el registro). Sin embargo, sostienen que el enfoque no requiere el reentrenamiento de modelos y ofrece un camino concreto hacia una IA clínica más auditable.