FastOMOP: A Foundational Architecture for Reliable Agentic Real-World Evidence Generation on OMOP CDM data

A continuación se presenta un resumen técnico detallado del artículo "FastOMOP: Una arquitectura fundamental para la generación fiable de evidencia del mundo real agéntica sobre datos OMOP CDM".

1. Planteamiento del Problema

La generación de Evidencia del Mundo Real (RWE) a partir de Registros Electrónicos de Salud (EHR) es actualmente un cuello de botella en la investigación clínica. Si bien el Modelo de Datos Común de la Asociación de Resultados Médicos Observacionales (OMOP CDM) ha armonizado datos para casi mil millones de pacientes en 83 países, la extracción de conocimientos sigue siendo un proceso artesanal y manual que requiere una experiencia poco común en epidemiología clínica, SQL y estadística.

Los intentos recientes de automatizar esto mediante Modelos de Lenguaje Grandes (LLM) y sistemas multiagente han revelado una brecha crítica de fiabilidad:

• Riesgos de Seguridad: Los sistemas agénticos exhiben comportamientos emergentes, fallos de coordinación y susceptibilidad a la inyección de prompts o alucinaciones.
• Falta de Gobernanza: Los enfoques existentes tratan la seguridad como un añadido (por ejemplo, instrucciones de prompts) en lugar de una restricción arquitectónica.
• La Brecha: No existe una infraestructura fundamental que garantice que la generación agéntica de RWE sea simultáneamente flexible, segura y auditable. Los modelos monolíticos actuales no proporcionan las garantías de seguridad deterministas requeridas para el despliegue clínico.

2. Metodología: La Arquitectura FastOMOP

FastOMOP es una arquitectura multiagente fundamental de código abierto diseñada para separar la gobernanza, la observabilidad y la orquestación de los equipos de agentes especializados que realizan las tareas reales.

Principios de Diseño Central

1. Separación de Responsabilidades: Las tareas complejas se descomponen en etapas auditable gestionadas por agentes especializados.
2. Seguridad por Diseño: La gobernanza es una restricción arquitectónica, no una capa opcional.
3. Principio de Mínimo Privilegio: Los agentes solo acceden a herramientas/datos a través del Protocolo de Contexto de Modelo (MCP), limitando el radio de explosión de los fallos.
4. Observabilidad Completa: Todos los pasos de razonamiento y las invocaciones de herramientas se capturan en registros de auditoría inmutables.

Tres Capas de Infraestructura Independientes

1. Capa de Gobernanza (El Límite de Seguridad):

   • Opera en el límite del proceso entre los agentes y los sistemas externos (bases de datos/herramientas).
   • Utiliza validación determinista y basada en reglas independiente del razonamiento del agente.
   • Los mecanismos incluyen: Lista blanca de operaciones, lista negra de operaciones peligrosas y aplicación de políticas institucionales.
   • Innovación Clave: Dado que la validación ocurre fuera del bucle de lógica del agente, un agente que alucina o está comprometido no puede eludir los controles de seguridad.

2. Capa de Observabilidad:

   • Captura trazas de ejecución completas (cadenas de razonamiento, llamadas a herramientas, transformaciones de datos).
   • Habilita la depuración sistemática, la evaluación comparativa programática y el cumplimiento normativo (HIPAA/GDPR).
   • Vincula las trazas a versiones específicas de prompts para la reproducibilidad.

3. Capa de Orquestación:

   • Gestiona la descomposición de tareas y la coordinación de agentes mediante un agente de planificación autónomo.
   • Construye flujos de trabajo dinámicamente basados en preguntas clínicas, mientras se adhiere a barreras estructurales (por ejemplo, requerir resolución semántica antes de la generación de SQL).
   • Preserva el contexto a través de flujos de trabajo de múltiples pasos para prevenir errores de reinterpretación.

Implementación de Prueba de Concepto (PoC)

Los autores validaron la arquitectura utilizando un Equipo de Agentes de Lenguaje Natural a SQL (NL2SQL):

• Agente de Planificación: Descompone tareas y sintetiza respuestas.
• Agente Semántico: Normaliza la terminología médica a IDs de Concepto OMOP (SNOMED, RxNorm, LOINC) utilizando herramientas MCP.
• Agente SQL: Genera consultas ejecutables contra tablas OMOP con lista blanca a través de un servidor MCP en un entorno aislado (sandbox).
• Pila Tecnológica: Python 3.13, framework Agno, Pydantic, FastMCP y framework Ibis.

3. Contribuciones Clave

1. Arquitectura Fundamental: Un diseño multiagente novedoso que desacopla el "esqueleto gobernable" (seguridad/auditoría) de los "equipos de agentes conectables" (capacidades).
2. Gobernanza en el Límite del Proceso: Un subsistema dedicado de validación basado en reglas que aplica políticas de seguridad independientemente del LLM, garantizando que ninguna consulta insegura pueda ejecutarse incluso si el agente alucina.
3. Trazabilidad de Extremo a Extremo: Un sistema que proporciona registros de auditoría completos para todo el ciclo de vida de la RWE, desde la solicitud del usuario hasta la ejecución final de SQL.
4. Cambio de Paradigma: Traslada la RWE agéntica de un problema puramente generativo a un sistema crítico de seguridad que requiere validación multinivel.

4. Resultados

La arquitectura fue evaluada en tres conjuntos de datos OMOP CDM: Synthea (sintético), MIMIC-IV (datos de UCI de EE. UU.) y IDRIL (datos reales del NHS, Reino Unido).

• Puntuaciones de Fiabilidad ($R_0$): FastOMOP logró altas puntuaciones de fiabilidad ajustadas por precisión de ejecución:
  • Synthea: 0.94
  • IDRIL: 0.865
  • MIMIC-IV: 0.84
• Métricas de Seguridad:
  • Tasa de Bloqueo Adversarial (ABR): 1.0 (el 100 % de las 20 consultas adversarias, por ejemplo, "Eliminar tabla", "Eliminar registros" o intentos de inyección de prompts, fueron bloqueadas con éxito).
  • Tasa de Bloqueo Fuera de Alcance (OBR): 1.0 (el 100 % de las 20 consultas no clínicas, por ejemplo, "Pronóstico del tiempo", fueron rechazadas correctamente).
• Tendencias de Rendimiento:
  • Alta precisión en consultas de un solo concepto y temporales.
  • La precisión disminuyó en consultas que involucraban tres o más conceptos debido a limitaciones de la ventana de contexto y la complejidad de múltiples llamadas a herramientas, lo que resalta una restricción actual de hardware/modelo en lugar de un fallo arquitectónico.

5. Significado y Conclusión

FastOMOP demuestra que la brecha de fiabilidad en la IA clínica es arquitectónica, no una limitación de la capacidad del modelo. Al hacer cumplir la seguridad en el límite del proceso mediante reglas deterministas, el sistema garantiza que, incluso si un LLM alucina, no puede ejecutar acciones inseguras.

• Escalabilidad: El diseño "conectable" permite que futuros equipos de agentes (por ejemplo, para fenotipado con ATLAS o análisis estadístico con HADES) hereden estas garantías de seguridad automáticamente sin reimplementar la infraestructura de seguridad.
• Hoja de Ruta Futura: Los autores planean integrar herramientas del ecosistema OHDSI (HADES, ACHILLES) como herramientas gobernadas y evolucionar la capa de orquestación para soportar tareas cognitivas proactivas y abiertas.
• Impacto: Este trabajo proporciona el sustrato de gobernanza necesario para escalar la IA agéntica en entornos clínicos, trasladando la generación de RWE de un proceso manual y artesanal hacia un flujo de trabajo fiable y semiautomatizado.

Disponibilidad: El código fuente es de código abierto en https://github.com/fastomop/agno_fastomop.