Resumen Técnico: PhenoAgent

Planteamiento del Problema

La información sobre el fenotipo clínico se encuentra predominantemente embebida en registros electrónicos de salud (EHR) de texto libre no estructurado, lo que crea una barrera significativa para las consultas estructuradas destinadas a la selección de cohortes y el reclutamiento de ensayos clínicos. Si bien el fenotipado computacional es esencial para el uso secundario de los EHR (por ejemplo, investigación, mejora de la calidad), los métodos existentes enfrentan limitaciones:

• Las consultas estándar y la coincidencia de palabras clave tienen dificultades con los sinónimos, la negación y las expresiones contextuales complejas.
• Los métodos basados en reglas y diccionarios requieren una curación manual extensiva y carecen de flexibilidad para fenotipos compuestos ad-hoc (por ejemplo, "insuficiencia cardíaca tratada con ECMO").
• Los enfoques de aprendizaje automático (machine learning) a menudo dependen de un ajuste fino (fine-tuning) específico para cada tarea y de conjuntos de datos anotados, lo que limita su despliegue clínico rutinario.
• Los Modelos de Lenguaje de Gran Escala (LLM) generativos ofrecen una promesa, pero enfrentan restricciones prácticas en entornos clínicos, específicamente respecto a la privacidad del paciente (que limita el uso de APIs en la nube) y la necesidad de un despliegue local que preserve la privacidad dentro de los cortafuegos de los hospitales.
• Los contextos no ingleses, particularmente el texto clínico japonés, presentan desafíos únicos debido a múltiples sistemas de escritura, abreviaturas institucionales específicas y fraseología no segmentada, con menos recursos anotados disponibles en comparación con el inglés.

Metodología: Marco de Trabajo PhenoAgent

Los autores proponen PhenoAgent, un marco de trabajo de agentes basado en LLM, desplegable localmente, diseñado para recuperar fenotipos clínicos compuestos a partir de EHR en japonés de texto libre sin depender de servicios en la nube o anotaciones específicas de tareas.

1. Descomposición de Consultas Estructuradas

En lugar de procesar una consulta de lenguaje natural directamente contra un registro, PhenoAgent primero descompone una consulta clínica $Q$ en un esquema JSON estructurado $S_k$. Este esquema enumera los conceptos médicos constitutivos requeridos para responder a la consulta y asigna un campo Booleano a cada uno. Este paso restringe la tarea de extracción posterior y reduce la ambigüedad, permitiendo que el sistema maneque combinaciones complejas de diagnóstico, tratamiento y comorbilidad sin necesidad de un ajuste fino por cada consulta.

2. Evaluación Semántica con Autocorrección

El marco evalúa cada registro clínico $C$ contra el esquema $S_k$ utilizando LLMs de pesos abiertos (open-weight).

• Proceso: El modelo genera un objeto JSON que contiene valores binarios y racionales de texto libre para cada campo en el esquema.
• Validación: Las salidas se validan contra el esquema JSON requerido. Si la validación falla (por ejemplo, un JSON mal formado), el sistema activa un bucle de autocorrección, instando al mismo modelo nuevamente con un recordatorio de formato. Se permiten hasta dos reintentos (tres intentos en total).
• Respaldo (Fallback): Si no se obtiene una salida válida después de los reintentos, los campos no resueltos se establecen como negativos. Este mecanismo, inspirado en el marco Reflexion, resuelve la mayoría de las fallas de formato.

3. Votación de Consenso Unánime

Para asegurar la estabilidad y reducir las alucinaciones específicas del modelo, PhenoAgent emplea un conjunto de tres LLMs distintos de pesos abiertos: GPT-OSS-20B, DeepSeek-32B y Llama-3.1-Swallow-70B.

• Regla de Decisión: Un caso se clasifica como positivo solo cuando los tres modelos constitutivos están de acuerdo unánimemente en que cada campo requerido en el esquema es positivo.
• Racional: Esta regla de votación conservadora prioriza la precisión sobre la sensibilidad, filtrando predicciones inestables y asegurando que solo se acepten recuperaciones de alta confianza.

Detalles de Implementación

• Despliegue: Todo el flujo de trabajo se ejecuta localmente en una sola estación de trabajo (Apple M4 Max con 128 GB de memoria unificada) utilizando modelos cuantizados en 8 bits a través del framework MLX. No se realizan llamadas a APIs externas.
• Conjuntos de Datos: Evaluado en dos conjuntos de datos independientes de departamentos de emergencia japoneses:
  • TUH-DEM: 842 admisiones del Hospital de la Universidad de Tohoku (2022–2023).
  • OUH-DEM: 196 admisiones del Hospital de la Universidad de Okayama (2023–2024).
• Etiquetas de Referencia: La verdad de campo (ground truth) se estableció mediante la concordancia de dos médicos. Un registro se etiquetó como positivo solo si dos médicos especialistas en medicina de emergencias, ambos certificados, juzgaron que coincidía con la consulta.

Resultados Clave

Métricas de Desempeño

PhenoAgent fue comparado con tres líneas base de recuperación de información (Búsqueda por Palabras Clave, Búsqueda Semántica con expansión de ICD-10, BM25) y seis líneas base de un solo LLM.

• Puntuaciones Macro F1:
  • TUH-DEM (Interno): PhenoAgent logró un macro F1 de 71.6 (IC del 95% 66.5–75.7). Esto igualó el F1 de la concordancia entre médicos de 71.4 y superó a la mejor línea base de un solo LLM (GPT-OSS-20B con 67.3) y a las líneas base de recuperación de información (Búsqueda Semántica con 47.9) por 24–34 puntos.
  • OUH-DEM (Externo): PhenoAgent mantuvo un macro F1 de 71.1 (IC del 95% 68.6–73.8), demostrando generalizabilidad entre instituciones con diferentes prácticas de documentación. Superó a las líneas base de recuperación de información por 35–43 puntos.
• Acuerdo (Kappa de Cohen $\kappa$):
  • PhenoAgent logró valores de $\kappa$ de 0.69 (TUH-DEM) y 0.68 (OUH-DEM), significativamente superiores a la búsqueda por palabras clave ($\approx$0.38–0.44) y a las líneas base de un solo LLM (que variaron de 0.31 a 0.61).
• Compromiso Precisión-Sensibilidad:
  • PhenoAgent mantuvo una alta precisión (70.5% en TUH-DEM, 78.8% en OUH-DEM) comparable a la búsqueda por palabras clave, pero logró una sensibilidad sustancialmente mayor (76.5% frente al 34.0% de la búsqueda por palabras clave en TUH-DEM).
  • La estrategia de votación unánime resultó en un perfil de predicción conservador, priorizando las recuperaciones de alta confianza. Aunque los LLM individuales lograron una mayor sensibilidad en algunos casos de validación externa, la precisión de PhenoAgent se mantuvo robusta.

Observaciones Específicas

• Fenotipos Raros: El marco funcionó bien en fenotipos raros (prevalencia <5%), aunque el desempeño varió para condiciones clínicamente ambiguas como la sepsis, donde la evidencia suele ser implícita o inferida de trayectorias clínicas en lugar de términos explícitos.
• Autocorrección: El bucle de autocorrección resolvió entre el 84% y el 99% de las fallas de formato JSON, contribuyendo a una mejora de 1.3 puntos en el macro F1 en el conjunto de datos TUH-DEM.
• Selección de Modelos: El conjunto de modelos de propósito general (seleccionados mediante búsqueda exhaustiva) funcionó competitivamente contra modelos médicos especializados (ej. MedLLM-72B), sugiriendo que el seguimiento de instrucciones y la generación de salidas estructuradas son críticos para esta tarea.

Significado y Reivindicaciones

Los autores afirman que PhenoAgent demuestra que los flujos de trabajo de agentes de LLM pueden soportar la recuperación de fenotipos de manera flexible y preservando la privacidad a partir de EHR de texto libre en entornos clínicos no ingleses.

Las contribuciones clave destacadas incluyen:

1. Desplegabilidad Local: El marco opera enteramente dentro de entornos gestionados por hospitales utilizando modelos de pesos abiertos, abordando barreras críticas de privacidad del paciente, gobernanza de datos y restricciones de red.
2. Flexibilidad sin Ajuste Fino: Mediante el uso de la descomposición de consultas estructuradas, el sistema maneja fenotipos compuestos (diagnóstico + tratamiento/comorbilidad) sin requerir un ajuste fino por consulta o una ingeniería de ontologías extensiva.
3. Paridad de Desempeño con Expertos: El desempeño del sistema se acerca al nivel de consistencia entre evaluadores observado entre médicos humanos, lo que sugiere que puede servir como una herramienta confiable para la selección de cohortes de investigación clínica.
4. Robustez en Contextos No Ingleses: La aplicación exitosa a EHR en japonés valida el enfoque para entornos donde los conjuntos de datos anotados y los recursos de lenguaje clínico son limitados.

El artículo concluye que, si bien la regla de votación unánime crea un sistema orientado primero a la precisión (adecuado para la selección de cohortes de investigación, donde los falsos positivos aumentan la carga de revisión manual), el marco es modular. Puede adaptarse a diferentes equilibrios de precisión-sensibilidad (por ejemplo, mediante votación por mayoría) e incorporar modelos locales más fuertes a medida que estén disponibles, sirviendo como un puente práctico entre los avances de los LLM de propósito general y una infraestructura de investigación clínica confiable.