Resumen Técnico: Construcción Automática de Sistemas de Puntuación Clínica con Agentes LLM

Enunciado del Problema

La práctica clínica moderna depende de sistemas de puntuación compactos y basados en evidencia (por ejemplo, CURB-65, SOFA) compuestos por un pequeño número de reglas de decisión interpretables. Estos sistemas están diseñados para su ejecución en la cabecera del paciente, requiriendo memorabilidad, auditabilidad y operación sin ayudas computacionales. Sin embargo, muchos modelos de aprendizaje automático (ML) de alto rendimiento no logran traducirse al uso clínico rutinario porque no se alinean con estas restricciones de flujo de trabajo. A menudo dependen de entradas disponibles de manera inconsistente, requieren preprocesamiento complejo o producen cálculos de pesos continuos que son difíciles de ejecutar manualmente.

Los métodos automatizados existentes para aprender puntuaciones clínicas suelen enfrentar una "brecha de generación-selección". Enfoques como RiskSLIM u Optimal Checklists optimizan sobre una matriz de características fija y preconstruida. No pueden descubrir automáticamente reglas derivadas clínicamente significativas (por ejemplo, ratios fisiológicos, tendencias temporales o composiciones lógicas superficiales) a partir de variables crudas. En consecuencia, la carga de construir el espacio de hipótesis recae en la ingeniería manual de características, limitando la cobertura del espacio combinatorio de reglas que las guías clínicas consideran rutinariamente.

El desafío central es optimizar conjuntamente la construcción de reglas y la compatibilidad con listas de verificación dentro de una clase de modelo restringida (listas de verificación sin orden y con peso unitario) mientras se navega por un espacio de búsqueda discreto exponencialmente grande que es intratable para la enumeración exhaustiva o la optimización estándar basada en gradientes.

Metodología: AgentScore

Los autores presentan AgentScore, un marco que une los Modelos de Lenguaje Grande (LLM) y la optimización discreta para construir automáticamente sistemas de puntuación clínica desplegable. El sistema trata a los LLM no como tomadores de decisiones autónomos, sino como mecanismos de propuesta semántica estructurada incrustados dentro de un bucle de verificación determinista y fundamentado en datos.

1. Lenguaje de Reglas y Restricciones

AgentScore opera dentro de un lenguaje de reglas restringido y motivado clínicamente $\mathcal{R}$ que soporta:

• Umbral y rangos numéricos: Puntos de corte estándar (por ejemplo, $HR > 100$).
• Reglas de presencia categórica y binaria: Diagnósticos o comorbilidades.
• Ratios y contrastes fisiológicos: Índices derivados (por ejemplo, $HR/BP$).
• Reglas basadas en conteo: Criterios M de N (por ejemplo, criterios SIRS).
• Composiciones lógicas superficiales: Operaciones AND/OR de profundidad limitada para preservar la memorabilidad.
• Reglas temporales y distribucionales: Tendencias, deltas y umbrales basados en cuantiles derivados de datos longitudinales.

El modelo objetivo es una lista de verificación N de M con peso unitario: un conjunto disperso de reglas binarias $S$ donde la puntuación es el conteo de reglas satisfechas ($S(\tilde{x}) = \sum r_j(\tilde{x})$), y se toma una decisión si la puntuación supera un umbral $\tau$.

2. El Pipeline de AgentScore

El procedimiento de aprendizaje descompone el problema en tres etapas (Figura 2):

• Propuesta de Reglas (Agente LLM): Un LLM propone reglas candidatas basadas en una descripción del conjunto de datos y estadísticas agregadas proporcionadas a través de una interfaz de herramientas. Crucialmente, el LLM nunca observa registros a nivel de paciente, mitigando riesgos de privacidad y alucinaciones. Genera reglas JSON estructuradas que se adhieren a la gramática.
• Validación y Filtrado Determinista:
  • Filtrado Estadístico: Las reglas propuestas se evalúan en datos de prueba. Una regla se retiene solo si cumple un umbral mínimo de discriminación (por ejemplo, AUROC $\ge 0.60$) y pasa controles de redundancia (similitud de Jaccard en la cobertura de la clase positiva) frente al grupo actual.
  • Verificación de Plausibilidad Clínica: Un segundo agente LLM actúa como "autoverificación" para rechazar reglas que son estadísticamente válidas pero clínicamente sin sentido o semánticamente incoherentes.
• Ensamblaje de Puntuación (Agente LLM): Un tercer agente selecciona un subconjunto compacto de reglas del grupo retenido para formar la lista de verificación final. Este agente se guía para proponer combinaciones semánticamente diversas (por ejemplo, abarcando dominios respiratorio, cardiovascular y renal) en lugar de solo proxies estadísticamente similares.
• Refinamiento Iterativo: El agente de ensamblaje puede refinar iterativamente la lista de verificación, recibiendo retroalimentación sobre métricas de discriminación y cobertura, hasta que se cumple un criterio de parada. El umbral de decisión final $\tau$ se optimiza automáticamente (por ejemplo, maximizando la estadística J de Youden).

3. Objetivo de Optimización

El sistema busca maximizar la utilidad clínica empírica (por ejemplo, AUROC, beneficio neto) sujeto a restricciones estrictas:
$$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{sujeto a} \quad |S| \le m, \text{Profundidad}(r) \le d$$
Este es un problema combinatorio NP-duro y no diferenciable. AgentScore aborda esto utilizando al LLM para navegar la estructura semántica del espacio de reglas, aliviando el problema de "inicio en frío" de encontrar reglas de alta utilidad en un paisaje disperso, mientras que las herramientas deterministas aseguran la validez estadística y la capacidad de despliegue.

Contribuciones Clave

1. Conceptual: El artículo formaliza el aprendizaje de listas de verificación clínica desplegable como un problema de optimización combinatoria conjunta sobre la construcción de reglas y la selección de subconjuntos, en lugar de solo la selección sobre características fijas. Codifica explícitamente las restricciones cognitivas y operativas de la cabecera del paciente (memorabilidad, auditabilidad, uso sin aritmética) en la clase de hipótesis.
2. Algorítmica: AgentScore introduce un marco donde los LLM proponen candidatos semánticamente estructurados dentro de una gramática restringida, mientras que herramientas deterministas hacen cumplir la validez gramatical, el filtrado estadístico y el control de redundancia. Esta separación asegura que la puntuación final sea tanto interpretable como respaldada empíricamente.
3. Empírica: El método se evalúa en ocho tareas de predicción clínica (MIMIC-IV, eICU) y dos tareas de validación externa.

Resultados Experimentales

• Rendimiento Predictivo: En ocho tareas, AgentScore supera significativamente a las líneas base existentes de generación de puntuaciones (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) y iguala o supera a modelos interpretables flexibles (Regresión Logística, Árboles de Decisión) a pesar de operar bajo restricciones estructurales más estrictas (pesos unitarios, pequeños conteos de reglas).
• Competitividad con Guías: En configuraciones de validación externa (mortalidad en UCI PhysioNet 2012 y cohortes de fibrosis quística del Reino Unido/Canadá), AgentScore logró una mayor discriminación (AUROC) que las guías clínicas establecidas (SOFA, SAPS-I, guías de trasplante de CF) mientras permanecía adecuada para la ejecución manual.
• Desplegabilidad: Una revisión estructurada por 18 clínicos en ejercicio mostró una preferencia significativa por las listas de verificación generadas por AgentScore frente a las líneas base con pesos enteros (FasterRisk) en cuanto a alineación con el razonamiento estilo guía (85%), facilidad de aplicación en la cabecera del paciente (71%) y preferencia de despliegue (81%).
• Estudios de Ablación: Eliminar el bucle de propuesta-validación restringido (reemplazándolo con generación de LLM sin restricciones) causó una caída significativa en el rendimiento (d de Cohen $\approx 2.8$), confirmando la necesidad del bucle de verificación determinista.

Significado y Afirmaciones

El artículo argumenta que la brecha entre el rendimiento del ML y la adopción clínica no se debe a una potencia predictiva insuficiente, sino a la optimización sobre clases de modelos incompatibles con el despliegue de guías. AgentScore demuestra que la optimización semántica restringida, donde el diseño de la clase de hipótesis, la desplegabilidad y la verificación se tratan como preocupaciones de modelado de primera clase, puede producir modelos que son tanto altamente precisos como directamente ejecutables en la cabecera del paciente.

Los autores enfatizan que su enfoque no reemplaza las guías clínicas, sino que proporciona una vía para construir automáticamente sistemas de puntuación candidatos que se alinean con el uso estilo guía y son adecuados para validación prospectiva. El marco aborda barreras clave para la adopción clínica del ML, incluida la gobernanza de datos (al desacoplar a los LLM del acceso a datos crudos) y la brecha de "generación-selección" en el descubrimiento de reglas.

Limitaciones: Los autores señalan que AgentScore es menos expresivo que los modelos flexibles de caja negra y puede pasar por alto relaciones predictivas no semánticamente accesibles para el LLM. Prioriza la desplegabilidad sobre las garantías de optimización formal y no impone inherentemente restricciones de equidad, requiriendo auditoría externa. Los sistemas de puntuación son artefactos de investigación destinados a la validación, no al despliegue clínico inmediato.