Resumen Técnico: ClaMPAPP – Un sistema híbrido LLM–ML para la apendicitis pediátrica

Planteamiento del problema

La integración de la Inteligencia Artificial en el soporte de decisiones clínicas para la apendicitis pediátrica enfrenta una dicotomía fundamental. Los modelos de Aprendizaje Automático (ML) supervisados, entrenados con datos clínicos estructurados (p. ej., valores de laboratorio, mediciones de ultrasonido), ofrecen una predicción de riesgo robusta y determinista, pero tienen dificultades para interactuar con la naturaleza no estructurada y narrativa de la documentación clínica del mundo real. Por el contrario, los Modelos de Lenguaje de Gran Escala (LLM) sobresalen en la interpretación de narrativas de texto libre, pero presentan problemas críticos de fiabilidad cuando se utilizan como motores diagnósticos independientes. Estos problemas incluyen la sensibilidad a la formulación de los prompts, el sesgo posicional (orden de la información) y la generación de salidas que son "alucinadas" pero suenan plausibles. En entornos de triaje agudo de alto riesgo, como la apendicitis pediátrica, el riesgo de falsos negativos (diagnósticos omitidos) es una preocupación primordial de seguridad, lo que hace inaceptable la inestabilidad del diagnóstico de extremo a extremo mediante LLM.

Metodología: La arquitectura ClaMPAPP

Para abordar la brecha entre la usabilidad del lenguaje natural y la fiabilidad diagnóstica, los autores proponen ClaMPAPP (Clinical Language-assisted Machine-learning Pipeline for Appendicitis). Este sistema híbrido reasigna el rol del LLM de decisor a interfaz, delegando la predicción de riesgo final a un modelo de ML supervisado. El proceso consta de cuatro etapas secuenciales:

1. Extracción de características basada en LLM: Un LLM (específicamente Llama-3.1-8B en la fase de reescritura) procesa narrativas clínicas no estructuradas similares a notas. En lugar de generar un diagnóstico, el LLM está restringido mediante el uso de herramientas (tool calling) para realizar un análisis semántico, mapeando el texto libre en una representación estructurada con esquema restringido (JSON) que contiene demografía, puntuaciones clínicas (Alvarado, PAS), síntomas, variables de laboratorio y hallazgos de ultrasonido.
2. Validación determinista de características: Una puerta de seguridad valida las características extraídas frente a restricciones de plausibilidad fisiológica y clínica predefinidas (p. ej., $0 \le \text{Edad} \le 18$, $35.0 \le \text{Temperatura} \le 42.0^\circ\text{C}$). Los valores que violan estos límites se mapean como valores faltantes (NaN) en lugar de ser recortados, evitando la introducción de entradas sesgadas. Este paso asegura que solo los datos clínicamente plausibles entren al predictor.
3. Predicción de riesgo: El vector de características validado se pasa a un clasificador XGBoost entrenado con variables clínicas, de laboratorio y de ultrasonido estructuradas. Se seleccionó XGBoost por su capacidad para manejar datos faltantes de forma nativa y su fuerte rendimiento en tareas de clasificación clínica. El modelo emite una puntuación de riesgo de apendicitis continua.
4. Generación de informes: El LLM actúa como un resumidor clínico, contextualizando la puntuación de riesgo de XGBoost y las características extraídas en un informe estructurado para los clínicos, utilizando un lenguaje de triaje no prescriptivo (p. ej., "Riesgo alto: considerar consulta quirúrgica") sin emitir directrices diagnósticas definitivas.

Generación de datos y evaluación:
Para permitir una evaluación controlada con la verdad de referencia (ground truth) preservada, los autores sintetizaron narrativas tipo nota a partir de datos estructurados de Registros Médicos Electrónicos (EHR) utilizando un renderizado basado en plantillas seguido de una reescritura por LLM. Este enfoque permitió la creación de narrativas "permutadas" donde el orden de la información se intercambió para probar la robustez contra el sesgo posicional, una vulnerabilidad conocida de los LLM.

El sistema fue evaluado en dos cohortes retrospectivas independientes de hospitales alemanes:

• Cohorte interna (Regensburg): 782 pacientes (580 de entrenamiento, 202 de prueba).
• Cohorte externa (Düsseldorf): 301 pacientes (utilizada exclusivamente para validación externa).

Contribuciones clave

El artículo describe tres contribuciones principales:

1. Reposicionamiento del LLM: El marco restringe al LLM a un rol de extracción de características e interfaz en lugar de una clasificación diagnóstica directa. Esto hace que la predicción final sea determinista, transparente y auditable al depender de un modelo de ML validado para la estimación del riesgo.
2. Rendimiento orientado a la seguridad: ClaMPAPP demuestra un intercambio sensibilidad-especificidad superior en comparación con los baselines de LLM independientes. Reduce significativamente los falsos negativos (casos de apendicitis omitidos), que es la métrica de seguridad crítica en el triaje agudo.
3. Robustez ante perturbaciones narrativas: A través de experimentos de permutación del orden de las oraciones, el estudio muestra que, mientras que los baselines de LLM de extremo a extremo sufren una degradación significativa del rendimiento debido al sesgo posicional, la arquitectura híbrida de ClaMPAPP permanece comparativamente estable.

Resultados experimentales

El sistema fue comparado con un espectro de LLMs (incluyendo OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7 y modelos de código abierto como MedGemma y Llama-3.1) y modelos de ML tradicionales.

• Desempeño diagnóstico:

  • Validación interna (Regensburg): ClaMPAPP logró la mayor precisión (85.1%) y puntuación F1 (84.8%) con una sensibilidad de 97.7%, omitiendo solo 2 casos confirmados. En contraste, los LLM independientes mostraron intercambios inestables; por ejemplo, MedGemma-4b-it tuvo una alta especificidad pero omitió 40 casos (sensibilidad 53.5%), mientras que OASST-Pythia-12b omitió solo 1 caso pero tuvo una tasa de falsos positivos de 113 (especificidad 2.6%).
  • Validación externa (Düsseldorf): ClaMPAPP mantuvo la mayor precisión (80.7%) y puntuación F1 (0.881) con una sensibilidad de 93.5%, omitiendo 15 casos. Superó a todos los baselines en la minimización de diagnósticos omitidos, mientras que modelos como OpenAI GPT-5.5 omitieron 78 casos a pesar de tener una mayor especificidad.

• Análisis de robustez:

  • Bajo la permutación del orden de las oraciones (intercambiando la primera y la segunda mitad de la narrativa), los baselines de puro LLM exhibieron un colapso significativo del rendimiento. Por ejemplo, la precisión de Llama-3.1-8b cayó a 0.475, y la sensibilidad de MedGemma-4b-it se desplomó a 0.128.
  • ClaMPAPP demostró una alta robustez arquitectónica, manteniendo una sensibilidad perfecta (1.000) internamente y 0.926 externamente bajo permutación, con solo una disminución menor en la precisión (5.2%).

• Calibración:

  • Aunque ClaMPAPP mostró una excelente discriminación (AUC interno = 0.982; AUC externo = 0.804), la calibración de la probabilidad bruta fue imperfecta. La recalibración logística post-hoc exploratoria mejoró las métricas de calibración (p. ej., reduciendo el Brier score y el ECE) sin alterar el rendimiento de clasificación, lo que sugiere que la descalibración se debió a un desajuste en la escala de probabilidad más que a una mala capacidad predictiva.

Significado y afirmaciones

El artículo afirma que el paradigma "LLM-como-interfaz, ML-como-predictor" ofrece una vía más auditable y orientada a la seguridad para el soporte de decisiones clínicas que el diagnóstico generativo sin restricciones. Al separar la usabilidad del lenguaje natural de la inferencia predictiva, el sistema aprovecha la utilidad clínica de los LLM para la extracción de datos mientras confía en modelos de ML validados y deterministas para el paso crítico de la decisión.

Los autores enfatizan que ClaMPAPP está diseñado como un auxiliar de estratificación de riesgo orientado al triaje, no como una prueba diagnóstica independiente. Su valor principal reside en minimizar los diagnósticos omitidos (falsos negativos) en entornos agudos. El estudio concluye que, si bien los LLM de extremo a extremo son actualmente inadecuados para decisiones diagnósticas de seguridad crítica debido a su inestabilidad y riesgos de alucinación, los sistemas híbridos pueden tender eficazmente el puente entre la documentación narrativa y los modelos predictivos estructurados. Los autores señalan que este patrón de integración es transferible a otros domos médicos donde coexisten predictores tabulares validados y documentación narrativa, aunque advierten que es necesaria la validación prospectiva en flujos de trabajo del mundo real antes de su despliegue clínico.