Who Benefits From Sinus Surgery? Comparing Generative AI and Supervised Machine Learning for Predicting Surgical Outcomes in Chronic Rhinosinusitis

Resumen Técnico: Comparación de la IA Generativa y el Aprendizaje Automático Supervisado para la Predicción de Resultados Quirúrgicos en la Rinosinusitis Crónica

Planteamiento del Problema
La rinosinusitis crónica (RSC) es una condición heterogénea donde los resultados de los pacientes tras la cirugía endoscópica de senos paranasales (CESP) varían significamente. Aunque las guías clínicas respaldan la cirugía para pacientes elegibles, predecir qué individuos lograrán una mejora significativa en la calidad de vida sigue siendo un desafío. El estudio aborda la necesidad de un soporte de decisión preoperatorio para identificar a pacientes con baja probabilidad de alcanzar la Diferencia Clínicamente Importante Mínima (MCID) en el Test de Resultados Sino-Nasales-22 (SNOT-22), definida como una reducción de ≥8.9 puntos a los seis meses. La pregunta central de investigación es si los modelos que utilizan únicamente datos clínicos preoperatorios pueden identificar retrospectivamente a pacientes que habrían tenido malos resultados (es decir, aquellos que deberían haber evitado la cirugía) y cómo se comparan los sistemas de IA Generativa (GenAI) con el Aprendizaje Automático (ML) supervisado tradicional en esta tarea predictiva específica.

Metodología
El estudio utilizó una cohorte de 524 pacientes recolectada prospectivamente y de múltiples centros que se sometieron a CESP, derivada de un estudio financiado por el NIH (NCT01332136). El conjunto de datos incluyó 50 atributos preoperatorios como demografía, comorbilidades, fenotipo (CRSwNP vs. CRSsNP), carga de enfermedad objetiva (puntuaciones de Lund–Mackay en TC, severidad endoscópica) y puntuaciones basales de SNOT-22.

• Procesamiento de Datos: Se excluyeron estrictamente las variables postoperatorias para evitar la fuga de datos (data leakage). Las características fueron armonizadas, codificadas de forma determinista y los valores faltantes se gestionaron mediante eliminación. El conjunto de datos se dividió en un conjunto de entrenamiento y prueba estratificado de 80/20.
• Líneas Base de ML Supervisado: Los autores evaluaron cinco clasificadores: Regresión Logística, Máquinas de Vectores de Soporte (SVM), Naïve Bayes, Random Forest y un Perceptrón Multicapa (MLP) personalizado. El MLP (una capa oculta, 400 neuronas) fue seleccionado como la principal línea base debido a su equilibrio superior entre precisión y recuperación de la clase minoritaria.
• Benchmarking de GenAI: Se probaron cinco modelos de lenguaje de gran escala (LLM) de vanguardia (ChatGPT/GPT-5 Thinking, MedGPT, Gemini 2.5 Pro, Perplexity Sonar, Claude Sonnet 4.5 y DeepSeek-V3.2) en un entorno zero-shot.
  • Protocolo: Los datos preoperatorios estructurados se serializaron en prompts. Los modelos fueron restringidos a emitir una recomendación binaria (0: cirugía no recomendada; 1: cirugía recomendada) y un nivel de confianza.
  • Estabilidad: Cada caso se ejecutó cinco veces con parámetros de decodificación fijos, y las predicciones se agregaron mediante voto de mayoría.
  • Análisis RAG: Se realizó un experimento de Generación Aumentada por Recuperación (RAG) con ChatGPT utilizando un corpus de guías de RSC para probar si el conocimiento externo mejoraba el rendimiento.
• Métricas de Evaluación: El rendimiento se evaluó mediante AUROC, puntuación F1, Precisión Promedio (AP), calibración (puntuación Brier, curvas de fiabilidad) y curva de beneficio neto de decisión. Se prestó especial atención a la detección de la clase minoritaria (no respondedores, Clase 0).

Resultos Clave

• Rendimiento de ML Supervisado: El MLP logró el mayor rendimiento general con una precisión del 85%, un AUROC de 0.66 y una puntuación F1 de 0.83. Crucialmente, demostró la mejor capacidad para identificar a los no respondedores (recuperación de la Clase 0 de 0.45) manteniendo una alta precisión para los respondedores.
• Rendimiento de GenAI: Todos los modelos de GenAI tuvieron un rendimiento inferior al MLP calibrado en términos de discriminación y calibración.
  • Discriminación: Las puntuaciones de AUROC para los modelos de GenAI oscilaron entre 0.36 (Perplexity) y 0.63 (Claude), todas inferiores al 0.66 del MLP.
  • Sesgo: La mayoría de los modelos de GenAI exhibieron un fuerte sesgo de "tratar a todos" (treat-all bias), fallando en la identificación de los no respondedores. Por ejemplo, MedGPT logró un 0% de recuperación para la clase de no respondedores (0/20), y Perplexity también alcanzó el 0%.
  • Impacto de RAG: La Generación Aumentada por Recuperación no mejoró la discriminación de ChatGPT (el AUROC se mantuvo en ~0.57) ni la detección de la clase minoritaria, lo que sugiere que el texto de las guías reitera heurísticas ya internalizadas por los modelos sin añadir una señal específica del paciente.
• Interpretabilidad y Alineación: A pesar de la menor precisión predictiva, los procesos de razonamiento de los modelos de GenAI se alinearon estrechamente con las heurísticas clínicas y la importancia de las características del MLP. Tanto los LLM como el MLP identificaron la puntuación basal de SNOT-22, la severidad de la TC/endoscopia, el fenotipo de pólipos y las comorbilidades psicosociales (ej. depresión, fibromialgia) como predictores críticos.

Contribuciones Clave

1. Primer Benchmark Integral de GenAI: Este trabajo proporciona la primera evaluación rigurosa y directa de múltiples sistemas de GenAI frente a modelos de ML tabular ajustados para la predicción de resultados quirúrgicos en RSC utilizando datos tabulares estructurados.
2. Protocolo de Evaluación Estandarizado: Los autores establecieron un marco reproducible para la evaluación "tabular-a-GenAI", incluyendo prompts zero-shot estandarizados, salidas binarias restringidas y pruebas de estabilidad mediante múltiples ejecuciones de muestreo.
3. Información sobre el Razonamiento de GenAI: El estudio revela que, si bien los modelos de GenAI carecen de la calibración y discriminación del ML supervisado para esta tarea específica, su lógica de decisión emergente refleja el razonamiento clínico experto y la importancia de las características de los modelos de ML de alto rendimiento.
4. Flujo de Trabajo Propuesto: El artículo propone un flujo de trabajo de "ML primero, GenAI aumentado". En este modelo, un clasificador de ML tabular calibrado realiza el triaje primario y la estimación de riesgo, mientras que la GenAI sirve como una capa secundaria para explicar las decisiones en lenguaje sencillo, mejorando la transparencia y la toma de decisiones compartida.

Significancia y Reivindicaciones
El artículo sostiene que, para tareas de predicción de datos clínicos tabulares preoperatorios estructurados, el ML supervisado calibrado sigue siendo superior a los sistemas actuales de GenAI en términos de discriminación, calibración y capacidad para identificar a los no respondedores de alto riesgo. Los autores argumentan que la GenAI no debe reemplazar al ML para el soporte de decisión primario en este contexto debido a su inestabilidad y tendencia hacia la sobre-recomendación. Sin embargo, el estudio destaca el valor único de la GenAI como un "explicador" que puede traducir predicciones de modelos complejos en razonamientos clínicamente familiares, apoyando así la transparencia y el compromiso del paciente. Los hallazgos sugieren que el camino óptimo es un enfoque híbrido que aproveche la fiabilidad del ML para la predicción y las fortalezas comunicativas de la GenAI para la explicación, en lugar de depender de la GenAI como un predictor independiente.