Performance and Failure Patterns of Multimodal Large Language Models for Hepatocellular Carcinoma Detection on Portal Venous Phase CT

Declaración del Problema

Aunque los modelos de lenguaje extensos (LLM) multimodales han demostrado competencia en tareas basadas en el lenguaje y en pruebas de referencia de razonamiento clínico, su capacidad para interpretar imágenes médicas sigue siendo inconsistente. Específicamente, la detección de carcinoma hepatocelular (CHC) en tomografía computarizada (TC) requiere una discriminación visual sutil, razonamiento espacial e integración del contexto clínico. Estudios previos sugieren que los modelos anteriores (por ejemplo, GPT-4) tienen dificultades para identificar enfermedades hepáticas comunes en TC, rindiendo a menudo significativamente peor que los radiólogos entrenados. Existe una falta de estudios de referencia estandarizados que comparen directamente los LLM multimodales más nuevos y avanzados contra lectores humanos bajo condiciones idénticas y controladas utilizando imágenes clínicas reales.

Metodología

El estudio empleó un diseño retrospectivo para evaluar el rendimiento diagnóstico de los LLM multimodales actuales frente a expertos humanos en una tarea visual restringida.

• Conjunto de datos: El estudio utilizó 211 imágenes de TC de fase venosa portal de un solo corte: 106 imágenes que contenían lesiones de CHC confirmadas patológicamente (del conjunto de datos HCC-TACE-SEG) y 105 imágenes de hígados normales (del conjunto de datos CPTAC-UCEC).
• Estandarización de imágenes: Para evitar la fuga de datos (dataset leakage) y el aprendizaje por atajos (shortcut learning), todas las imágenes se convirtieron a un formato PNG estandarizado (512 × 512 píxeles) con configuraciones de ventana fijas (WW 400, WL 50). Se eliminaron todos los metadatos DICOM, identificadores institucionales y anotaciones. No se proporcionaron máscaras de segmentación ni marcadores de lesión.
• Modelos evaluados: Se probaron cuatro LLM multimodales en condiciones de cero disparos (zero-shot, sin ajuste fino):
  • ChatGPT-4o (diciembre de 2024)
  • ChatGPT-4.5 (febrero de 2025)
  • Perplexity AI (configurado con GPT-4.1, mayo de 2025)
  • ChatGPT-5.1 (diciembre de 2025)
• Estrategia de prompting:
  • Ejecución 1 (Línea base): Todos los modelos recibieron un prompt estandarizado sin contexto adicional.
  • Ejecución 2 (Guía anatómica): ChatGPT-5.1 fue reevaluado con un prompt de "orientación anatómica" específico añadido a la primera entrada de imagen, instruyendo al modelo para que se concentrara en la ubicación del hígado en relación con el pulmón y la orientación de la imagen. Las imágenes subsiguientes en la sesión siguieron sin este estímulo específico.
• Lectores humanos: Un radiólogo sénior (15 años de experiencia) y un becario de imagen abdominal conformaron el grupo de control humano, recibiendo las mismas imágenes estáticas y las mismas instrucciones de la tarea.
• Evaluación: Los resultados se calificaron como decisiones binarias (presencia o ausencia de lesión focal). Se calcularon las métricas de rendimiento (sensibilidad, especificidad, precisión) y se realizaron comparaciones estadísticas mediante la prueba de McNemar con corrección de Bonferroni. Se realizó un análisis de errores en los casos clasificados erróneamente para identificar patrones de falla.

Resultados Clave

• Rendimiento Humano: Ambos lectores humanos superaron a todos los LLM multimodales. El radiólogo sénior logró un 100% de sensibilidad y un 91.5% de precisión. El becario logró un 98.1% de sensibilidad y un 91.0% de precisión.
• Mejor LLM con mayor rendimiento: ChatGPT-5.1 con el prompt de guía anatómica (Ejecución 2) fue el modelo con mejor desempeño, logrando:
  • Sensibilidad: 79.2%
  • Especificidad: 87.6%
  • Precisión: 83.4%
  • Este rendimiento fue significativamente mayor que el de todos los demás LLM probados (p < 0.05), pero se mantuvo significativamente inferior al de ambos lectores humanos (p < 0.05).
• Impacto de la ingeniería de prompts: Añadir un único prompt de orientación anatómica a ChatGPT-5.1 resultó en mejoras significativas respecto a su línea base (Ejecución 1):
  • La sensibilidad aumentó en 12.2 puntos porcentuales (67.0% → 79.2%).
  • La especificidad aumentó en 6.6 puntos porcentuales (81.0% → 87.6%).
  • La precisión aumentó en 9.5 puntos porcentuales (73.9% → 83.4%).
• Variabilidad de los modelos: El rendimiento varió significativamente entre los modelos. ChatGPT-4.5 tuvo una alta sensibilidad (79.2%) pero una baja especificidad (50.5%). ChatGPT-4o tuvo una alta especificidad (90.5%) pero una baja sensibilidad (43.4%).

Análisis de Patrones de Falla

El estudio identificó modos de error distintos tanto para el LLM con mejor desempeño como para los lectores humanos:

• Falsos Negativos (Lesiones de CHC omitidas): La causa principal para el LLM fueron las lesiones isoatenuantes (lesiones con densidad similar al tejido hepático circundante), que representaron el 36.4% de los errores del LLM. Otras causas incluyeron lesiones grandes y heterogéneas, lesiones en el borde/fisura del hígado y lesiones que imitan estructuras gastrointestinales. Notablemente, una lesión isoatenuante fue omitida tanto por el LLM como por el becario.
• Falsos Posografos (Hígados normales marcados como CHC): La causa más común tanto para los LLM como para los humanos fue la identificación errónea de vasos (por ejemplo, cortes transversales de venas porta o venas hepáticas confundidos con lesiones).
  • Los LLM mostraron menos falsos positivos debido a artefactos técnicos (promedio de volumen parcial) en comparación con los humanos.
  • Sin embargo, el LLM exhibió errores específicos de la IA, como una dependencia excesiva de los umbrales de densidad, que no se correlacionan con los patrones de razonamiento humano.

Significancia y Reivindicaciones

Los autores concluyen que, si bien los LLM multimodales están mejorando rápidamente, actualmente carecen de la capacidad de detección de lesiones visuales requerida para el diagnóstico clínico independiente de CHC en imágenes de TC de un solo corte.

• Estado actual: El mejor modelo (ChatGPT-5.1 con aumento de prompt) logró una especificidad alta comparable a la de los radiólogos, pero una sensibilidad significativamente menor.
• Sensibilidad al Prompt: El estudio demuestra que el rendimiento de los LLM en imágenes médicas es altamente sensible a la contextualización del prompt y a la orientación anatómica. La guía simple puede generar ganancias sustanciales de rendimiento.
• Rol en el flujo de trabajo clínico: El artículo argumenta que estos modelos no deben verse como herramientas de diagnóstico autónomas. En cambio, se consideran mejor como herramientas de investigación o complementos para la generación de hipótesis y la educación, lo que requiere un diseño de prompts meticuloso, una evaluación rigurosa y una supervisión humana estricta.
• Limitaciones: Los autores reconocen que el estudio fue una "prueba de estrés" utilizando imágenes de un solo corte y una sola fase, lo que no refleja la naturaleza multifásica y de múltiples cortes de un diagnóstico de CHC en el mundo real. En consecuencia, los resultados probablemente subestiman el potencial de rendimiento tanto de los humanos como de la IA en un flujo de trabajo clínico completo.

El artículo enfatiza que las métricas de rendimiento resumidas por sí solas son insuficientes; comprender los patrones de falla específicos (como la isoatenuación y la confusión vascular) es esencial para el desarrollo futuro y la integración segura en los flujos de trabajo de radiología.