Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

Este estudio evalúa la sensibilidad de once modelos fundacionales para la segmentación de imágenes médicas de musculo-esqueléticas, revelando que el rendimiento varía significativamente según la estrategia de prompt y la anatomía, y que el uso de prompts humanos reduce el rendimiento en comparación con los prompts ideales, lo que complica la selección del modelo óptimo para entornos clínicos reales.

Lo esencial

¡Hola! Imagina que acabamos de descubrir un nuevo tipo de "superpintor" para la medicina. Estos pintores son Modelos Fundacionales (IA muy avanzadas) que pueden dibujar los huesos y los implantes metálicos dentro de una tomografía computarizada (CT) de un paciente.

El problema es que, hasta ahora, nadie sabía muy bien cómo se comportaban estos pintores cuando les pedía ayuda una persona real (un médico o un estudiante) en lugar de un robot perfecto.

Aquí te explico lo que descubrieron los autores de este estudio, usando analogías sencillas:

1. El Problema: Los "Pintores" vs. El "Lápiz Perfecto"

Imagina que tienes un grupo de pintores de IA muy talentosos. Para probarlos, los científicos les dieron un "pincel mágico" que siempre señala exactamente el centro del hueso y dibuja un cuadro perfecto alrededor de él. Con este pincel mágico (llamado prompt de referencia), los pintores hacían un trabajo increíble.

Pero, en la vida real, los médicos no tienen pinceles mágicos. Tienen dedos humanos. A veces un médico señala un poco a la izquierda, a veces hace el cuadro un poco más grande o más pequeño, y a veces se equivoca un poco.

La pregunta clave del estudio: ¿Qué pasa cuando le quitamos el pincel mágico a la IA y le damos un lápiz humano? ¿Siguen siendo buenos pintores o se confunden?

2. La Prueba: Un concurso de dibujo con estudiantes

Para averiguarlo, los investigadores organizaron un "concurso de dibujo" en el hospital.

• Los participantes: 20 estudiantes de medicina (no eran expertos radiólogos, pero sabían lo básico).
• La tarea: Tuvieron que señalar huesos en la muñeca, la pierna, el hombro y la cadera usando dos herramientas: un punto (como si señalaran con el dedo) o un cuadro (como si hicieran un recuadro con el dedo).
• El reto: Tuvieron que hacer esto muchas veces, incluso repitiendo los mismos dibujos sin darse cuenta, para ver si eran consistentes.

Lo que descubrieron sobre los humanos:

• Los huesos redondos y fáciles (como los de la muñeca) fueron fáciles de señalar. Todos los estudiantes lo hicieron casi igual.
• Los huesos complejos (como la pelvis o la tibia con un implante metálico) fueron un caos. ¡Cada estudiante dibujó el cuadro en un lugar diferente! Fue como pedirle a 20 personas que dibujen el contorno de una nube: cada uno lo vio de forma distinta.

3. La Sorpresa: La IA es muy "delicada"

Aquí viene la parte más importante. Los investigadores tomaron a los mejores pintores de IA (los que habían ganado con el pincel mágico) y les dieron los dibujos hechos por los estudiantes.

El resultado fue una decepción:

• Cuando la IA usó los dibujos de los estudiantes, su rendimiento bajó.
• La analogía: Imagina un Ferrari (la IA) que corre a 300 km/h en una pista de carreras perfecta (el pincel mágico). Pero si le pones un volante que gira un poco más de lo que el conductor espera (el lápiz humano), el coche se desvía y pierde velocidad.
• Conclusión: Las pruebas que dicen que estas IAs son "perfectas" a menudo mienten, porque usan datos ideales que nadie humano puede replicar. En la vida real, la IA es mucho más sensible a pequeños errores humanos de lo que pensábamos.

4. ¿Quién fue el ganador?

A pesar de la sensibilidad, algunos modelos se portaron mejor que otros:

• En 2D (dibujando en una sola imagen): Los modelos SAM y SAM2.1 fueron los mejores, como si fueran los pintores más rápidos y precisos.
• En 3D (dibujando en todo el volumen del hueso): Los modelos nnInteractive y Med-SAM2 ganaron.
• El modelo más resistente: El modelo nnInteractive fue el que mejor aguantó cuando los estudiantes hacían sus dibujos un poco diferentes. Fue como si tuviera un "volante de dirección" más estable que no se desviaba tanto con pequeños movimientos.

5. La Lección para el Futuro

El estudio nos deja un mensaje muy claro: No podemos confiar ciegamente en las pruebas de laboratorio.

Si una empresa te dice: "¡Nuestra IA segmenta huesos al 99% de precisión!", debes preguntar: "¿Lo hicieron con un pincel mágico o con un médico real?".

En resumen:
Estos modelos de IA son como automóviles de Fórmula 1. Son increíbles en una pista perfecta, pero si el conductor (el médico) no es perfecto o si el coche es demasiado sensible a un pequeño giro del volante, el resultado no será el esperado. Para que la IA sea útil en los hospitales, los desarrolladores deben crear modelos que sean más "tolerantes" a los errores humanos, como un coche con suspensión suave que no se desvía por un bache.

El estudio nos ayuda a elegir el mejor "coche" para el camino real, no solo para la pista de pruebas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Evaluación de la sensibilidad de los modelos fundamentales para la segmentación de CT musculoesquelético con un enfoque humano

1. El Problema

Los Modelos Fundamentales (FMs) para segmentación de imágenes médicas, inspirados en el Segment Anything Model (SAM), han revolucionado el campo al permitir la interacción mediante "prompts" (puntos, cajas delimitadoras, etc.). Sin embargo, la evaluación actual de estos modelos presenta tres desafíos críticos:

• Sesgo en los prompts: La mayoría de las evaluaciones utilizan "prompts ideales" generados algorítmicamente a partir de máscaras de referencia perfectas. Esto ignora la variabilidad inherente de las anotaciones humanas reales (errores de localización, inconsistencia entre expertos).
• Falta de comparabilidad: La proliferación de modelos y la variación en conjuntos de datos y métricas dificultan la selección del modelo óptimo para tareas clínicas específicas.
• Brecha entre benchmark y práctica clínica: Los benchmarks existentes a menudo no validan el rendimiento en tareas clínicas especializadas (como la segmentación de implantes o huesos específicos) ni consideran la sensibilidad del modelo a las variaciones en la entrada del usuario.

El estudio busca llenar esta brecha evaluando cómo la variabilidad de los prompts generados por humanos afecta el rendimiento de los FMs en la segmentación de CT musculoesquelético (MSK).

2. Metodología

Los autores diseñaron un estudio de dos etapas con un enfoque híbrido de datos y una evaluación rigurosa de la sensibilidad humana:

• Modelos Evaluados: Se probaron 11 Modelos Fundamentales (FMs) disponibles a julio de 2025, divididos en categorías 2D y 3D, entrenados con datos naturales o médicos (incluyendo variantes de SAM, SAM2, Med-SAM, nnInteractive, etc.).
• Estrategia de Prompts:
  • Prompts de Referencia (Ideales): Extraídos automáticamente de máscaras de segmentación manuales.
  • Prompts Humanos: Generados por 20 estudiantes de medicina en un estudio de observadores. Se solicitaron cajas delimitadoras y puntos centrales en 404 cortes axiales de CT.
• Conjunto de Datos: Una combinación de datos privados (Amsterdam UMC) y públicos (TotalSegmentator), cubriendo cuatro regiones anatómicas: muñeca, pierna inferior, hombro y cadera. Se incluyeron huesos e implantes.
• Diseño Experimental:
  1. Selección Pareto: Primero, se compararon los 11 modelos con prompts ideales para identificar los modelos "Pareto-óptimos" (mejor equilibrio entre rendimiento y eficiencia de parámetros).
  2. Evaluación Humana: Los modelos seleccionados se volvieron a probar con los prompts humanos para medir la caída de rendimiento y la consistencia.
  3. Análisis de Sensibilidad: Se calculó la correlación de Spearman entre la variabilidad de los prompts (distancia euclidiana o IoU entre anotadores) y la consistencia de la segmentación (DSC, NSD, HD95).
• Métricas: Se utilizaron el Coeficiente de Similitud de Dice (DSC), el Dice de Superficie Normalizado (NSD) y la distancia de Hausdorff al percentil 95 (HD95).

3. Contribuciones Clave

• Estudio de Observadores Realista: Es uno de los primeros trabajos que cuantifica sistemáticamente la variabilidad intra- e inter-evaluador en prompts para FMs médicos y su impacto directo en la segmentación.
• Estrategia de Evaluación Híbrida: Combina datos privados (para evitar contaminación de datos y asegurar independencia) y públicos (para reproducibilidad), abordando el dilema entre evaluación imparcial y ciencia abierta.
• Enfoque en Tareas Clínicas Específicas: En lugar de evaluar genéricamente, se centra en tareas clínicamente relevantes como la segmentación de huesos de la muñeca para osteoartritis y de implantes de cadera/tibia para cuantificar el aflojamiento.
• Identificación de Sensibilidad: Introduce la "sensibilidad a la variación del prompt" como una métrica crítica, demostrando que un modelo puede tener alto rendimiento con prompts ideales pero fallar con inputs humanos reales.
• Recurso Abierto: Se ha liberado el código base para la extracción de prompts y la inferencia del modelo.

4. Resultados Principales

• Variabilidad Humana: Los prompts humanos mostraron una variabilidad significativa. La consistencia intra-evaluador fue mayor que la inter-evaluador. Estructuras simples (huesos de la muñeca) tuvieron mayor consistencia, mientras que estructuras complejas (pelvis, tibia, implantes) mostraron errores de localización mayores.
• Caída de Rendimiento: Hubo una caída estadísticamente significativa en el rendimiento al pasar de prompts ideales a humanos:
  • Modelos 2D: ~2.07% de caída en DSC.
  • Modelos 3D: ~1.06% de caída en DSC.
  • Conclusión: Los benchmarks basados en prompts ideales sobreestiman el rendimiento en entornos impulsados por humanos.
• Modelos Pareto-Óptimos:
  • 2D: SAM2.1 (especialmente la versión T con prompts combinados) y SAM mostraron el mejor rendimiento.
  • 3D: Med-SAM2 y nnInteractive superaron a los modelos basados en SAM2.1 en tareas 3D volumétricas.
• Sensibilidad a la Variación:
  • Todos los modelos 2D mostraron sensibilidad significativa a las variaciones de los prompts (incluso pequeñas variaciones intra-evaluador afectaron el resultado).
  • En 3D, nnInteractive (con prompts combinados) y SAM2.1 T (con puntos) mostraron robustez ante variaciones intra-evaluador, pero ningún modelo fue robusto ante las grandes fluctuaciones inter-evaluador.
  • nnInteractive demostró ser el menos sensible a las variaciones entre diferentes anotadores.
• Errores Comunes: Se identificaron tres fallos frecuentes: ambigüedad anatómica (diferenciar hueso cortical vs. trabecular), sobre-segmentación (propagación de errores a estructuras vecinas) y sub-segmentación (detenerse prematuramente en zonas de baja intensidad).

5. Significancia e Impacto

Este estudio cambia la perspectiva sobre cómo se deben evaluar los Modelos Fundamentales en medicina:

1. Validación Realista: Demuestra que el rendimiento reportado en benchmarks "ideales" no es transferible a la práctica clínica real donde los usuarios (médicos, técnicos) tienen diferentes niveles de experiencia y precisión.
2. Nueva Métrica de Éxito: Propone que la sensibilidad a la variabilidad del prompt debe ser una métrica obligatoria junto con la precisión absoluta. Un modelo con alta precisión pero baja robustez es peligroso en entornos clínicos.
3. Guía para la Selección de Modelos: Sugiere que para entornos impulsados por humanos, modelos como nnInteractive (3D) o SAM2.1 (2D) son preferibles, pero siempre considerando la variabilidad del usuario final.
4. Futuro de la Interacción: Destaca la necesidad de desarrollar flujos de trabajo iterativos o prompts de texto (como en SAM3) para mitigar la variabilidad geométrica, aunque advierte sobre el costo en tiempo de interacción del usuario.

En resumen, el artículo concluye que la selección del FM óptimo para un entorno clínico es un desafío complejo que requiere ir más allá de las métricas de precisión estática y considerar la robustez frente a la imperfección humana.