Resumen Técnico: Exploración de la Alineación de Prompts con Factores Clínicos en Segmentación Zero-Shot

1. Declaración del Problema

La delimitación precisa del Volumen Tumoral Macroscópico (GTV) es crítica para la planificación de la radioterapia en el cáncer de pulmón de células no pequeñas (NSCLC), pero el contorno manual es laborioso y presenta una variabilidad significativa entre anotadores. Aunque el aprendizaje profundo ha reducido los tiempos de contorno, los paradigmas actuales de segmentación enfrentan una brecha en la interpretabilidad respecto a los Modelos Visuales-Lingüísticos (VLM) zero-shot que pueden ser activados mediante prompts.

Los enfoques de segmentación existentes se dividen en tres categorías:

1. Modelos supervisados ajustados (por ejemplo, nnUNet).
2. Modelos fundacionales zero-shot (por ejemplo, TotalSegmentator, VISTA3D).
3. VLM zero-shot que aceptan imágenes volumétricas y prompts clínicos en texto libre.

Si bien el rendimiento en benchmarks (por ejemplo, el Coeficiente de Similitud Dice) es estándar, es insuficiente para la implementación clínica. Sigue sin estar claro qué atributos específicos dentro de un prompt clínico (diagnóstico, estadificación, demografía, ubicación anatómica) impulsan realmente el comportamiento espacial de los VLM zero-shot. Un VLM clínicamente útil no solo debe lograr una alta precisión, sino también demostrar que suprime la salida para prompts irrelevantes, mejora con prompts espacialmente informativos y falla adecuadamente cuando la información específica del paciente no coincide, en lugar de actuar como un detector genérico de tumores.

2. Metodología

El estudio utilizó un conjunto de datos interno retenido, HarvardRT, que comprende 93 casos de NSCLC con TC de planificación y contornos GTV expertos. Los prompts clínicos en texto libre se derivaron de notas institucionales, preservando el lenguaje de diagnóstico, demografía y estadificación.

Diseño Experimental

El enfoque principal fue VoxTell, el VLM zero-shot de mejor rendimiento en la selección inicial. Los autores realizaron cuatro análisis de alineación específicos en un subconjunto de casos:

• Descomposición de sub-prompts: Los prompts originales se fragmentaron en controles (diagnóstico, demografía, estadio TNM, ubicación anatómica, "tumor de pulmón" genérico, y "quiste hepático" irrelevante).
• Robustez ante perturbaciones: Se preservaron las estructuras de las oraciones mientras se intercambiaban atributos individuales (tipo de tumor, estadio, edad, sexo, ubicación) para medir el cambio en el Coeficiente de Similitud Dice ($\Delta$DSC).
• Escalera de especificidad: Los prompts se variaron desde el Nivel 0 ("tumor" genérico) hasta el Nivel 6 (prompt completo más detalle fabricado) para probar si el aumento del detalle clínico mejora o desestabiliza la alineación.
• Intercambio de prompts entre casos: Las imágenes se emparejaron con prompts de otros pacientes para distinguir la condicionamiento específico del paciente de la detección agnóstica al prompt.

Evaluación Comparativa

Se evaluaron nueve modelos en las tres paradigmas:

• Ajustados: nnUNet (solo GTV), Ahmed et al. (multi-estadio), MM-LLM-RO.
• Visión Zero-Shot: TotalSeg-Nodules, VISTA3D.
• VLM Zero-Shot: VoxTell, BiomedParse, SAT, CAT.

El rendimiento se midió utilizando el Coeficiente de Similitud Dice (DSC). La significancia estadística se evaluó mediante pruebas de Friedman para la heterogeneidad general y pruebas de rangos con signo de Wilcoxon por pares con corrección de Benjamini–Hochberg para 33 comparaciones por pares.

3. Resultados Clave

Alineación de Prompts y Robustez

• Dominancia Anatómica: La ubicación anatómica es el principal impulsor de la atención espacial de VoxTell. El 63.4% de las perturbaciones de ubicación causaron caídas catastróficas en el rendimiento ($|\Delta$DSC| > 0.5), mientras que las sustituciones de tipo de tumor y estadio tuvieron efectos mínimos (mediana $|\Delta$DSC| = 0.009 para tipo).
• Especificidad del Prompt: El rendimiento mejoró monótonamente desde consultas genéricas hasta descripciones clínicas completas, con la mayor ganancia ocurriendo en la transición de especificidad a nivel de órgano ("tumor de pulmón") a nivel de lóbulo. Sin embargo, los prompts de "solo diagnóstico" (L4) fueron inconsistentes, funcionando bien para histologías comunes pero fallando para tipos raros.
• Supresión de Prompts Irrelevantes: Los prompts irrelevantes (por ejemplo, "quiste hepático") produjeron correctamente una segmentación nula.
• Condicionamiento Específico del Paciente: Los intercambios entre casos confirmaron que el modelo depende de información específica del paciente. Los pares prompt-imagen coincidentes lograron un DSC medio de 0.906, mientras que los pares no coincidentes cayeron a 0.406, con un 44% de las discrepancias produciendo una salida nula.

Rendimiento en Benchmark

• VoxTell vs. Ajustados: VoxTell logró un DSC medio de 0.613. Esto fue estadísticamente indistinguible de los modelos ajustados líderes, nnUNet (0.690, $p_{adj} = 0.156$) y Ahmed et al. (0.675, $p_{adj} = 0.679$).
• Comparación Zero-Shot: VoxTell superó significativamente a todos los demás VLM zero-shot (BiomedParse, SAT, CAT tuvieron DSC < 0.26) y a la mayoría de los modelos de visión zero-shot, excepto TotalSeg-Nodules (0.653), con el cual no hubo diferencia significativa.
• Jerarquía General: Los modelos ajustados lideraron generalmente el benchmark, seguidos por VoxTell y TotalSeg-Nodules. Otros modelos fundacionales zero-shot tuvieron un rendimiento pobre, probablemente debido a desajustes de distribución con la heterogeneidad de los tumores pulmonares.

4. Contribuciones Clave

1. Caracterización de la Alineación de Prompts: El estudio proporciona el primer análisis sistemático de qué dimensiones de prompts clínicos impulsan la segmentación de VLM zero-shot. Establece que la ubicación anatómica es la dirección de alineación dominante, mientras que la histología y la estadificación son ignoradas en gran medida por los mecanismos de atención espacial del modelo.
2. Demostración de Condicionamiento Específico del Paciente: Mediante intercambios entre casos, los autores demuestran que VoxTell no funciona como un detector genérico de tumores, sino que condiciona su segmentación en el contexto específico del paciente proporcionado en el prompt.
3. Paridad de Rendimiento: El trabajo demuestra que un VLM completamente zero-shot puede lograr una precisión de segmentación estadísticamente comparable a la de modelos supervisados ajustados de última generación en un conjunto de datos clínico independiente.
4. Marco de Evaluación: El artículo argumenta que los VLM deben evaluarse no solo por la precisión agregada (Dice), sino también por su comportamiento de alineación, específicamente su capacidad para suprimir entradas irrelevantes y responder a señales espaciales.

5. Significado y Afirmaciones

El artículo afirma que los VLM de segmentación deben evaluarse basándose en tanto la precisión del benchmark como en análisis de alineación de prompts. Los hallazgos sugieren que VoxTell aprovecha el lenguaje clínico de manera selectiva, priorizando "dónde mirar" (ubicación anatómica) sobre "qué buscar" (histología/estadio). Este comportamiento se alinea con arquitecturas donde las consultas de texto localizan regiones mediante atención cruzada antes de fusionarse con características espaciales.

Los autores concluyen que integrar la comprensión del lenguaje clínico con el análisis de imágenes volumétricas es una dirección prometedora para el contorno escalable en radioterapia. Sin embargo, señalan limitaciones, incluido el conjunto de datos de una sola institución, el uso del DSC como única métrica, y la observación de que la dependencia del modelo de la ubicación anatómica puede limitar su aplicabilidad a objetivos complejos como los volúmenes ganglionares, donde la estadificación y la intención de tratamiento son más críticas. El estudio enfatiza que, aunque VoxTell se acerca a la frontera de rendimiento de los modelos ajustados, su utilidad clínica depende de comprender estos comportamientos de alineación específicos.