Resumen Técnico: CPS4 – Segmentación de Columna Vertebral Semi-Supervisada Impulsada por Prompts de Clase con Restricción de Consistencia Específica de Clase

Declaración del Problema

La segmentación automática de la columna vertebral, específicamente la segmentación multiclas de los cuerpos vertebrales (VB) y los discos intervertebrales (IVD) en la RM, es crítica para el diagnóstico ortopédico y la planificación quirúrgica. Aunque los métodos de aprendizaje profundo han avanzado significativamente, dependen en gran medida de anotaciones a nivel de píxel, las cuales requieren un trabajo intensivo y conocimiento experto. El aprendizaje semi-supervisado (SSL) ofrece una solución al utilizar datos etiquetados limitados junto con abundantes datos no etiquetados. Sin embargo, los métodos de SSL existentes, que típicamente dependen de la regularización de consistencia y el etiquetado pseudo, a menudo sufren de pseudo-etiquetas de baja calidad. Estas etiquetas ruidosas introducen una supervisión incorrecta, causando que los modelos se centren en características irrelevantes y obstaculizando la explotación efectiva de los datos no etiquetados.

Aunque los Modelos de Lenguaje-Visión (VLM) muestran potencial para mejorar la calidad de las pseudo-etiquetas aprovechando los prompts textuales de clase para generar mapas de segmentación, los VLM actuales carecen de restricciones explícitas para asegurar la consistencia entre los prompts de clase y objetos de imagen específicos. Esta deficiencia conduce a un débil vínculo semántico específico de la clase e interferencia entre clases, lo que resulta en un desempeño insatisfactorio en la generación de mapas de segmentación multiclas.

Metodología

Los autores proponen CPS4, un nuevo marco que integra prompts de clase en la segmentación de la columna vertebral semi-supervisada a través de una estrategia de entrenamiento de dos etapas.

Etapa 1: Preentrenamiento de VLM con Restricción de Consistencia Específica de Clase

Los VLM existentes (por ejemplo, CLIP, MedCLIP) realizan el alineamiento cross-modal a nivel de imagen, lo cual falla al no asegurar que los distintos prompts de clase se enfoquen en sus objetos correspondientes. Para abordar esto, CPS4 introduce una etapa de preentrenamiento utilizando un Modelo de Lenguaje-Visión (específicamente utilizando ViT para visión y BioClinicalBERT para texto) con dos nuevas funciones de pérdida para forzar la consistencia entre los prompts de clase y las unidades de la columna.

1. Pérdida de Atención a Nivel de Token ($L_{token}$): Esta pérdida optimiza el alineamiento entre un token de prompt de clase ($F_{T,i}$) y los tokens de parches de imagen correspondientes ($F_I$). Calcula un puntaje de similitud para generar un mapa de atención grueso ($A_i$) y agrega las activaciones hacia la región de la unidad de la columna predicha ($B_i$). El objetivo es forzar que el prompt textual se acople estrechamente con la unidad de la columna objetivo en el espacio semántico.
2. Pérdida de Atención a Nivel de Píxel ($L_{pixel}$): Para evitar que el modelo agregue la atención excesivamente solo en ciertas subregiones de una unidad objetivo, se añade un objetivo de entropía cruzada a nivel de píxel. Esto asegura que el mapa de atención cubra uniformemente toda la unidad de la columna objetivo.

La pérdida de preentrenamiento total es el promedio de $L_{token}$ y $L_{pixel}$.

Etapa 2: Segmentación de la Columna Vertebral Semi-Supervisada Impulsada por Prompts de Clase

En esta etapa, los codificadores de visión-texto preentrenados se utilizan para mejorar el proceso de pseudo-etiquetado para los datos no etiquetados.

• Generación de Mapas de Segmentación Guiados por Prompts de Clase: Para cada imagen de la columna no etiquetada, el sistema genera un mapa de segmentación binario para cada clase (por ejemplo, "Vértebra Lumbar 1"), computando el producto punto entre los tokens de parches de imagen y los tokens de prompt de clase. Estos mapas son reescalados y convertidos a máscaras binarias mediante el método de umbral automático OTSU. Todos los mapas específicos de clase se apilan para formar un mapa de segmentación multiclas unificado ($y^{text}$).
• Generación y Optimización de Pseudo-Etiquetas: El marco emplea una arquitectura de Mean Teacher (MT) con una red estudiante y una red maestra (teacher). La red maestra genera pseudo-etiquetas ($y^t_u$) para imágenes no etiquetadas mediante el Promedio Móvil Exponencial (EMA).
  • Pérdida Supervisada ($L_{sup}$): Calculada entre las predicciones del estudiante en datos etiquetados y la verdad de campo (ground truth).
  • Pérdida Semi-Supervisada ($L_{semi}$): Compuesta de dos partes:
    1. $L^{text}_{semi}$: Pérdida de consistencia entre la predicción del estudiante en datos no etiquetados y el mapa guiado por el prompt de clase ($y^{text}$).
    2. $L^{enhance}_{semi}$: Pérdida de consistencia entre la predicción del estudiante y una pseudo-etiqueta mejorada creada integrando la pseudo-etiqueta del maestro ($y^t_u$) y el mapa del prompt de clase ($y^{text}$).

Principales Contribuciones

1. Primer SSL Guiado por Texto para Segmentación de Columna: Este trabajo es el primero en introducir prompts textuales de clase para mejorar la calidad de las pseudo-etiquetas en la segmentación semi-supervisada de la columna vertebral.
2. Nueva Restricción de Consistencia Específica de Clase: Los autores proponen un mecanismo de preentrenamiento específico utilizando pérdidas de atención a nivel de token y de píxel para forzar restricciones explícitas, asegurando un acoplamiento semántico estrecho entre cada prompt de clase y su unidad de la columna objetivo.
3. Desempeño de Vanguardia (State-of-the-Art): El método demuestra un desempeño superior en diversas proporciones de datos etiquetados, particularmente en regímenes de pocos datos.

Resultados Experimentales

El método fue evaluado en el conjunto de datos MRSpineSeg, que contiene imágenes volumétricas de RM ponderadas en T2 de 215 sujetos con 20 categorías (19 estructuras espinales y fondo).

• Desempeño: Utilizando solo el 5% de datos etiquetados, CPS4 logró un puntaje Dice de 80.44% y un mIoU de 70.63%.
• Comparación: Estos resultados superan a los métodos populares de aprendizaje semi-supervisado (por ejemplo, MT, BCP, SS-Net) y a los enfoques basados en VLM existentes (por ejemplo, CLIP, MedCLIP, MGCA, EGMA).
  • Comparado con el método subóptimo GraphCL con prompts de texto en el 5% de datos etiquetados, CPS4 mejoró el mDice en un 2.23% y el mIoU en un 2.42%.
• Robustez: Los estudios de ablación confirmaron que tanto las pérdidas a nivel de token como las de nivel de píxel contribuyen significamente al desempeño. El método mostró ganancias de desempeño estables a medida que la proporción de datos etiquetados aumentaba del 5% al 50%, superando al baseline de MT por un margen claro.
• Visualización: Los mapas de atención generados por CPS4 mostraron un fuerte alineamiento con las unidades de la columna objetivo, mientras que los VLM base (como MedCLIP) exhibieron activaciones dispersas y un débil vínculo semántico.

Significancia

El artículo afirma que CPS4 mitiga eficazmente el problema de la escasez de etiquetas en la segmentación de la columna mediante el aprovechamiento del poder semántico del texto para guiar la generación de pseudo-etiquetas de alta calidad. Al restringir explícitamente la consistencia entre los prompts de clase y las unidades de la columna durante el preentrenamiento, el marco supera las limitaciones de los VLM actuales en tareas de imagen médica. Los resultados sugieren que este enfoque permite una generación de pseudo-etiquetas impulsada por prompts de clase más confiable, mejorando significativamente la eficacia del aprendizaje semi-supervisado en escenarios con datos anotados limitados. Los autores señalan que su código será puesto a disposición para facilitar futuras investigaciones.