Resumen Técnico: DINO-MVR

Enunciado del Problema

La segmentación de imágenes médicas es crítica para tareas clínicas como la cuantificación de lesiones y la planificación del tratamiento, sin embargo, enfrenta un cuello de botella significativo: el alto costo y la escasez de anotaciones a nivel de píxel y vóxel. Si bien los modelos supervisados como U-Net y nnU-Net funcionan bien con abundantes etiquetas, tienen dificultades con los desplazamientos de dominio y requieren reentrenamiento para nuevas modalidades.

Los modelos fundacionales recientes, particularmente los transformadores de visión auto-supervisados (ViTs) como la familia DINO, ofrecen representaciones de características densas sin etiquetas específicas de la tarea. Sin embargo, persiste una pregunta central: Si la base se mantiene completamente congelada, ¿cuánto rendimiento de segmentación se puede recuperar únicamente mejorando el mecanismo de "lectura"? Los enfoques existentes a menudo dependen de modelos con indicaciones (por ejemplo, SAM) o adaptación eficiente en parámetros (por ejemplo, adaptadores), pero estos aún pueden requerir indicaciones o preentrenamiento específico del dominio. Este artículo investiga si una base DINOv3 preentrenada con imágenes naturales y congelada puede soportar una segmentación médica precisa si el cuello de botella se aborda mediante una estrategia especializada de lectura multi-vista en lugar del ajuste fino de la base.

Metodología: DINO-MVR

Los autores proponen DINO-MVR (Lectura Multi-Vista), un marco que trata la segmentación médica como un problema de lectura sobre características DINOv3 congeladas. El método evita actualizar la base por completo, centrándose en cambio en sondas ligeras y agregación en tiempo de inferencia.

1. Pila de Características Congelada

• Base: Se utiliza un codificador ViT-B/16 DINOv3 preentrenado con todos sus parámetros congelados.
• Extracción de Características: Para una imagen de entrada redimensionada a resolución $r$, el modelo extrae características de tokens de parche de los últimos tres bloques del transformador ($L-2, L-1, L$). Estos se concatenan para formar un tensor de características $Z^{(r)} \in \mathbb{R}^{h_r \times w_r \times 3d}$, aprovechando la intuición de que las capas finales adyacentes codifican información local y semántica complementaria.
• Manejo de Entrada: Las imágenes médicas de un solo canal (MRI, TC) se replican en tres canales para coincidir con los requisitos de entrada de la base.

2. Lectura Ligera Específica de Escala

• Sondas: En lugar de un decodificador pesado, DINO-MVR entrena sondas pequeñas de Perceptrón Multicapa (MLP) específicas de escala.
• Arquitectura: Cada sonda mapea las características de parche concatenadas a logit de primer plano mediante una red de dos capas ($2304 \to 256 \to 1$ con ReLU), conteniendo aproximadamente 0.59M de parámetros entrenables por escala.
• Entrenamiento: Las sondas se optimizan utilizando una combinación de Entropía Cruzada Binaria (BCE) y pérdida Dice suave. Solo se actualizan los parámetros de la sonda $\theta_r$; la base permanece estática.

3. Inferencia Multi-Vista

Para maximizar la utilidad de la representación congelada, el marco consulta las características a través de múltiples vistas complementarias durante la inferencia:

• Vistas de Resolución: La entrada se procesa en dos resoluciones ($512$y$1024$). La resolución inferior proporciona estabilidad en regiones homogéneas, mientras que la resolución superior preserva los detalles de los bordes.
• Aumento en Tiempo de Prueba (TTA): Se generan predicciones para la imagen original y sus inversiones horizontal/vertical. Estas se promedian dentro de cada resolución para reducir la varianza específica de la orientación.
• Fusión Guiada por Entropía: Los mapas de probabilidad de las dos resoluciones se fusionan utilizando una regla de ponderación dura basada en la entropía binaria. Si la rama gruesa (512) es confiable (entropía $\le \tau=0.3$), se usa su predicción; de lo contrario, se selecciona la rama fina (1024). Esto no requiere parámetros entrenables adicionales.
• Refinamiento Espacial: Se aplica un DenseCRF no paramétrico post-fusión para imponer consistencia espacial y de apariencia.

4. Extensión Volumétrica

Para volúmenes 3D (por ejemplo, MRI), la tubería 2D se aplica slice por slice. Para asegurar la consistencia inter-slice sin aprender un decodificador 3D, se aplica un prior de suavizado Gaussiano a lo largo del eje z ($\sigma_z = 4$). Esto suprime errores aislados por slice y mejora la coherencia volumétrica.

Contribuciones Clave

1. Formulación Centrada en la Lectura: Los autores aíslan la contribución del mecanismo de lectura congelando la base DINOv3, demostrando que se puede extraer un rendimiento de segmentación significativo sin adaptación de la base.
2. Marco de Lectura Multi-Vista: DINO-MVR introduce una estrategia que combina la profundidad de características (últimos 3 bloques), la resolución de entrada (multi-escala) y las transformaciones en tiempo de prueba, fusionándolas mediante selección guiada por entropía y regularización espacial.
3. Eficiencia de Anotación: El marco logra un rendimiento sólido con datos etiquetados mínimos. En configuraciones volumétricas, recupera casi todo el rendimiento de una ejecución de referencia de 40 pacientes utilizando solo cinco pacientes anotados.

Resultados Experimentales

El método se evaluó en tres benchmarks bajo protocolos fijos: Kvasir-SEG (endoscopia), ISIC 2018 (dermatoscopia) y BraTS 2021 FLAIR (MRI).

• Rendimiento 2D:

  • Kvasir-SEG: Logró un Coeficiente de Similitud Dice (DSC) de 0.895 y un IoU de 0.838, superando la línea base SegDINO (0.877 DSC) y variantes tradicionales de U-Net.
  • ISIC 2018: Logró un DSC de 0.897 y un IoU de 0.827, superando la línea base SegDINO (0.858 DSC).
  • Estudios de ablación confirmaron que el uso de los últimos tres bloques del transformador, sondas MLP no lineales (vs. lineales) y TTA multi-resolución son críticos para el rendimiento.

• Eficiencia de Anotación (BraTS):

  • En un escenario limitado por pacientes, el entrenamiento con solo 5 pacientes anotados permitió a DINO-MVR recuperar el 98.4% del rendimiento obtenido por una ejecución de referencia usando 40 pacientes (0.8937 DSC vs. 0.9082 DSC).
  • Esta adaptación requirió solo 92.3 segundos de tiempo de entrenamiento en comparación con 675.6 segundos para la referencia de 40 pacientes.

• Consistencia Volumétrica:

  • La aplicación del suavizado Gaussiano en el eje z mejoró el DSC en ~0.01 y redujo significativamente la distancia de Hausdorff del percentil 95 (HD95) en comparación con el procesamiento slice por slice sin suavizado.

Significado y Afirmaciones

El artículo afirma que las bases de visión auto-supervisadas congeladas pueden soportar una segmentación médica precisa cuando se emparejan con una lectura multi-vista efectiva. El significado radica en desplazar la carga de adaptación del ajuste fino costoso de la base o la ingeniería de indicaciones hacia sondas de lectura ligeras y eficientes.

Los autores posicionan a DINO-MVR como una alternativa estructurada a los modelos fundacionales con indicaciones (como SAM) y métodos de adaptación eficiente en parámetros. Demuestra que las "pistas estructurales y de borde" necesarias para la segmentación médica ya están presentes en las características congeladas de DINOv3; el desafío radica en cómo se consultan y fusionan estas características. Los resultados sugieren que para muchas tareas médicas, un enfoque de "solo lectura" puede lograr un rendimiento de vanguardia con requisitos de anotación drásticamente reducidos y sobrecarga computacional durante la fase de adaptación.