RADSeg: Unleashing Parameter and Compute Efficient Zero-Shot Open-Vocabulary Segmentation Using Agglomerative Models

1. El Problema: Segmentación Semántica de Vocabulario Abierto (OVSS)

La Segmentación Semántica de Vocabulario Abierto (OVSS) es una tarea crucial para la visión por computadora y la robótica, permitiendo segmentar imágenes basándose en descripciones de lenguaje natural arbitrarias (vocabulario abierto) sin necesidad de reentrenar el modelo para nuevas clases.

Sin embargo, los enfoques existentes presentan limitaciones significativas:

• Enfoques basados en entrenamiento: Requieren grandes cantidades de datos de segmentación, que son escasos en comparación con los datos de imagen-texto, lo que limita la generalización.
• Enfoques Zero-Shot (sin entrenamiento):
  • Los métodos que utilizan modelos de lenguaje-vision (VLM) globales como CLIP sufren de una mala alineación espacial y localización a nivel de píxel, ya que están diseñados para clasificar la imagen completa, no para segmentar.
  • Las estrategias de "inferencia densa" (dividir la imagen en parches) generan una alta sobrecarga computacional.
  • Los métodos más recientes que combinan múltiples modelos fundacionales (ej. CLIP + DINOv2 + SAM) logran buena precisión pero a un costo prohibitivo de parámetros, latencia y memoria de GPU.

Existe una necesidad urgente de un método que equilibre precisión (mIoU), eficiencia de parámetros y baja latencia sin sacrificar la capacidad de generalización zero-shot.

2. Metodología: RADSeg

Los autores proponen RADSeg, un pipeline eficiente que aprovecha un modelo fundacional de visión aglomerativo llamado RADIO (específicamente RADIOv3), que ha destilado conocimientos de CLIP, SigLIP, SAM y DINOv2 en un solo modelo.

La metodología se basa en tres componentes clave para mejorar la alineación densa entre lenguaje y características visuales:

A. Alineación Lenguaje-Densa Emergente

Se descubre una propiedad emergente en RADIO: al aplicar el adaptador del token CLS de SigLIP (originalmente diseñado para el token global) directamente sobre los tokens de parche (features espaciales), se obtienen características densas alineadas con el lenguaje. Esto permite la segmentación zero-shot sin entrenamiento adicional, aunque el rendimiento inicial es subóptimo debido a artefactos.

B. Atención Recursiva de Auto-Correlación (SCRA)

Para mejorar la localidad espacial y la consistencia semántica:

• Se calcula una matriz de correlación (similitud coseno) entre los tokens de salida del último bloque de atención de RADIO.
• Las correlaciones negativas se descartan (se establecen en $-\infty$), forzando a cada parche a atender solo a parches semánticamente similares.
• Esta matriz se utiliza para recompute las activaciones del último bloque, refinando las características sin añadir parámetros ni sobrecarga significativa.

C. Agregación Global de Auto-Correlación (SCGA)

Para mitigar los artefactos de "ventana deslizante" (windowing artifacts) que ocurren al inferir en imágenes grandes:

• Se promedian las características semánticamente similares a través de diferentes ventanas.
• Se utiliza una matriz de correlación global para agregar tokens, asegurando la consistencia entre ventanas y reduciendo el ruido, manteniendo la nitidez de los bordes.

D. Refinamiento de Máscara con RADIO-SAM (Opcional - RADSeg+)

Para obtener máscaras más precisas:

• Se utiliza la capacidad de RADIO para acceder eficientemente a las características de SAM-Huge.
• Solo se requieren el decodificador, el cuello (neck) y los codificadores de prompts de SAM-Huge, lo que representa un aumento de apenas 0.8% de los parámetros totales de SAM-Huge (+13M parámetros).
• Se generan prompts (puntos, cajas, máscaras) a partir de las predicciones iniciales para refinar los bordes.

3. Contribuciones Clave

1. Estudio Empírico Exhaustivo: Primer estudio integral del modelo RADIO para OVSS zero-shot, demostrando su superioridad sobre otros backbones en términos de eficiencia y alineación densa emergente.
2. Pipeline RADSeg Eficiente: Introducción de un nuevo pipeline que utiliza SCRA y SCGA para mejorar la localidad espacial y la consistencia global sin añadir backbones externos pesados.
3. Rendimiento Superior con Menos Recursos:
   • RADSeg-base (106M parámetros) supera a combinaciones de modelos "Huge" (850M - 1350M parámetros) como Trident y TextRegion en métricas mIoU.
   • Logra mejoras de 6-30% en mIoU sobre la línea base más cercana (Trident) en la clase base ViT.
   • Es 3.95 veces más rápido y utiliza 2.5 veces menos parámetros que los métodos de vanguardia existentes.
4. Evaluación 2D y 3D: Validación en 5 conjuntos de datos 2D y 3 conjuntos de datos 3D, demostrando consistencia multi-vista y capacidad para generar mapas semánticos 3D de vocabulario abierto.

4. Resultados

• Precisión (mIoU): En la configuración base, RADSeg alcanza el mIoU promedio más alto en todos los presupuestos de resolución (baja, media, alta) en benchmarks como PASCAL VOC, COCO-Stuff, Cityscapes y ADE20K.
  • Ejemplo: En Cityscapes (configuración media), RADSeg obtiene 45.35% de mIoU frente a 42.19% de Trident.
• Eficiencia Computacional:
  • RADSeg-base es 9.3x a 12.6x más rápido que los modelos "Huge" de vanguardia (como Trident Huge o TextRegion Huge) en una GPU V100.
  • Requiere 8.1x a 12.7x menos parámetros de codificador de visión.
• 3D: En tareas de mapeo semántico 3D (Replica, ScanNet, ScanNet++), RADSeg demuestra una consistencia multi-vista superior, reduciendo significativamente los "voxels" atípicos (outliers) en comparación con métodos basados en CLIP o DINO.
• Ablación: Los componentes SCRA y SCGA aportan mejoras consistentes de +2% y +1.4% en mIoU respectivamente, con un costo computacional mínimo.

5. Significado e Impacto

El trabajo RADSeg representa un cambio de paradigma en la segmentación semántica de vocabulario abierto:

• Desmitificación de la complejidad: Demuestra que no es necesario combinar múltiples modelos fundacionales masivos (CLIP + DINO + SAM) para lograr resultados de vanguardia. Un modelo aglomerativo bien diseñado (RADIO) puede integrar estas capacidades de manera más eficiente.
• Viabilidad en Robótica y Edge: Al reducir drásticamente la latencia y el uso de memoria (parámetros), RADSeg hace posible la implementación de segmentación semántica de vocabulario abierto en sistemas robóticos con recursos limitados y en tiempo real, algo que los métodos anteriores no permitían.
• Nuevas Direcciones: Abre la puerta a la exploración de modelos aglomerativos para otras tareas de visión densa, sugiriendo que la destilación de conocimientos en un solo modelo es una vía más eficiente que la fusión de múltiples modelos.

En resumen, RADSeg logra el "santo grial" de la OVSS: alta precisión, vocabulario abierto y extrema eficiencia, superando a modelos mucho más grandes y complejos.