Resumen Técnico: ActiveSAM

Planteamiento del Problema

La Segmentación Semántica de Vocabulario Abierto (OVSS, por sus siglas en inglés) tiene como objetivo generar máscaras densas a nivel de píxel para vocabularios de clases arbitrarios sin requerir el reentrenamiento por categoría ni nuevas anotaciones a nivel de píxel. Aunque modelos fundacionales recientes como SAM 3 ofrecen sólidas capacidades de enmascaramiento espacial impulsadas por prompts conceptuales, la aplicación directa de estos a la OVSS crea un cuello de botella computacional significativo. Los enfoques estándar decodifican todo el vocabulario del conjunto de datos a resolución completa para cada imagen, a pesar de que cualquier imagen individual suele contener solo un subconjunto activo y pequeño de clases. Esta estrategia de "decodificación de vocabulario completo" es ineficiente, lo que resulta en tiempos de inferencia lentos que escalan linealmente con el tamaño del vocabulario, incluso cuando la mayoría de las clases están ausentes en la escena.

Metodología: ActiveSAM

ActiveSAM es un marco de inferencia de cero disparos (zero-shot) y libre de entrenamiento diseñado para transformar el modelo congelado SAM 3 en un "segmentador de vocabulario activo". Logra esto mediante la poda dinámica del vocabulario para cada imagen antes de la decodificación a resolución completa, desacoplando así el costo computacional del tamaño total del vocabulario. El marco opera a través de cuatro etapas clave:

1. Expansión de Prompts Contextuales (CPE):
   Para abordar la escasez semántica de los nombres de clases brutos (por ejemplo, "windowpane" frente a "window pane"), ActiveSAM canonicaliza las etiquetas de entrada y las enriquece con contexto.

   • Canonicalización Léxica: Una función fija normaliza los nombres de las clases (por ejemplo, convirtiendo "tie" en "necktie").
   • Contexto Semántico: El marco recupera las $M_s$ clases más cercanas en el espacio de embeddings de texto congelado e incluye sus tokens.
   • Contexto de Hiperónimos: Incorpora hasta $M_t$ hiperónimos de sustantivos de WordNet para cada clase.
     Estos prompts expandidos ($\bar{Z}_c$) se precomputan y almacenan en caché, proporcionando un alineamiento semántico más rico para el codificador de texto congelado de SAM 3.

2. Selección de Clases Basada en Previsualización:
   Antes de la costosa decodificación a resolución completa, ActiveSAM ejecuta una "previsualización de presencia" de baja resolución ($672 \times 672$) utilizando el codificador de imagen y la cabeza de presencia congelados de SAM 3.

   • Computa una puntuación de presencia $q_c$ para cada clase en el vocabulario.
   • Para conjuntos de datos con vocabularios grandes ($V > 40$), selecciona un conjunto activo específico de la imagen $A(I)$ basado en un umbral de cuantiles adaptativo. Las clases con puntuaciones de presencia bajas son descartadas.
   • Crucialmente, esta etapa omite el cálculo de la cabeza de segmentación, utilizando únicamente la señal de presencia para filtrar candidatos.

3. Decodificación de Resolución Completa por Cubetas (Buckets):
   La imagen a resolución completa ($1008 \times 1008$) se codifica una sola vez. El decodificador de grounding de SAM 3, que permanece congelado, procesa entonces solo las clases activas retenidas $A(I)$.

   • Para optimizar aún más la velocidad, los prompts activos se agrupan en "cubetas" (tamaño $K=32$). El decodificador procesa estas cubetas en paralelo, compartiendo las características de la imagen entre los prompts dentro de una misma cubeta.
   • Las puntuaciones de instancia y semánticas de SAM 3 se fusionan mediante maximización por píxel para generar mapas de puntuación de clase.

4. Calibración de Fondo Sensible al Margen (MABC):
   Para conjuntos de datos con etiquetas de fondo explícitas, un umbral simple sobre la puntuación superior suele clasificar erróneamente píxeles ambiguos. ActiveSAM introduce MABC, que calcula una puntuación de confianza calibrada basada en el margen entre las dos puntuaciones de clase superiores ($s_1$ y $s_2$):
   $$c_{MABC}(p) = \frac{s_1(p)}{\sqrt{s_1(p) - s_2(p)}}$$
   Los píxeles con confianza calibrada baja son reasignados a la clase de fondo, mejorando la precisión de los bordes sin requerir el ajuste de umbrales específicos del conjunto de datos.

Contribuciones Clave

• Poda de Vocabulario Activo: El artículo introduce un nuevo paradigma de inferencia donde la cabeza de presencia actúa como una señal de enrutamiento temprano en lugar de un filtro de post-decodificación. Esto reduce la complejidad computacional de la decodificación de $O(V)$ a $O(|A(I)|)$, donde $|A(I)| \ll V$.
• Arquitectura Libre de Entrenamiento: ActiveSAM no requiere entrenamiento en el conjunto de datos objetivo, ni actualizaciones de pesos para el modelo fundacional, ni etiquetas de presencia de clase oráculo. Depende enteramente de los pesos congelados de SAM 3 y de hiperparámetros universales.
• Mejora de Prompts y Calibración: La integración de la Expansión de Prompts Contextuales (CPE) y la Calibración de Fondo Sensible al Margen (MABC) mejora la calidad de la segmentación, abordando la ambigüedad visual-lingüística y el ruido de fondo, respectivamente.

Resultados Experimentales

ActiveSAM fue evaluado en ocho benchmarks estándar de OVSS (incluyendo Pascal VOC, Pascal Context, COCO-Stuff, Cityscapes y ADE20K) bajo una configuración de cero disparos (zero-shot).

• Precisión: ActiveSAM logra una media de Intersección sobre Unión (mIoU) de estado del arte del 65.3% en los ocho benchmarks. Esto supera al mejor método actual basado en SAM 3, SegEarth-OV3, por un +1.4 mIoU, y al modelo base SAM 3 por un +7.8 mIoU.
• Eficiencia: En conjuntos de datos de vocabulario grande, ActiveSAM es aproximadamente 5.5 veces más rápido que SegEarth-OV3. Por ejemplo, en ADE20K (150 clases), alcanza 1.92 FPS frente a los 0.35 FPS de SegEarth-OV3, mejorando simultáneamente el mIoU en 2.4 puntos.
• Robustez: Bajo las corrupciones de ImageNet-C (ruido gaussiano, desenfoque de movimiento, compresión JPEG, niebla), ActiveSAM mantiene un rendimiento superior comparado con las líneas base basadas en CLIP (que sufren una degradación severa) y SegEarth-OV3. Demuestra que el decodificador de grounding de texto de SAM 3 sigue siendo robusto incluso cuando las imágenes de entrada están degradadas.
• Estudios de Ablación: Eliminar el paso de poda de clases resulta en una pérdida de precisión insignificante ($\Delta \approx 0$) pero elimina la aceleración, confirmando que la poda no sacrifica el rendimiento. Eliminar CPE o MABC provoca caídas medibles en el mIoU, validando su contribución a la calidad.

Significancia y Reivindicaciones

El artículo afirma que ActiveSAM aborda con éxito la ineficiencia de aplicar modelos fundacionales a tareas de vocabulario abierto donde el vocabulario es grande pero la relevancia específica de la imagen es dispersa. Al aprovechar la señal de "presencia" como un mecanismo de compuerta (gating), ActiveSAM permite el despliegue de potentes modelos de segmentación congelados en escenarios de tiempo real y con recursos limitados (por ejemplo, conducción autónoma, IA incorporada) sin necesidad de reentrenamiento.

Los autores posicionan a ActiveSAM como un paso significativo hacia la percepción práctica de mundo abierto, señalando que mantiene una alta robustez bajo cambios de distribución (simulados por corrupciones de imagen) y ofrece una solución escalable para vocabularios dinámicos. Sin embargo, el artículo reconoce modestamente ciertas limitaciones: el mecanismo de poda puede reducir la recuperación (recall) de objetos extremadamente pequeños o de baja visibilidad que no superan la comprobación de presencia de baja resolución, y la dependencia de WordNet y la canonicalización centrada en el inglés puede limitar su aplicabilidad en dominios altamente especializados y no ingleses.