Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

Resumen Técnico: Alineación Descompuesta Visión-Lenguaje para Segmentación de Vocabulario Abierto de Alta Granularidad

Enunciado del Problema
Los modelos de segmentación de vocabulario abierto (OVS), aunque capaces de generalizar a nombres de categorías no vistos mediante preentrenamiento visión-lenguaje, luchan para generalizar a combinaciones no vistas de categorías de objetos y atributos (por ejemplo, distinguir un "edificio industrial de techo plano" de un "edificio residencial de techo plano" cuando la combinación específica no fue vista durante el entrenamiento). Los enfoques existentes suelen codificar el prompt textual completo como una única secuencia holística. Esta codificación holística entrelaza la semántica de la categoría y los atributos dentro de una representación compartida, impidiendo que el modelo descomponga y vuelva a combinar unidades semánticas en el momento de la inferencia. En consecuencia, los modelos fallan al imponer las restricciones lógicas "Y" requeridas para el razonamiento composicional de alta granularidad, lo que lleva a un rendimiento degradado en composiciones de atributo-categoría no vistas.

Metodología
Los autores proponen un marco de Alineación Descompuesta Visión-Lenguaje diseñado para factorizar explícitamente los prompts textuales e imponer restricciones composicionales tanto a nivel de características como de puntuación. El método es agnóstico al modelo, pero se instancia aquí dentro de la arquitectura SAM3.

1. Descomposición Explícita del Prompt:
   En lugar de concatenar el texto en una sola oración, el marco codifica la categoría y cada atributo de forma independiente. Para resolver la ambigüedad geométrica (por ejemplo, que "techo plano" se aplique a cualquier superficie plana), los atributos se condicionan a la categoría durante la codificación (por ejemplo, codificando "techo plano" como "edificio de techo plano"). Esto produce una representación estructurada que consiste en una secuencia de tokens de categoría ($t_c$), un conjunto de secuencias de tokens de atributo ($t_{a_k}$) y una máscara de presencia de atributo ($m$).

2. Atención Cruzada Puerta por Características:
   El marco realiza una atención cruzada descompuesta entre las consultas visuales y cada unidad semántica.

   • Interacción de Categoría: Se utiliza una atención cruzada estándar para alinear las consultas con el token de categoría.
   • Puertas de Atributo: Para cada atributo, una rama de atención cruzada separada genera un mapa de puerta ($G_{a_k}$) mediante una activación sigmoide. Estas puertas actúan como "filtros de condición necesaria".
   • Composición Y: La salida final de características se obtiene mediante la multiplicación elemento a elemento de las características alineadas con la categoría y todas las puertas de atributo activas ($F_{out} = Q_c \odot \prod G_{a_k}$). Esta agregación multiplicativa impone que una característica visual se preserve solo si satisface simultáneamente todas las restricciones de atributo.

3. Puntuación Composicional Y en Espacio Logarítmico:
   Para evitar la inestabilidad numérica y la desaparición de gradientes asociadas a la multiplicación de probabilidades, el mecanismo de puntuación opera en el espacio logarítmico.

   • Se calculan las logit de coincidencia para la categoría y cada atributo de forma independiente.
   • Estas logit se convierten en probabilidades mediante sigmoide y luego se mapean a log-probabilidades.
   • La puntuación composicional final es la suma de estas log-probabilidades, normalizada por el número de componentes activos. Esta formulación aproxima matemáticamente la operación lógica "Y" ($\log(\prod \pi) = \sum \log(\pi)$) mientras mantiene gradientes estables durante la optimización.

Contribuciones Clave

• Alineación Descompuesta Visión-Lenguaje: Un marco que se integra perfectamente en arquitecturas de segmentación basadas en transformadores, desacoplando explícitamente las interacciones de categoría y atributo para mejorar la OVS de alta granularidad.
• Atención Cruzada Puerta por Características: Un módulo novedoso donde los atributos funcionan como filtros espaciales, desacoplando el aprendizaje de características específico de atributo e imponiendo restricciones composicionales mediante puertas multiplicativas.
• Puntuación Composicional Y en Espacio Logarítmico: Una estrategia de puntuación que modela explícitamente las relaciones lógicas "Y" entre unidades semánticas, ofreciendo estabilidad numérica y un comportamiento de optimización mejorado en comparación con la multiplicación directa de probabilidades.
• Protocolo de Evaluación de Generalización Composicional: La introducción de un protocolo de evaluación riguroso que divide los datos en composiciones de atributo-categoría vistas y no vistas, utilizando métricas como AP no visto, Brecha Visto-No Visto ($R_d$) y Eficiencia-Y para medir las capacidades de razonamiento composicional.

Resultados Experimentales
El método fue evaluado en el conjunto de datos de edificios UBC y el conjunto de datos PACO-LVIS bajo un escenario de generalización composicional donde combinaciones específicas de atributo-categoría se excluyeron del entrenamiento.

• Mejoras de Rendimiento: En el conjunto de datos UBC, el método propuesto aumentó el AP no visto de 4.0 (línea base SAM3) a 7.1, mientras que la métrica de Eficiencia-Y mejoró significativamente de 0.533 a 0.959. En PACO-LVIS, el AP no visto aumentó de 37.9 a 39.2, y la Eficiencia-Y de 0.874 a 0.907.
• Estudios de Ablación: Los experimentos confirmaron que la codificación holística limita la generalización. Reemplazar la codificación holística con codificación independiente y agregación media mejoró los resultados, pero el mecanismo completo de Y en Espacio Logarítmico proporcionó las ganancias más significativas. Además, el método superó a los métodos de Aprendizaje Cero-Shot Composicional (CZSL) adaptados (por ejemplo, AttrAsOp, CGE), demostrando que el enmascaramiento espacial a nivel de píxel es superior a los vectores de composición globales para tareas de predicción densa.
• Análisis Cualitativo: Las visualizaciones de las puertas de características mostraron que el modelo aprendió con éxito a suprimir instancias que coincidían con la categoría pero violaban restricciones específicas de atributo (por ejemplo, suprimir edificios comerciales cuando el prompt requería "residencial"), confirmando la efectividad del mecanismo de puertas multiplicativas.

Significado
El artículo afirma que su significado principal radica en abordar el sesgo sistemático de los modelos visión-lenguaje en el razonamiento composicional de alta granularidad. Al transferir la idea de descomposición del Aprendizaje Cero-Shot Composicional a nivel de imagen al dominio a nivel de píxel de la segmentación, el trabajo demuestra que la factorización explícita de unidades semánticas y la imposición de restricciones lógicas a nivel de características son críticas para generalizar a composiciones no vistas. Los autores postulan que este marco proporciona una base robusta para desarrollar sistemas de percepción de mundo abierto más confiables, capaces de manejar descripciones semánticas complejas y estructuradas.