LoGoSeg: Integrating Local and Global Features for Open-Vocabulary Semantic Segmentation

Resumen Técnico: LoGoSeg

1. Planteamiento del Problema

La segmentación semántica de vocabulario abierto (OVSS, por sus siglas en inglés) busca asignar etiquetas semánticas a cada píxel de una imagen utilizando descripciones de texto arbitrarias, permitiendo la detección de categorías no vistas durante el entrenamiento. Aunque los modelos de lenguaje y visión (VLM) como CLIP han demostrado capacidades de reconocimiento zero-shot, su aplicación directa a la segmentación presenta desafíos críticos:

• Desalineación Espacial: Los VLM se entrenan principalmente a nivel de imagen, lo que resulta en una alineación imprecisa entre conceptos textuales y regiones visuales específicas. Esto genera límites de segmentación borrosos y predicciones inciertas.
• Alucinación de Objetos: La falta de "priors" (priors) de objetos y restricciones a nivel de región provoca falsos positivos (alucinación de objetos que no existen) o detecciones perdidas en escenas complejas o desordenadas.
• Ineficiencia de Arquitecturas Actuales:
  • Los métodos de dos etapas (que generan máscaras primero y luego las clasifican) son computacionalmente costosos y dependen fuertemente de la calidad de las propuestas de máscaras externas.
  • Los métodos de una sola etapa (que adaptan directamente los VLM) suelen ser más eficientes pero carecen de una integración equilibrada entre información local (estructura) y global (semántica), lo que limita su precisión.

2. Metodología Propuesta: LoGoSeg

LoGoSeg es un marco unificado de una sola etapa diseñado para abordar la alucinación de categorías, la desalineación a nivel de píxel y la fusión insuficiente de señales locales y globales. La arquitectura integra tres componentes innovadores:

A. Prior-Guided Regional Alignment (Alineación Regional Guiada por Priors)
Este módulo combina priors de objetos con la correlación visión-idioma a nivel de región para reducir la confusión semántica:

1. Estimación del Prior de Objeto: Calcula la similitud global entre las características de la imagen y los embeddings de texto para estimar la probabilidad de existencia de cada categoría. Esto genera un "prior" que repondera los embeddings de texto, suprimiendo categorías irrelevantes.
2. Guía Textual a Nivel de Región: Divide la imagen en regiones no superpuestas. Calcula la similitud entre las características visuales de cada región y los centros de texto ponderados por el prior.
3. Integración de Guía: Fusiona las señales visuales y textuales mediante una red neuronal ligera (MLP) y mecanismos de atención, produciendo un tensor de guía que ajusta dinámicamente las características visuales según la probabilidad de existencia del objeto.

B. Contextual Cross-modal Fusion (Fusión Contextual Cross-Modal)
Para superar la limitación de las representaciones globales en precisión espacial, se propone un módulo de fusión que unifica el detalle espacial con la abstracción semántica mediante tres vías:

1. Atención Direccional: Descompone las características en ramas horizontal y vertical para capturar dependencias espaciales estructuradas mediante mecanismos de auto-atención rectangulares.
2. Modelado de Espacio de Estados (SSM): Utiliza un módulo de contexto global (basado en SS2D) para capturar dependencias de largo alcance.
3. Fusión Adaptativa: Combina las señales locales (estructura) y globales (contexto) junto con los embeddings de texto mediante un mecanismo de atención lineal y fusión gateada, creando una representación unificada rica en detalles.

C. Decodificador y Entrenamiento

• Utiliza un decodificador basado en transformers con consultas aprendibles (learnable queries) para realizar una fusión cross-modal fina.
• Emplea una función de pérdida de entropía cruzada binaria a nivel de píxel.
• Eficiencia: No requiere propuestas de máscaras externas, backbones adicionales ni conjuntos de datos extraños, operando únicamente con el backbone CLIP y el conjunto de datos COCO-Stuff.

3. Contribuciones Clave

1. Alineación con Prior de Objetos: Una estrategia que reduce significativamente las alucinaciones de categorías y mejora la alineación texto-visual a nivel de píxel mediante restricciones explícitas a nivel de región.
2. Fusión de Características de Doble Flujo: Un marco que combina eficazmente el contexto espacial local detallado con la semántica global comprehensiva, superando las limitaciones de los enfoques de flujo único anteriores.
3. Marco Unificado de Una Etapa: Logra un rendimiento superior en seis benchmarks estándar sin depender de datos externos o módulos auxiliares, demostrando una alta eficiencia computacional y escalabilidad.

4. Resultados Experimentales

Los autores evaluaron LoGoSeg en seis benchmarks públicos: A-847, PC-459, A-150, PC-59, PAS-20 y PAS-20b.

• Rendimiento General: LoGoSeg alcanzó resultados del estado del arte (SOTA) o segundo mejor en todos los benchmarks.
  • En la configuración con backbone ViT-L/14, obtuvo un mIoU de 97.4 en PAS-20 y 83.3 en PAS-20b, superando a competidores fuertes como MAFT+ y SED.
  • En conjuntos de datos de vocabulario abierto más grandes (A-847 y PC-459), superó consistentemente a métodos de dos etapas y otros enfoques de una sola etapa.
• Escalabilidad: El modelo muestra una mejora casi lineal al escalar el backbone de ViT-B/16 a ViT-L/14, confirmando la robustez de sus componentes (prior, alineación y fusión).
• Generalización: Incluso con conjuntos de datos de entrenamiento limitados (entrenado solo en PC-59 o A-150), LoGoSeg mantuvo un rendimiento superior en comparación con métodos que requieren datos masivos adicionales.
• Análisis de Ablación: Los experimentos demostraron que cada módulo (Prior, Fusión Cross-Modal, Alineación Regional) contribuye significativamente al rendimiento final, siendo la alineación guiada por priors la que más reduce las alucinaciones.

5. Significado e Impacto

LoGoSeg representa un avance significativo en la segmentación semántica de vocabulario abierto al resolver el compromiso tradicional entre eficiencia y precisión.

• Eliminación de Dependencias Externas: Al no requerir generadores de máscaras externos (como SAM) ni backbones adicionales, simplifica el pipeline de inferencia y reduce la carga computacional.
• Robustez en Escenas Complejas: La integración de priors de objetos y alineación regional permite al modelo manejar mejor escenas con oclusiones, objetos pequeños y categorías ambiguas, reduciendo drásticamente los falsos positivos.
• Dirección Futura: Aunque el modelo depende de backbones de VLM grandes (lo que puede limitar el despliegue en tiempo real en dispositivos con recursos limitados), establece una base sólida para el desarrollo de variantes ligeras y la integración de modalidades más allá del par visión-idioma.

En conclusión, LoGoSeg demuestra que una arquitectura de una sola etapa, bien diseñada con mecanismos de alineación regional y fusión de características locales/globales, puede superar a los enfoques de dos etapas en términos de precisión y eficiencia para tareas de segmentación abierta.