Resumen Técnico: LlamaSeg

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han unificado con éxito diversas tareas de visión y lenguaje bajo un marco autorregresivo, extender este paradigma a la segmentación de imágenes densa sigue siendo un desafío significativo. Los enfoques autorregresivos existentes para la segmentación sufren tres limitaciones principales:

1. Métodos basados en embeddings: Predicen tokens latentes (por ejemplo, <SEG>) y dependen de modelos especialistas externos (como SAM) para la generación a nivel de píxel, lo que socava el objetivo de un marco unificado y de extremo a extremo (end-to-end).
2. Métodos basados en coordenadas: Codifican las máscaras como secuencias de vértices de polígonos. Aunque están alineados con la predicción del siguiente token, requieren secuencias largas para capturar bordes intrincados, lo que reduce la eficiencia y la escalabilidad.
3. Métodos condicionados por texto: Formulan la segmentación como generación de texto (emitiendo tokens de categoría o descripciones) que deben convertirse en máscaras posteriormente, lo que inevitablemente limita la precisión espacial.

Los métodos actuales no logran proporcionar una segmentación de extremo a extremo y de grano fino dentro de una única arquitectura autorregresiva unificada.

Metodología: LlamaSeg

Los autores proponen LlamaSeg, un marco de autorregresión visual que reformula la segmentación de imágenes como una tarea de generación visual. En lugar de predecir coordenadas o texto, el modelo genera directamente máscaras de segmentación como secuencias de tokens visuales discretos.

Arquitectura Central

• Tokenización de Máscaras: Las máscaras de segmentación se tratan como estructuras similares a imágenes (píxeles en blanco y negro) y se discretizan en secuencias de tokens utilizando VQGAN (Red Generativa Adversaria de Cuantización Vectorial). El codificador transforma la máscara normalizada en características, que se cuantifican en índices de código discretos a partir de un libro de códigos (codebook).
• Generador Autorregresivo: Se emplea un Transformer de estilo LLaMA para la predicción del siguiente token.
  • Entrada: El modelo recibe prompts de texto concatenados, características de imagen (codificadas por SigLIP) y tokens separadores aprendibles (<BOI>, <BOM>).
  • Salida: El modelo genera autorregresivamente tokens de máscara (índices de código).
  • Decodificación: Durante la inferencia, la secuencia de tokens predicha se mapea de nuevo al libro de códigos, se reorganiza en un mapa de características 2D y es decodificada por el decodificador VQGAN para reconstruir la máscara de segmentación.
• Variantes de Entrenamiento:
  • Desde cero (From Scratch): Utiliza una arquitectura LLaMA base con codificadores de imagen/texto congelados y adaptadores entrenables.
  • Adaptación de MLLM Pre-entrenado: Aprovecha un MLLM pre-entrenado (Janus Pro) con LoRA (Adaptación de Bajo Rango) para un ajuste fino eficiente, manteniendo congelados los componentes generativos.

Construcción de Datos: SA-OVRS

Para abordar la falta de datos de entrenamiento a gran escala para este paradigma, los autores construyeron SA-OVRS, un conjunto de datos que contiene 2 millones de máscaras de segmentación anotadas con más de 5.800 etiquetas de vocabulario abierto y diversas descripciones textuales.

• Pipeline: Se desarrolló un proceso de anotación de dos etapas:
  1. Generación y Emparejamiento de Etiquetas: Utiliza Qwen2-VL para generar etiquetas candidatas de vocabulario abierto y GroundingDINO para emparejarlas con las máscaras de SA-1B, aplicando un filtrado estricto (umbrales de IoU, puntuaciones de confianza).
  2. Generación de Datos Textuales: Genera expresiones de referencia únicas y descripciones de razonamiento para cada instancia, verificadas mediante verificación cruzada para asegurar la falta de ambigüedad.

Métrica de Evaluación: dAHD

El artículo introduce la distancia de Hausdorff promedio (dAHD) bajo umbrales de IoU de múltiples niveles como una métrica compuesta. A diferencia del IoU estándar, que mide el solapamiento de regiones, la dAHD evalúa la fidelidad del contorno calculando la distancia euclidiana bidireccional entre los puntos de los bordes predichos y los reales (ground-truth). Esto es crítico para evaluar la calidad de los modelos de segmentación generativos.

Contribuciones Clave

1. Marco LlamaSeg: Un marco de segmentación autorregresiva visual que unifica la segmentación dentro de la arquitectura LLM, permitiendo la predicción nativa del siguiente token para máscaras de alta fidelidad y grano fino sin especialistas externos.
2. Conjunto de Datos SA-OVRS: Un conjunto de datos a gran escala (2M de instancias) con etiquetas de vocabulario abierto y ricas descripciones textuales, acompañado de un pipeline de anotación reutilizable para facilitar la investigación futura.
3. Métrica dAHD: Una nueva métrica de evaluación diseñada para evaluar mejor la fidelidad del contorno de la máscara en modelos generativos, abordando las limitaciones de las métricas basadas en regiones.

Resultados Experimentales

Los experimentos se realizaron en múltiples benchmarks incluyendo ADE20K, COCO-Stuff, PC-459, PC-59, PAS-20 y conjuntos de datos de segmentación de referencia (refCOCO, refCOCO+, refCOCOg).

• Segmentación Semántica: LlamaSeg supera consistentemente a los modelos generativos visuales existentes (por ejemplo, la serie Unified-IO) en todos los benchmarks. El LlamaSeg-L (1.5B de parámetros) logra un 52.0 mIoU en ADE20K y un 55.7 mIoU en COCO-Stuff, superando a modelos más grandes como Unified-IO2-XXL (6.6B) con menos parámetros. Las entradas de mayor resolución (384px) mejoran aún más el rendimiento.
• Segmentación de Referencia: El modelo supera otros enfoques generativos visuales en tareas de segmentación de referencia, logrando un 60.5 cIoU en refCOCO testA (LlamaSeg-L), aunque permanece ligeramente por detrás de los modelos discriminativos especializados.
• Precisión de Bordes: LlamaSeg demuestra una precisión de borde significativamente superior. En la métrica dAHD, LlamaSeg-L logra puntuaciones de 25.54 (ADE20K) y 10.45 (refCOCO), notablemente menores (mejores) que las variantes de Unified-IO (por ejemplo, Unified-IO2-XXL con puntuaciones de ~79.72 en ADE20K), lo que indica una alineación de contorno mucho mayor.
• Eficiencia: Aunque es más lento que los modelos discriminativos paralelos (LAVT), LlamaSeg es significativamente más rápido que otros enfoques generativos (Unified-IO2-Large), demostrando una mejor eficiencia dentro del paradigma generativo.
• Estudios de Ablación:
  • Tokenización: El VQGAN pre-entrenado (congelado) supera a las versiones ajustadas finamente en datos de máscara, lo que sugiere que el pre-entrenamiento en imágenes a color captura los bordes de manera efectiva.
  • Decodificación: La búsqueda codiciosa (greedy search) es la estrategia más efectiva para la generación determinista de máscaras.
  • Datos: El pre-entrenamiento en SA-OVRS es crucial para el rendimiento, produciendo ganancias claras sobre los modelos entrenados sin él.

Significado y Reivindicaciones

El artículo afirma que LlamaSeg cierra con éxito la brecha entre el modelado de lenguaje autorregresivo y la predicción visual densa. Al tratar las máscaras como tokens visuales, el método permite una segmentación de extremo a extremo y unificada que escala con el tamaño del modelo y la resolución. Los autores aseguran que su enfoque ofrece máscaras de segmentación más finas y precisas con una mejor preservación de los bordes en comparación con los métodos generativos existentes. La introducción de SA-OVRS y la métrica dAHD proporciona recursos y herramientas esenciales para avanzar en el campo de la segmentación autorregresiva, yendo más allá de la dependencia de módulos externos o representaciones de coordenadas gruesas.