Resumen Técnico: Hacia Modelos de Segmentación Visión-Lenguaje Semánticamente Agnósticos y Conscientes de la Forma

1. Planteamiento del Problema

Los avances recientes en Modelos Visión-Lenguaje (VLM) han permitido tareas de segmentación guiadas por instrucciones en lenguaje natural. Sin embargo, los modelos actuales más avanzados (por ejemplo, LISA, GSVA) dependen en gran medida de categorías semánticas de objetos de alto nivel (por ejemplo, "señal de stop", "perro") presentes en conjuntos de datos estándar como COCO o LVIS. Esta dependencia semántica crea una limitación significativa: estos modelos tienen dificultades para razonar sobre propiedades visuales intrínsecas como la forma, la geometría, la textura o el color cuando faltan etiquetas semánticas explícitas.

En consecuencia, los VLM existentes no logran manejar consultas no semánticas de manera efectiva. Por ejemplo, un modelo entrenado principalmente en categorías semánticas puede fallar al segmentar un "objeto octogonal rojo" si no puede alinear la descripción con una etiqueta de clase específica como "señal de stop". Esta limitación restringe la generalización y la controlabilidad de los modelos de segmentación en aplicaciones del mundo real donde se requiere un control preciso sobre propiedades visuales (por ejemplo, restricciones anatómicas, formas geométricas específicas) sin clases semánticas predefinidas.

2. Metodología

Los autores introducen la segmentación SANSA (Semánticamente Agnóstica y Consciente de la Forma), un nuevo paradigma que requiere que los modelos segmenten objetos basándose únicamente en descripciones perceptuales (forma, color, textura, propiedades espaciales) en lugar de categorías semánticas. La metodología consta de dos etapas principales:

A. Generación de Prompts de Segmentación SANSA

Para abordar la falta de conjuntos de datos semánticamente agnósticos, los autores proponen una pipeline automatizada para generar prompts de segmentación utilizando un VLM de descripción (InternVL 2.5). Para evitar que el VLM filtre información semántica (por ejemplo, nombrar el objeto), se emplean dos estrategias complementarias:

1. DISP (Prompts de Segmentación Basados en Diccionario):

   • Restricción: El VLM de descripción se ve obligado a generar tokens exclusivamente a partir de un diccionario predefinido de atributos semánticamente agnósticos (colores, texturas, formas, patrones, iluminación y conectores).
   • Post-procesamiento: Un LLM externo (Mistral 7B) reformula estas salidas restringidas al diccionario en prompts de segmentación fluidos y naturales, preservando estrictamente las restricciones perceptuales originales.
   • Preprocesamiento de Entrada: Los objetos objetivo se recortan utilizando sus máscaras binarias antes de ser alimentados al VLM para minimizar la filtración semántica contextual.

2. EXSP (Prompts de Segmentación Basados en Ejemplos):

   • Guía: En lugar de un diccionario fijo, el VLM se guía mediante ejemplos positivos (descripciones semánticamente agnósticas) y ejemplos negativos (descripciones que contienen palabras semánticas) dentro del prompt de instrucción.
   • Filtrado con LLM como Juez (LLMJ): Dado que la estrategia EXSP no está restringida, se aplica un paso de filtrado donde un LLM separado clasifica las descripciones generadas como "semánticas" o "semánticamente agnósticas" basándose únicamente en el texto. Las descripciones identificadas como que contienen información semántica se eliminan del conjunto de datos.

B. Ajuste Fino del Modelo

Los autores realizan un ajuste fino de un VLM de segmentación de última generación, LISA 7B, utilizando los prompts SANSA generados.

• Arquitectura: Emplean LoRA (Adaptación de Bajo Rango) para ajustar fino el modelo multimodal (LLaVA) responsable de generar los tokens de segmentación y el decodificador de visión.
• Función de Pérdida: El entrenamiento utiliza una combinación ponderada de entropía cruzada binaria a nivel de píxel (BCE) y pérdida Dice.
• Datos: Los modelos se entrenan en un subconjunto de COCO (10k imágenes) convertido a prompts SANSA, con evaluación realizada en conjuntos de prueba retenidos y un conjunto "Human Prompt" (HP) curado manualmente.

3. Contribuciones Clave

• Paradigma de Segmentación SANSA: La introducción de una tarea de segmentación que depende exclusivamente de propiedades visuales (forma, geometría, color, textura) sin categorías semánticas de objetos.
• Estrategias Automatizadas de Generación de Prompts: La propuesta de dos estrategias escalables (DISP y EXSP) para generar prompts de segmentación semánticamente agnósticos, superando la dificultad de la anotación manual para descripciones no semánticas.
• Mejora del Rendimiento: Demostración de que el ajuste fino sobre prompts SANSA mejora significativamente la precisión de segmentación en tareas no semánticas en comparación con modelos preentrenados, manteniendo al mismo tiempo el rendimiento en tareas semánticas estándar.

4. Resultados Experimentales

Los experimentos se realizaron en un subconjunto del conjunto de datos COCO (2k imágenes de prueba) y un conjunto Human Prompt (HP) (160 imágenes).

• Rendimiento Cuantitativo:
  • Los modelos SANSA ajustados fino lograron una mejora de hasta un 20% en mIoU en la tarea SANSA en comparación con los modelos preentrenados de última generación (LISA, GSVA, PolyFormer).
  • La estrategia EXSP obtuvo el mIoU promedio más alto (37.46% en conjuntos de prueba automáticos, 42.98% en HP), lo que sugiere que genera prompts que se generalizan bien a descripciones semánticamente agnósticas escritas por humanos.
  • La estrategia DISP mostró un rendimiento robusto, particularmente en el conjunto de prueba EXSP+LLMJ filtrado, confirmando la efectividad de la restricción del diccionario.
• Rendimiento Cualitativo:
  • Los modelos preentrenados (LISA, GSVA) fallaron al interpretar prompts semánticamente agnósticos (por ejemplo, "Segmenta el objeto octogonal rojo"), a menudo fallando al segmentar el objetivo o segmentando objetos incorrectos.
  • Los modelos SANSA ajustados fino segmentaron con precisión los objetos basándose únicamente en descripciones de forma y color.
• Robustez y Generalización:
  • Preservación Semántica: El ajuste fino sobre prompts SANSA no degradó el rendimiento en la tarea original de segmentación semántica; el mIoU en prompts semánticos estándar permaneció comparable a la línea base preentrenada de LISA (menos de un 1% de caída).
  • Eficacia del Filtrado: El filtro LLMJ logró una precisión del 82.5% y una exactitud del 94% en la detección de filtración semántica en prompts EXSP.

5. Significado

El artículo argumenta que la dependencia actual de la alineación semántica en los VLM limita su capacidad para razonar sobre propiedades visuales intrínsecas. Al desplazar el enfoque hacia el razonamiento visual de bajo y medio nivel, la segmentación SANSA demuestra que los modelos pueden hacerse más generalizables y controlables.

Los autores destacan que este enfoque es particularmente valioso para dominios donde las etiquetas semánticas no están disponibles, son insuficientes o donde se requiere un control preciso sobre las propiedades de segmentación (como el número de componentes conectados o restricciones geométricas específicas). El trabajo establece una base para extender los VLM más allá de la comprensión basada únicamente en lo semántico, permitiéndoles operar de manera efectiva sobre descripciones puramente perceptuales.