Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation

Resumen Técnico: ¿Mostrar o Decir? El uso efectivo de prompts en Modelos de Lenguaje-Visión para la segmentación semántica

Declaración del Problema

El artículo aborda el desafío de promediar eficazmente los prompts para los Modelos de Lenguaje-Visión (VLM) de gran escala en la segmentación semántica sin necesidad de un ajuste fino (fine-tuning) específico para la tarea. Aunque los VLM se han consolidado como backbones robustos para el razonamiento multimodal, su capacidad para funcionar como "modelos fundacionales" para tareas de predicción densa, como la segmentación, sigue sin estar demostrada. Los autores investigan si los prompts de texto (TP) o los prompts visuales (VP) son más expeditos para delinear objetos en imágenes, particularmente en escenarios fuera de la distribución (OOD).

Se establece una distinción crítica entre el aprendizaje de pocos disparos (few-shot learning) tradicional, que requiere el ajuste fino del modelo, y el protocolo propuesto de Segmentación Semántica con Prompts de Pocos Disparos (FPSS). En el FPSS, el modelo permanece congelado; el usuario proporciona un pequeño conjunto de ejemplos anotados (prompts visuales) o una descripción de texto (prompts de texto) para guiar al modelo en imágenes nuevas y no vistas. El artículo postula que, mientras que los prompts de texto suelen ser genéricos (por ejemplo, "segmentar todos los gatos"), los prompts visuales son típicamente específicos de la imagen. Sin embargo, los autores abogan por un enfoque de prompting visual escalable donde un conjunto fijo de ejemplos anotados sirve como prompt para un conjunto de prueba arbitrariamente grande, incurriendo solo en una sobrecarga constante.

Metodología

Marco de Evaluación

Los autores evalúan diversos modelos en la colección de datasets MESS, un benchmark que comprende 22 conjuntos de datos de segmentación diversos a través de cinco dominios: General, Tierra, Médico, Ingeniería y Agricultura. La evaluación se adhiere estrictamente a un protocolo libre de entrenamiento para evaluar las capacidades de generalización inherentes de los modelos, evitando la filtración de información de benchmarks estándar como COCO o Pascal VOC, que pueden solaparse con los datos de pre-entrenamiento.

El estudio compara tres categorías de modelos:

1. Modelos con Prompt de Texto: Modelos de segmentación de vocabulario abierto (CAT-Seg, NACLIP) y VLMs (Florence-2, PALI-Gemma, LISA).
2. Modelos con Prompt Visual: Modelos entrenados con pistas visuales (SEEM, DINOv) y marcos de trabajo libres de entrenamiento que aprovechan algoritmos de emparejamiento (Matcher, SoftMatcher, SoftMatcher+).
3. Baselines Supervisados: Modelos específicos de dominio entrenados en el mismo dominio, que sirven como el límite superior de rendimiento.

Análisis Clave: Ensembles Oráculo

Para comprender la naturaleza complementaria de las dos modalidades, los autores construyen ensambles "Oráculo":

• Ensemble Oráculo: Selecciona el método con mejor desempeño (TP o VP) por cada dataset.
• Ensemble Oráculo+: Selecciona el mejor método por cada imagen.

Este análisis revela que los prompts de texto y visuales son altamente complementarios; cada modalidad falla en los ejemplos que la otra puede resolver. El Ensemble Oráculo+ logra una mejora del 11% sobre el mejor baseline de solo texto, resaltando el potencial de combinar las modalidades.

Marco Propuesto: PromptMatcher

Motivados por las fortalezas complementarias de TP y VP, los autores proponen PromptMatcher, un marco de trabajo libre de entrenamiento que integra ambas modalidades. El marco opera en dos etapas:

1. Generación de Máscaras:
   • Rama de Texto: Utiliza LISA (un VLM que integra LLaVA, CLIP y SAM) para procesar prompts de texto, generando máscaras de segmentación mediante un token <SEG> especializado.
   • Rama Visual: Utiliza SoftMatcher+ (una versión mejorada de SoftMatcher que utiliza características de AM-RADIO) para procesar prompts visuales (imágenes de referencia con máscaras), generando prompts de puntos para que SAM cree propuestas de máscara.
2. Verificación y Fusión:
   • Un módulo de verificación, basado en el pipeline de rechazo de SoftMatcher+, actúa como un "crítico" para ambas ramas. Prueba la consistencia de la máscara contra la imagen de referencia.
   • Las máscaras que fallan las comprobaciones de consistencia (por ejemplo, alucinaciones de la rama de texto o ruido de la rama visual) son descartadas.
   • Las máscaras restantes verificadas se combinan mediante una unión binaria para producir la salida de segmentación final.

Resultados Clave

Brecha de Rendimiento

El estudio encuentra que incluso los VLM más avanzados se quedan significativamente atrás de los modelos especialistas entrenados para tareas específicas. En promedio, los VLM están aproximadamente un 30% por debajo de los baselines supervisados en Intersección sobre Unión (IoU) en el dataset MESS.

Comparación de Modalidades

• Prompts de Texto: Generalmente funcionan mejor en promedio, pero tienen dificultades con descripciones ambiguas (por ejemplo, "Ropa superior") o términos altamente específicos y poco comunes (por ejemplo, "Golondrina que come gusanos").
• Prompts Visuales: Aunque generalmente tienen un rendimiento promedio inferior al de los prompts de texto, sobresalen en dominios técnicos (Ingeniería, Medicina) y para clases donde las descripciones de texto son ambiguas. Por ejemplo, SoftMatcher+ supera a LISA en dominios técnicos.
• Complementariedad: El análisis de las 10 clases principales con las mayores diferencias de IoU muestra que los prompts visuales pueden superar a los de texto hasta en un 80% para clases específicas, debido principalmente a la ambigüedad del lenguaje.

Rendimiento de PromptMatcher

PromptMatcher logra resultados de vanguardia en el entorno de segmentación de pocos disparos:

• Supera al mejor VLM con prompt de texto (LISA) por un 2.5%.
• Supera al mejor VLM con prompt visual por un 3.5%.
• Aunque no cierra la brecha con los modelos de dominio específicos totalmente supervisados, reduce significativamente la brecha de rendimiento en comparación con los enfoques de una sola modalidad.

Significado y Reivindicaciones

El artículo afirma que los VLM actuales aún no son verdaderos "modelos fundacionales" capaces de resolver múltiples tareas de manera zero-shot con un rendimiento comparable al de los modelos especializados. Los autores enfatizan que:

1. Complementariedad de Modalidades: Los prompts de texto y visuales no son intercambiables; abordan diferentes modos de fallo. La incapacidad de anticipar la modalidad más efectiva conduce a un rendimiento subóptimo.
2. Ambigüedad del Lenguaje: Una limitación primaria de los prompts de texto es la ambigüedad inherente y la especificidad del lenguaje natural, la cual los prompts visuales pueden sortear eficazmente.
3. Viabilidad Libre de Entrenamiento: Es posible lograr resultados de vanguardia en segmentación de pocos disparos sin realizar un ajuste fino, combinando eficazmente las modalidades a través de un mecanismo de verificación simple.

El trabajo sugiere que los futuros modelos fundacionales para la visión deben soportar e integrar nativamente tanto los mecanismos de prompting de texto como los visuales para superar las limitaciones de la instrucción unimodal.