Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Resumen Técnico: SegWorld – Hacia un Razonamiento Proactivo de Afordancias mediante Cadenas de Pensamiento Visuales

1. Definición del Problema: La Brecha entre Intención y Objetivo

Los modelos actuales de segmentación impulsados por lenguaje, que integran Modelos de Lenguaje Grande (LLM) con decodificadores de máscaras, operan principalmente bajo un paradigma condicionado por consultas. En este escenario, las instrucciones son "referentes al objetivo", nombrando, describiendo o restringiendo explícitamente la región específica a segmentar (por ejemplo, "segmenta la taza roja"). Aunque trabajos recientes han introducido cadenas de pensamiento visuales (CoT) para manejar el razonamiento implícito, la escena visual permanece irrelevante hasta que se formula una consulta específica.

Sin embargo, en la interacción encarnada del mundo real, las instrucciones humanas suelen ser de nivel de intención y pragmáticas. Describen un resultado deseado sin especificar la región objetivo (por ejemplo, "quiero beber agua" en una escena que contiene una taza, una tetera y un plato). Cumplir tal instrucción requiere que el agente:

1. Infiera el objeto relevante (la taza).
2. Determine la acción necesaria (agarrar).
3. Identifique la parte portadora de afordancia específica que permite la acción (el asa), en lugar de todo el objeto.

Los modelos existentes luchan con esta brecha de "intención-a-parte" porque carecen del razonamiento proactivo necesario para conectar objetivos de alto nivel con sitios de interacción física de bajo nivel.

2. Metodología: El Marco SegWorld

Los autores proponen SegWorld, un marco que reemplaza el mapeo directo de instrucción-a-máscara con un proceso de razonamiento proactivo y multinivel. La innovación central es una arquitectura de dos pasos y tres etapas que formaliza la segmentación como inferencia probabilística, donde la observación proactiva sirve como una priori.

A. Formulación Probabilística
SegWorld aproxima la estimación directa $P_\theta(M | I, q)$ marginalizando sobre un contexto de escena independiente de la instrucción $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Aquí, $I$ es la imagen, $q$ es la instrucción y $c$ es un contexto de escena lingüístico generado antes de conocer la instrucción.

B. Arquitectura y Etapas
El modelo utiliza una columna vertebral compartida de Visión-Lenguaje (ajustada finamente con LoRA) y un decodificador de máscaras SAM2. El proceso se desarrolla en dos pasos hacia adelante:

1. Etapa 0: Observación Proactiva (Sin Instrucción)

   • Entrada: Solo la imagen $I$.
   • Salida: Un contexto de escena lingüístico $c = (s, o_{lista}, r, e)$.
   • Proceso: El modelo genera cuatro niveles de razonamiento:
     • Escena ($s$): Descripción general del entorno.
     • Objetos ($o_{lista}$): Lista de objetos visibles salientes.
     • Relaciones ($r$): Relaciones espaciales y funcionales.
     • Eventos ($e$): Interacciones plausibles que la escena aforda (por ejemplo, "verter", "beber a sorbos").
   • Objetivo: Establecer un "contexto de escena lingüístico" que actúe como una priori informativa, independiente de la consulta específica del usuario.

2. Etapa 1: Razonamiento Condicionado por Instrucción

   • Entrada: Imagen $I$, Instrucción $q$ y Contexto $c$.
   • Proceso: El modelo recorre una cadena de pensamiento visual de ocho niveles organizada en tres sub-etapas:
     • Resolución de Intención: Identifica el objeto relevante ($o$) y la acción ($a$) requerida para cumplir la intención.
     • Anclaje de Afordancia: Identifica la parte específica del objeto ($p$) que soporta la acción y nombra su afordancia ($f$).
     • Segmentación: La cadena termina en un token especial [SEG]. Su estado oculto se proyecta en una incrustación de indicación para el decodificador de máscaras SAM2, que fusiona esto con características de la imagen para predecir la máscara binaria $M$.

C. Estrategia de Entrenamiento

• Objetivo: Entrenamiento conjunto con pérdida de máscara (entropía cruzada binaria + Dice) y pérdidas de modelado de lenguaje tanto para la cadena de observación como para la cadena de razonamiento.
• Supervisión: Los niveles de observación se sintetizan fuera de línea utilizando modelos de visión-lenguaje para garantizar que sean agnósticos a la instrucción. Los niveles de razonamiento utilizan anotaciones de verdad fundamental del nuevo punto de referencia.
• Muestreo Programado: Para cerrar la brecha entre entrenamiento y prueba, el modelo se entrena para condicionarse inicialmente en contextos sintetizados, transitando gradualmente hacia contextos auto-generados.

3. Contribuciones Clave

1. Configuración de Segmentación a Nivel de Intención: El artículo identifica y define un nuevo paradigma de segmentación donde las instrucciones especifican un objetivo en lugar de un objetivo, requiriendo la recuperación de una parte de objeto portadora de afordancia a través de pasos de razonamiento latentes ($q \to o \to a \to (p, f) \to M^\star$).
2. Marco SegWorld: Un modelo de segmentación proactiva que realiza una cadena de pensamiento visual de ocho niveles. Está fundamentado formalmente en inferencia probabilística, utilizando observación proactiva para suministrar un contexto de escena que afila la distribución posterior para consultas a nivel de intención.
3. Punto de Referencia Intent2Part: Un nuevo conjunto de datos construido basado en InstructPart, añadiendo instrucciones a nivel de intención a 1.800 muestras de entrenamiento y 600 de prueba. Incluye objetivos de alto nivel (por ejemplo, "quiero relajarme") emparejados con las partes portadoras de afordancia correspondientes (por ejemplo, el asa de una copa de vino).

4. Resultados Experimentales

Los experimentos se realizaron en el punto de referencia Intent2Part, comparando SegWorld contra líneas base como LISA, Sa2VA, Affordance-R1 y SAM3-I.

• Rendimiento Referente al Objetivo: SegWorld iguala o supera a las líneas base fuertes en instrucciones de referencia y razonamiento estándar, demostrando que el mecanismo de razonamiento proactivo no degrada el rendimiento en tareas convencionales.
• Rendimiento a Nivel de Intención:
  • Generalización Zero-Shot: SegWorld v1 (entrenado solo en instrucciones referentes al objetivo) logra un 0.514 mIoU en la división test_clean a nivel de intención, superando a la línea base más fuerte (Affordance-R1) en 3.4 puntos. Esto sugiere que el modelo aprende un patrón de inferencia reutilizable de intención-a-parte.
  • Mejora Supervisada: SegWorld v2 (entrenado con instrucciones a nivel de intención) mejora aún más hasta 0.612 mIoU en test_clean, superando significativamente a todas las líneas base.
  • Emisión de Tokens: A diferencia de modelos listos para usar (por ejemplo, Sa2VA) que a menudo fallan al emitir un token de segmentación para consultas de intención (respondiendo conversacionalmente en su lugar), SegWorld se compromete consistentemente con una máscara.
• Estudios de Ablación: Eliminar el contexto proactivo o la cadena de razonamiento de la Etapa 1 causa caídas significativas en el rendimiento, confirmando que el razonamiento explícito sobre objetos, acciones y afordancias es crítico para el anclaje de la intención.

5. Significado y Afirmaciones

El artículo afirma que SegWorld representa un paso hacia sistemas de segmentación que razonan sobre lo que una escena aforda en lugar de simplemente seguir instrucciones explícitas. Al cambiar de un paradigma reactivo condicionado por consultas a uno proactivo, el modelo puede manejar la naturaleza subespecificada de la intención humana en la interacción encarnada.

Los autores enfatizan que la cadena de pensamiento visual hace que el proceso de predicción sea interpretable y rastreable, exponiendo el origen de una predicción (por ejemplo, la cadena de razonamiento que conduce al "asa" en lugar de a toda la "botella"). Reconocen limitaciones, señalando que el trabajo actual se restringe a imágenes estáticas e intenciones de un solo paso, y que el razonamiento explícito basado en lenguaje hace que el sistema sea sensible a errores en las predicciones textuales intermedias. Sin embargo, los resultados sugieren que la observación proactiva es más valiosa precisamente donde los modelos tradicionales condicionados por consultas son más débiles: en la recuperación de partes accionables a partir de objetivos de alto nivel.