Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Resumo Técnico: SegWorld – Rumo ao Raciocínio Proativo de Afordâncias via Cadeia de Pensamento Visual

1. Definição do Problema: A Lacuna entre Intenção e Alvo

Os modelos atuais de segmentação orientados por linguagem, que integram Modelos de Linguagem de Grande Escala (LLMs) com decodificadores de máscara, operam principalmente sob um paradigma condicionado à consulta. Neste cenário, as instruções são "referenciais ao alvo", nomeando, descrevendo ou restringindo explicitamente a região específica a ser segmentada (por exemplo, "segmente a xícara vermelha"). Embora trabalhos recentes tenham introduzido a cadeia de pensamento visual (CoT) para lidar com raciocínio implícito, a cena visual permanece irrelevante até que uma consulta específica seja feita.

No entanto, na interação corporificada do mundo real, as instruções humanas são frequentemente de nível de intenção e pragmáticas. Elas descrevem um resultado desejado sem especificar a região-alvo (por exemplo, "quero beber água" em uma cena contendo uma caneca, uma chaleira e um prato). Cumprir tal instrução exige que o agente:

1. Inferir o objeto relevante (a caneca).
2. Determinar a ação necessária (agarrar).
3. Identificar a parte portadora de afordância específica que permite a ação (o cabo), em vez de todo o objeto.

Os modelos existentes lutam com essa lacuna "de intenção para parte" porque carecem do raciocínio proativo para conectar objetivos de alto nível com locais de interação física de baixo nível.

2. Metodologia: O Framework SegWorld

Os autores propõem o SegWorld, um framework que substitui o mapeamento direto de instrução para máscara por um processo de raciocínio proativo e multinível. A inovação central é uma arquitetura de duas passadas e três estágios que formaliza a segmentação como inferência probabilística, onde a observação proativa serve como prior.

A. Formulação Probabilística
O SegWorld aproxima a estimativa direta $P_\theta(M | I, q)$ marginalizando sobre um contexto de cena independente da instrução $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Aqui, $I$ é a imagem, $q$ é a instrução e $c$ é um contexto linguístico de cena gerado antes que a instrução seja conhecida.

B. Arquitetura e Estágios
O modelo utiliza um backbone compartilhado Visão-Linguagem (ajustado com LoRA) e um decodificador de máscara SAM2. O processo desdobra-se em duas passadas forward:

1. Estágio 0: Observação Proativa (Sem Instrução)

   • Entrada: Apenas Imagem $I$.
   • Saída: Um contexto linguístico de cena $c = (s, o_{list}, r, e)$.
   • Processo: O modelo gera quatro níveis de raciocínio:
     • Cena ($s$): Descrição geral do cenário.
     • Objetos ($o_{list}$): Lista de objetos visíveis salientes.
     • Relações ($r$): Relações espaciais e funcionais.
     • Eventos ($e$): Interações plausíveis que a cena aforda (por exemplo, "despejar", "beber um gole").
   • Objetivo: Estabelecer um "contexto linguístico de cena" que atue como um prior informativo, independente da consulta específica do usuário.

2. Estágio 1: Raciocínio Condicionado à Instrução

   • Entrada: Imagem $I$, Instrução $q$ e Contexto $c$.
   • Processo: O modelo percorre uma cadeia de pensamento visual de oito níveis organizada em três sub-estágios:
     • Resolução de Intenção: Identifica o objeto relevante ($o$) e a ação ($a$) necessária para cumprir a intenção.
     • Ancoragem de Afordância: Identifica a parte específica do objeto ($p$) que suporta a ação e nomeia sua afordância ($f$).
     • Segmentação: A cadeia termina em um token especial [SEG]. Seu estado oculto é projetado em um embedding de prompt para o decodificador de máscara SAM2, que funde isso com características da imagem para prever a máscara binária $M$.

C. Estratégia de Treinamento

• Objetivo: Treinamento conjunto com perda de máscara (entropia cruzada binária + Dice) e perdas de modelagem de linguagem tanto para a cadeia de observação quanto para a cadeia de raciocínio.
• Supervisão: Os níveis de observação são sintetizados offline usando modelos visão-linguagem para garantir que sejam agnósticos à instrução. Os níveis de raciocínio utilizam anotações de verdade fundamental do novo benchmark.
• Amostragem Agendada: Para fechar a lacuna entre treino e teste, o modelo é treinado para condicionar-se em contextos sintetizados inicialmente, transitando gradualmente para contextos auto-gerados.

3. Contribuições Principais

1. Configuração de Segmentação de Nível de Intenção: O artigo identifica e define um novo paradigma de segmentação onde as instruções especificam um objetivo em vez de um alvo, exigindo a recuperação de uma parte de objeto portadora de afordância através de etapas de raciocínio latentes ($q \to o \to a \to (p, f) \to M^\star$).
2. Framework SegWorld: Um modelo de segmentação proativo que executa uma CoT visual de oito níveis. É formalmente fundamentado em inferência probabilística, usando observação proativa para fornecer um contexto de cena que afina a distribuição posterior para consultas de nível de intenção.
3. Benchmark Intent2Part: Um novo conjunto de dados construído com base no InstructPart, adicionando instruções de nível de intenção a 1.800 amostras de treinamento e 600 de teste. Inclui objetivos de alto nível (por exemplo, "quero relaxar") emparelhados com as partes portadoras de afordância correspondentes (por exemplo, o cabo de uma taça de vinho).

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark Intent2Part, comparando o SegWorld com baselines como LISA, Sa2VA, Affordance-R1 e SAM3-I.

• Desempenho Referencial ao Alvo: O SegWorld iguala ou supera baselines fortes em instruções de referência e raciocínio padrão, demonstrando que o mecanismo de raciocínio proativo não degrada o desempenho em tarefas convencionais.
• Desempenho de Nível de Intenção:
  • Generalização Zero-Shot: O SegWorld v1 (treinado apenas em instruções referenciais ao alvo) alcança um mIoU de 0,514 na divisão test_clean de nível de intenção, superando a baseline mais forte (Affordance-R1) em 3,4 pontos. Isso sugere que o modelo aprende um padrão reutilizável de inferência de intenção para parte.
  • Melhoria Supervisionada: O SegWorld v2 (treinado com instruções de nível de intenção) melhora ainda mais para 0,612 mIoU em test_clean, superando significativamente todas as baselines.
  • Emissão de Tokens: Diferente de modelos prontos (por exemplo, Sa2VA) que frequentemente falham em emitir um token de segmentação para consultas de intenção (respondendo conversacionalmente em vez disso), o SegWorld consistentemente compromete-se com uma máscara.
• Estudos de Ablação: Remover o contexto proativo ou a cadeia de raciocínio do Estágio 1 causa quedas significativas de desempenho, confirmando que o raciocínio explícito sobre objetos, ações e afordâncias é crítico para a ancoragem de intenção.

5. Significado e Alegações

O artigo afirma que o SegWorld representa um passo em direção a sistemas de segmentação que raciocinam sobre o que uma cena aforda em vez de meramente seguir instruções explícitas. Ao mudar de um paradigma reativo, condicionado à consulta, para um proativo, o modelo consegue lidar com a natureza subespecificada da intenção humana na interação corporificada.

Os autores enfatizam que a cadeia de pensamento visual torna o processo de previsão interpretável e rastreável, expondo a origem de uma previsão (por exemplo, a cadeia de raciocínio levando ao "cabo" em vez de toda a "garrafa"). Eles reconhecem limitações, observando que o trabalho atual é restrito a imagens estáticas e intenções de passo único, e que o raciocínio explícito baseado em linguagem torna o sistema sensível a erros em previsões textuais intermediárias. No entanto, os resultados sugerem que a observação proativa é mais valiosa exatamente onde os modelos condicionados à consulta tradicionais são mais fracos: na recuperação de partes acionáveis a partir de objetivos de alto nível.