Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Sintesi Tecnica: SegWorld – Verso un Ragionamento Proattivo sulle Affordances tramite Catena di Pensiero Visiva

1. Definizione del Problema: Il Divario tra Intento e Obiettivo

I modelli di segmentazione guidati dal linguaggio attuali, che integrano Modelli Linguistici su Larga Scala (LLM) con decoder di maschere, operano principalmente sotto un paradigma condizionato dalla query. In questo contesto, le istruzioni sono "riferite all'obiettivo", nominando, descrivendo o vincolando esplicitamente la regione specifica da segmentare (ad esempio, "segmenta la tazza rossa"). Sebbene lavori recenti abbiano introdotto la catena di pensiero visiva (CoT) per gestire il ragionamento implicito, la scena visiva rimane irrilevante fino a quando non viene posta una query specifica.

Tuttavia, nell'interazione incarnata nel mondo reale, le istruzioni umane sono spesso a livello di intento e pragmatiche. Descrivono un risultato desiderato senza specificare la regione target (ad esempio, "voglio bere acqua" in una scena contenente una tazza, una teiera e un piatto). Soddisfare un'istruzione del genere richiede all'agente di:

1. Inferire l'oggetto rilevante (la tazza).
2. Determinare l'azione necessaria (afferrare).
3. Identificare la specifica parte portante di affordance che abilita l'azione (il manico), piuttosto che l'oggetto intero.

I modelli esistenti faticano con questo divario "dall'intento alla parte" perché mancano del ragionamento proattivo necessario per collegare obiettivi di alto livello con siti di interazione fisica di basso livello.

2. Metodologia: Il Framework SegWorld

Gli autori propongono SegWorld, un framework che sostituisce la mappatura diretta da istruzione a maschera con un processo di ragionamento proattivo e multilivello. L'innovazione centrale è un'architettura a due passaggi e tre stadi che formalizza la segmentazione come inferenza probabilistica, dove l'osservazione proattiva funge da prior.

A. Formulazione Probabilistica
SegWorld approssima la stima diretta $P_\theta(M | I, q)$ marginalizzando su un contesto della scena indipendente dall'istruzione $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Qui, $I$ è l'immagine, $q$ è l'istruzione e $c$ è un contesto linguistico della scena generato prima che l'istruzione sia nota.

B. Architettura e Stadi
Il modello utilizza un backbone Vision-Language condiviso (ottimizzato con LoRA) e un decoder di maschere SAM2. Il processo si svolge in due passaggi in avanti:

1. Stadio 0: Osservazione Proattiva (Senza Istruzione)

   • Input: Solo immagine $I$.
   • Output: Un contesto linguistico della scena $c = (s, o_{list}, r, e)$.
   • Processo: Il modello genera quattro livelli di ragionamento:
     • Scena ($s$): Descrizione generale dell'ambientazione.
     • Oggetti ($o_{list}$): Elenco degli oggetti salienti visibili.
     • Relazioni ($r$): Relazioni spaziali e funzionali.
     • Eventi ($e$): Interazioni plausibili che la scena offre (ad esempio, "versare", "sorseggiare").
   • Obiettivo: Stabilire un "contesto linguistico della scena" che agisca come prior informativo, indipendente dalla specifica query dell'utente.

2. Stadio 1: Ragionamento Condizionato all'Istruzione

   • Input: Immagine $I$, Istruzione $q$ e Contesto $c$.
   • Processo: Il modello attraversa una catena di pensiero visiva a otto livelli organizzata in tre sottostadi:
     • Risoluzione dell'Intento: Identifica l'oggetto rilevante ($o$) e l'azione ($a$) necessaria per soddisfare l'intento.
     • Ancoraggio dell'Affordance: Identifica la specifica parte dell'oggetto ($p$) che supporta l'azione e ne nomina l'affordance ($f$).
     • Segmentazione: La catena termina con un token speciale [SEG]. Il suo stato nascosto viene proiettato in un embedding di prompt per il decoder di maschere SAM2, che fonde questo con le caratteristiche dell'immagine per prevedere la maschera binaria $M$.

C. Strategia di Addestramento

• Obiettivo: Addestramento congiunto con perdita di maschera (cross-entropy binaria + Dice) e perdite di modellazione linguistica sia per la catena di osservazione che per la catena di ragionamento.
• Supervisione: I livelli di osservazione sono sintetizzati offline utilizzando modelli visione-linguaggio per garantire che siano agnostici rispetto all'istruzione. I livelli di ragionamento utilizzano annotazioni ground-truth dal nuovo benchmark.
• Campionamento Programmato: Per colmare il divario tra addestramento e test, il modello viene addestrato a condizionarsi su contesti sintetizzati inizialmente, transitando gradualmente verso contesti auto-generati.

3. Contributi Chiave

1. Impostazione di Segmentazione a Livello di Intento: Il documento identifica e definisce un nuovo paradigma di segmentazione in cui le istruzioni specificano un obiettivo piuttosto che un target, richiedendo il recupero di una parte di oggetto portante di affordance attraverso passaggi di ragionamento latenti ($q \to o \to a \to (p, f) \to M^\star$).
2. Framework SegWorld: Un modello di segmentazione proattivo che esegue una CoT visiva a otto livelli. È formalmente fondato sull'inferenza probabilistica, utilizzando l'osservazione proattiva per fornire un contesto della scena che affina la distribuzione a posteriori per query a livello di intento.
3. Benchmark Intent2Part: Un nuovo dataset costruito basandosi su InstructPart, aggiungendo istruzioni a livello di intento a 1.800 campioni di addestramento e 600 di test. Include obiettivi di alto livello (ad esempio, "voglio rilassarmi") accoppiati con le corrispondenti parti portanti di affordance (ad esempio, il manico di un calice da vino).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark Intent2Part, confrontando SegWorld con baseline come LISA, Sa2VA, Affordance-R1 e SAM3-I.

• Prestazioni Riferite all'Obiettivo: SegWorld eguaglia o supera baseline robuste su istruzioni di riferimento e ragionamento standard, dimostrando che il meccanismo di ragionamento proattivo non degrada le prestazioni su compiti convenzionali.
• Prestazioni a Livello di Intento:
  • Generalizzazione Zero-Shot: SegWorld v1 (addestrato solo su istruzioni riferite all'obiettivo) raggiunge un mIoU di 0,514 sulla divisione test_clean a livello di intento, superando la baseline più forte (Affordance-R1) di 3,4 punti. Ciò suggerisce che il modello impara un pattern di inferenza riutilizzabile dall'intento alla parte.
  • Miglioramento Supervisionato: SegWorld v2 (addestrato con istruzioni a livello di intento) migliora ulteriormente fino a 0,612 mIoU su test_clean, superando significativamente tutte le baseline.
  • Emissione di Token: A differenza di modelli pronti all'uso (ad esempio Sa2VA) che spesso falliscono nell'emettere un token di segmentazione per query di intento (rispondendo invece in modo conversazionale), SegWorld si impegna costantemente a produrre una maschera.
• Studi di Ablazione: Rimuovere il contesto proattivo o la catena di ragionamento dello Stadio 1 causa cali significativi delle prestazioni, confermando che il ragionamento esplicito su oggetti, azioni e affordances è critico per l'ancoraggio dell'intento.

5. Significato e Affermazioni

Il documento afferma che SegWorld rappresenta un passo verso sistemi di segmentazione che ragionano su ciò che una scena offre piuttosto che limitarsi a seguire istruzioni esplicite. Spostandosi da un paradigma reattivo e condizionato dalla query a uno proattivo, il modello può gestire la natura non specificata dell'intento umano nell'interazione incarnata.

Gli autori sottolineano che la catena di pensiero visiva rende il processo di previsione interpretabile e tracciabile, esponendo l'origine di una previsione (ad esempio, la catena di ragionamento che porta al "manico" piuttosto che all'intera "bottiglia"). Riconoscono le limitazioni, notando che il lavoro attuale è limitato a immagini statiche e intenti a singolo passaggio, e che il ragionamento esplicito basato sul linguaggio rende il sistema sensibile agli errori nelle previsioni testuali intermedie. Tuttavia, i risultati suggeriscono che l'osservazione proattiva è più preziosa proprio dove i modelli tradizionali condizionati dalla query sono più deboli: nel recupero di parti azionabili da obiettivi di alto livello.