Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Technische Samenvatting: SegWorld – Op weg naar proactieve affordantie-resonering via visuele Chain-of-Thought

1. Probleemdefinitie: De Kloof tussen Intentie en Doel

Huidige taalkundig gestuurde segmentatiemodellen, die Large Language Models (LLM's) integreren met maskerdecoders, werken voornamelijk onder een query-geconditioneerd paradigma. In deze setting zijn instructies "doel-referentieel": ze noemen, beschrijven of beperken expliciet het specifieke gebied dat moet worden gesegmenteerd (bijvoorbeeld "segmenteer de rode beker"). Hoewel recente werken visuele chain-of-thought (CoT) hebben geïntroduceerd om impliciete redenering te hanteren, blijft het visuele tafereel irrelevant totdat een specifieke vraag wordt gesteld.

In echte, belichaamde interactie zijn menselijke instructies echter vaak op intentie gericht en pragmatisch. Ze beschrijven een gewenst resultaat zonder het doelgebied te specificeren (bijvoorbeeld "ik wil water drinken" in een tafereel met een mok, een waterkoker en een bord). Het uitvoeren van een dergelijke instructie vereist dat de agent:

1. Het relevante object afleidt (de mok).
2. De benodigde actie bepaalt (grijpen).
3. Het specifieke affordantie-dragende deel identificeert dat de actie mogelijk maakt (het handvat), in plaats van het hele object.

Bestaande modellen worstelen met deze "intentie-naar-deel"-kloof omdat ze de proactieve redenering missen om hoog-niveau doelen te verbinden met laag-niveau fysieke interactieplekken.

2. Methodologie: Het SegWorld Framework

De auteurs stellen SegWorld voor, een framework dat directe instructie-naar-masker-mapping vervangt door een proactief, meer-niveau redeneerproces. De kerninnovatie is een tweepassige, drie-traps architectuur die segmentatie formaliseert als probabilistische inferentie, waarbij proactieve observatie dient als prior.

A. Probabilistische Formulering
SegWorld benadert de directe schatting $P_\theta(M | I, q)$ door te marginaliseren over een instructie-onafhankelijke tafereelcontext $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Hierbij is $I$ de afbeelding, $q$ de instructie, en $c$ een linguïstische tafereelcontext die wordt gegenereerd voordat de instructie bekend is.

B. Architectuur en Trappen
Het model maakt gebruik van een gedeelde Vision-Language backbone (fijn afgestemd met LoRA) en een SAM2 maskerdecoder. Het proces verloopt in twee forward passes:

1. Trap 0: Proactieve Observatie (Instructievrij)

   • Input: Alleen afbeelding $I$.
   • Output: Een linguïstische tafereelcontext $c = (s, o_{lijst}, r, e)$.
   • Proces: Het model genereert vier niveaus van redenering:
     • Tafereel ($s$): Algemene beschrijving van de setting.
     • Objecten ($o_{lijst}$): Lijst van opvallende zichtbare objecten.
     • Relaties ($r$): Ruimtelijke en functionele relaties.
     • Gebeurtenissen ($e$): Plausibele interacties die het tafereel biedt (bijvoorbeeld "gieten", "slurpen").
   • Doel: Het vestigen van een "linguïstische tafereelcontext" die fungeert als een informatieve prior, onafhankelijk van de specifieke gebruikersvraag.

2. Trap 1: Instructie-geconditioneerde Redenering

   • Input: Afbeelding $I$, Instructie $q$, en Context $c$.
   • Proces: Het model doorloopt een acht-niveau visuele chain-of-thought georganiseerd in drie sub-trappen:
     • Intentie-oplossing: Identificeert het relevante object ($o$) en de actie ($a$) die nodig is om de intentie te vervullen.
     • Affordantie-grounding: Identificeert het specifieke objectdeel ($p$) dat de actie ondersteunt en noemt de affordantie ($f$).
     • Segmentatie: De keten eindigt in een speciaal [SEG]-token. De verborgen staat wordt geprojecteerd naar een prompt-embedding voor de SAM2 maskerdecoder, die deze fuseert met afbeeldingskenmerken om het binaire masker $M$ te voorspellen.

C. Trainingsstrategie

• Doel: Gezamenlijke training met maskerverlies (binaire kruisentropie + Dice) en taalmodelleringverliezen voor zowel de observatieketen als de redeneerketen.
• Supervisie: De observatieniveaus worden offline gesynthetiseerd met behulp van vision-language modellen om te waarborgen dat ze instructie-agnostisch zijn. De redeneerniveaus gebruiken ground-truth annotaties van de nieuwe benchmark.
• Gestuurde Sampling: Om de kloof tussen training en test te overbruggen, wordt het model eerst getraind om te conditioneren op gesynthetiseerde contexten, met een geleidelijke overgang naar zelf gegenereerde contexten.

3. Belangrijkste Bijdragen

1. Intentie-niveau Segmentatie Setting: Het paper identificeert en definieert een nieuw segmentatieparadigma waarbij instructies een doel specificeren in plaats van een doelwit, wat vereist dat een affordantie-dragend objectdeel wordt hersteld via latente redeneerstappen ($q \to o \to a \to (p, f) \to M^\star$).
2. SegWorld Framework: Een proactief segmentatiemodel dat een acht-niveau visuele CoT uitvoert. Het is formeel geworteld in probabilistische inferentie, waarbij proactieve observatie wordt gebruikt om een tafereelcontext te leveren die de posterior-verdeling verscherpt voor intentie-niveau queries.
3. Intent2Part Benchmark: Een nieuwe dataset opgebouwd op basis van InstructPart, die intentie-niveau instructies toevoegt aan 1.800 trainings- en 600 testvoorbeelden. Deze bevat hoog-niveau doelen (bijvoorbeeld "ik wil ontspannen") gekoppeld aan de bijbehorende affordantie-dragende delen (bijvoorbeeld het handvat van een wijnglas).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Intent2Part benchmark, waarbij SegWorld werd vergeleken met baselines zoals LISA, Sa2VA, Affordance-R1 en SAM3-I.

• Doel-referentieel Prestatie: SegWorld komt overeen met of overtreft sterke baselines op standaard verwijzende en redenerende instructies, wat aantoont dat het proactieve redeneermechanisme de prestaties op conventionele taken niet verslechtert.
• Intentie-niveau Prestatie:
  • Zero-Shot Generalisatie: SegWorld v1 (enkel getraind op doel-referentiële instructies) bereikt een 0.514 mIoU op de intentie-niveau test_clean split, wat 3.4 punten beter is dan de sterkste baseline (Affordance-R1). Dit suggereert dat het model een herbruikbaar intentie-naar-deel inferentiepatroon leert.
  • Supervisie Verbetering: SegWorld v2 (getraind met intentie-niveau instructies) verbetert verder naar 0.612 mIoU op test_clean, wat alle baselines significant overtreft.
  • Token Emissie: In tegenstelling tot kant-en-klare modellen (zoals Sa2VA) die vaak falen om een segmentatietoken uit te zenden voor intentie-query's (in plaats daarvan converserend reagerend), committeert SegWorld consequent aan een masker.
• Ablatie Studies: Het verwijderen van de proactieve context of de redeneerketen van Trap 1 veroorzaakt significante prestatiedalingen, wat bevestigt dat expliciete redenering over objecten, acties en affordanties cruciaal is voor intentie-grounding.

5. Betekenis en Claims

Het paper claimt dat SegWorld een stap voorwaarts is naar segmentatiesystemen die redeneren over wat een tafereel biedt in plaats van slechts expliciete instructies te volgen. Door te verschuiven van een reactief, query-geconditioneerd paradigma naar een proactief paradigma, kan het model omgaan met de ondergespecificeerde aard van menselijke intentie in belichaamde interactie.

De auteurs benadrukken dat de visuele chain-of-thought het voorspellingproces interpreteerbaar en traceerbaar maakt, en blootlegt waar een voorspelling vandaan komt (bijvoorbeeld de redeneerketen die leidt naar het "handvat" in plaats van de hele "fles"). Ze erkennen beperkingen, waarbij wordt opgemerkt dat het huidige werk beperkt is tot statische afbeeldingen en enkel-staps intenties, en dat de expliciete taalgebaseerde redenering het systeem gevoelig maakt voor fouten in intermediaire tekstuele voorspellingen. De resultaten suggereren echter dat proactieve observatie juist het meest waardevol is op de plekken waar traditionele query-geconditioneerde modellen het zwakst zijn: bij het herstellen van actieerbare delen uit hoog-niveau doelen.