Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Technische Zusammenfassung: SegWorld – Auf dem Weg zu proaktivem Affordanz-Reasoning mittels visuellem Chain-of-Thought

1. Problemdefinition: Die Lücke zwischen Absicht und Ziel

Aktuelle sprachgesteuerte Segmentierungsmodelle, die Large Language Models (LLMs) mit Mask-Decodern integrieren, operieren primär unter einem abfragebedingten Paradigma. In diesem Setting sind Anweisungen „zielreferenziell" und benennen, beschreiben oder schränken die zu segmentierende Region explizit ein (z. B. „segmentiere die rote Tasse"). Während neuere Arbeiten visuelles Chain-of-Thought (CoT) eingeführt haben, um implizites Reasoning zu bewältigen, bleibt die visuelle Szene irrelevant, bis eine spezifische Abfrage gestellt wird.

In der realen, verkörperten Interaktion sind menschliche Anweisungen jedoch oft absichtsniveau-basiert und pragmatisch. Sie beschreiben ein gewünschtes Ergebnis, ohne die Zielregion zu spezifizieren (z. B. „Ich möchte Wasser trinken" in einer Szene mit einer Tasse, einem Wasserkocher und einem Teller). Die Erfüllung einer solchen Anweisung erfordert, dass der Agent:

1. Das relevante Objekt ableitet (die Tasse).
2. Die notwendige Aktion bestimmt (Greifen).
3. Den spezifischen affordanztragenden Teil identifiziert, der die Aktion ermöglicht (der Griff), anstatt das gesamte Objekt.

Bestehende Modelle haben Schwierigkeiten mit dieser „Absicht-zu-Teil"-Lücke, da ihnen das proaktive Reasoning fehlt, um hochrangige Ziele mit niedrigrangigen physischen Interaktionsstellen zu verbinden.

2. Methodik: Das SegWorld-Framework

Die Autoren schlagen SegWorld vor, ein Framework, das die direkte Abbildung von Anweisung zu Maske durch einen proaktiven, mehrstufigen Reasoning-Prozess ersetzt. Die Kerninnovation ist eine Zwei-Pass-, Drei-Stufen-Architektur, die Segmentierung als probabilistische Inferenz formalisiert, wobei proaktive Beobachtung als Prior dient.

A. Probabilistische Formulierung
SegWorld approximiert die direkte Schätzung $P_\theta(M | I, q)$ durch Marginalisierung über einen anweisungsunabhängigen Szenenkontext $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Hierbei ist $I$ das Bild, $q$ die Anweisung und $c$ ein linguistischer Szenenkontext, der generiert wird, bevor die Anweisung bekannt ist.

B. Architektur und Stufen
Das Modell nutzt einen gemeinsamen Vision-Language-Backbone (feinabgestimmt mit LoRA) und einen SAM2-Mask-Decoder. Der Prozess entfaltet sich in zwei Vorwärtsdurchläufen:

1. Stufe 0: Proaktive Beobachtung (Anweisungsfrei)

   • Eingabe: Nur Bild $I$.
   • Ausgabe: Ein linguistischer Szenenkontext $c = (s, o_{list}, r, e)$.
   • Prozess: Das Modell generiert vier Ebenen des Reasoning:
     • Szene ($s$): Allgemeine Beschreibung der Umgebung.
     • Objekte ($o_{list}$): Liste der auffälligen sichtbaren Objekte.
     • Relationen ($r$): Räumliche und funktionale Beziehungen.
     • Ereignisse ($e$): Plausible Interaktionen, die die Szene affordiert (z. B. „Einschenken", „Schlürfen").
   • Ziel: Etablierung eines „linguistischen Szenenkontexts", der als informativer Prior dient und unabhängig von der spezifischen Benutzerabfrage ist.

2. Stufe 1: Anweisungsbedingtes Reasoning

   • Eingabe: Bild $I$, Anweisung $q$ und Kontext $c$.
   • Prozess: Das Modell durchläuft eine achtstufige visuelle Chain-of-Thought, organisiert in drei Unterstufen:
     • Absichtsaufklärung: Identifiziert das relevante Objekt ($o$) und die zur Erfüllung der Absicht erforderliche Aktion ($a$).
     • Affordanz-Verankerung: Identifiziert den spezifischen Objektteil ($p$), der die Aktion unterstützt, und benennt seine Affordanz ($f$).
     • Segmentierung: Die Kette endet in einem speziellen [SEG]-Token. Sein versteckter Zustand wird in ein Prompt-Embedding für den SAM2-Mask-Decoder projiziert, der dies mit Bildmerkmalen fusioniert, um die binäre Maske $M$ vorherzusagen.

C. Trainingsstrategie

• Ziel: Gemeinsames Training mit Maskenverlust (binäre Kreuzentropie + Dice) und Sprachmodellierungsverlusten sowohl für die Beobachtungskette als auch für die Reasoning-Kette.
• Überwachung: Die Beobachtungsebenen werden offline mittels Vision-Language-Modellen synthetisiert, um sicherzustellen, dass sie anweisungsagnostisch sind. Die Reasoning-Ebenen verwenden Ground-Truth-Annotationen aus dem neuen Benchmark.
• Geplantes Sampling: Um die Lücke zwischen Training und Test zu überbrücken, wird das Modell zunächst darauf trainiert, auf synthetisierte Kontexte zu konditionieren und geht schrittweise zu selbstgenerierten Kontexten über.

3. Hauptbeiträge

1. Absichtsniveau-Segmentierung: Das Papier identifiziert und definiert ein neues Segmentierungsparadigma, bei dem Anweisungen ein Ziel statt eines Zielspezifikations angeben und die Wiederherstellung eines affordanztragenden Objektteils durch latente Reasoning-Schritte erfordern ($q \to o \to a \to (p, f) \to M^\star$).
2. SegWorld-Framework: Ein proaktives Segmentierungsmodell, das eine achtstufige visuelle CoT durchführt. Es ist formal in probabilistischer Inferenz verankert und nutzt proaktive Beobachtung, um einen Szenenkontext bereitzustellen, der die Posterior-Verteilung für Absichtsniveau-Abfragen schärft.
3. Intent2Part-Benchmark: Ein neuer Datensatz, der auf InstructPart basiert und Absichtsniveau-Anweisungen zu 1.800 Trainings- und 600 Teststücken hinzufügt. Er enthält hochrangige Ziele (z. B. „Ich möchte mich entspannen"), die mit den entsprechenden affordanztragenden Teilen gepaart sind (z. B. der Griff eines Weinglases).

4. Experimentelle Ergebnisse

Experimente wurden auf dem Intent2Part-Benchmark durchgeführt, wobei SegWorld mit Baselines wie LISA, Sa2VA, Affordance-R1 und SAM3-I verglichen wurde.

• Zielreferenzielle Leistung: SegWorld erreicht oder übertrifft starke Baselines bei standardmäßigen Referenz- und Reasoning-Anweisungen, was zeigt, dass der proaktive Reasoning-Mechanismus die Leistung bei konventionellen Aufgaben nicht verschlechtert.
• Absichtsniveau-Leistung:
  • Zero-Shot-Verallgemeinerung: SegWorld v1 (nur auf zielreferenziellen Anweisungen trainiert) erreicht 0,514 mIoU auf dem absichtsniveau-basierten test_clean-Split und übertrifft die stärkste Baseline (Affordance-R1) um 3,4 Punkte. Dies deutet darauf hin, dass das Modell ein wiederverwendbares Absicht-zu-Teil-Inferenzmuster lernt.
  • Überwachter Verbesserungen: SegWorld v2 (mit absichtsniveau-Anweisungen trainiert) verbessert sich weiter auf 0,612 mIoU auf test_clean und übertrifft alle Baselines signifikant.
  • Token-Emission: Im Gegensatz zu Standardmodellen (z. B. Sa2VA), die bei absichtsniveau-Abfragen oft versagen, ein Segmentierungstoken auszugeben (und stattdessen konversationell antworten), verpflichtet sich SegWorld konsequent zu einer Maske.
• Ablationsstudien: Das Entfernen des proaktiven Kontexts oder der Reasoning-Kette der Stufe 1 führt zu signifikanten Leistungseinbußen, was bestätigt, dass explizites Reasoning über Objekte, Aktionen und Affordanzen für die Absichtsbegründung entscheidend ist.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass SegWorld einen Schritt hin zu Segmentierungssystemen darstellt, die darüber Reasoning betreiben, was eine Szene affordiert, anstatt lediglich expliziten Anweisungen zu folgen. Durch den Wechsel von einem reaktiven, abfragebedingten Paradigma zu einem proaktiven kann das Modell den unterbestimmten Charakter menschlicher Absichten in der verkörperten Interaktion bewältigen.

Die Autoren betonen, dass die visuelle Chain-of-Thought den Vorhersageprozess interpretierbar und nachvollziehbar macht und aufdeckt, woher eine Vorhersage stammt (z. B. die Reasoning-Kette, die zum „Griff" führt, statt zum gesamten „Flasche"). Sie räumen Einschränkungen ein und stellen fest, dass die aktuelle Arbeit auf statische Bilder und einstufige Absichten beschränkt ist und dass das explizite sprachbasierte Reasoning das System anfällig für Fehler in den intermediären textuellen Vorhersagen macht. Die Ergebnisse deuten jedoch darauf hin, dass proaktive Beobachtung genau dort am wertvollsten ist, wo traditionelle abfragebedingte Modelle am schwächsten sind: bei der Wiederherstellung handlungsrelevanter Teile aus hochrangigen Zielen.