Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

Résumé Technique : SegWorld – Vers un Raisonnement Proactif sur les Affordances par la Chaîne de Pensée Visuelle

1. Définition du Problème : Le Fossé entre l'Intention et la Cible

Les modèles de segmentation pilotés par le langage actuels, qui intègrent des modèles de langage de grande taille (LLM) avec des décodeurs de masques, fonctionnent principalement sous un paradigme conditionné par la requête. Dans ce cadre, les instructions sont « référentielles à la cible », nommant, décrivant ou contraignant explicitement la région spécifique à segmenter (par exemple, « segmentez la tasse rouge »). Bien que des travaux récents aient introduit la chaîne de pensée visuelle (CoT) pour gérer le raisonnement implicite, la scène visuelle reste irrelevante jusqu'à ce qu'une requête spécifique soit posée.

Cependant, dans l'interaction incarnée réelle, les instructions humaines sont souvent de niveau intentionnel et pragmatiques. Elles décrivent un résultat souhaité sans spécifier la région cible (par exemple, « Je veux boire de l'eau » dans une scène contenant une tasse, une bouilloire et une assiette). Satisfaire une telle instruction exige que l'agent :

1. Infère l'objet pertinent (la tasse).
2. Détermine l'action nécessaire (la préhension).
3. Identifie la partie porteuse d'affordance spécifique qui permet l'action (la poignée), plutôt que l'objet entier.

Les modèles existants peinent avec ce fossé « intention-vers-partie » car ils manquent du raisonnement proactif nécessaire pour relier les objectifs de haut niveau aux sites d'interaction physique de bas niveau.

2. Méthodologie : Le Cadre SegWorld

Les auteurs proposent SegWorld, un cadre qui remplace la cartographie directe instruction-vers-masque par un processus de raisonnement proactif et multi-niveaux. L'innovation centrale est une architecture à deux passages et trois étapes qui formalise la segmentation comme une inférence probabiliste où l'observation proactive sert d'a priori.

A. Formulation Probabiliste
SegWorld approxime l'estimation directe $P_\theta(M | I, q)$ en marginalisant sur un contexte de scène indépendant de l'instruction $c$ :
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
Ici, $I$ est l'image, $q$ est l'instruction, et $c$ est un contexte linguistique de scène généré avant que l'instruction ne soit connue.

B. Architecture et Étapes
Le modèle utilise un socle Vision-Langage partagé (affiné avec LoRA) et un décodeur de masques SAM2. Le processus se déroule en deux passages avant :

1. Étape 0 : Observation Proactive (Sans Instruction)

   • Entrée : Image $I$ uniquement.
   • Sortie : Un contexte linguistique de scène $c = (s, o_{list}, r, e)$.
   • Processus : Le modèle génère quatre niveaux de raisonnement :
     • Scène ($s$) : Description générale du cadre.
     • Objets ($o_{list}$) : Liste des objets saillants visibles.
     • Relations ($r$) : Relations spatiales et fonctionnelles.
     • Événements ($e$) : Interactions plausibles que la scène permet (par exemple, « verser », « siroter »).
   • Objectif : Établir un « contexte linguistique de scène » qui agit comme un a priori informatif, indépendant de la requête utilisateur spécifique.

2. Étape 1 : Raisonnement Conditionné par l'Instruction

   • Entrée : Image $I$, Instruction $q$, et Contexte $c$.
   • Processus : Le modèle parcourt une chaîne de pensée visuelle à huit niveaux organisée en trois sous-étapes :
     • Résolution de l'Intention : Identifie l'objet pertinent ($o$) et l'action ($a$) requise pour satisfaire l'intention.
     • Ancrage des Affordances : Identifie la partie spécifique de l'objet ($p$) qui soutient l'action et nomme son affordance ($f$).
     • Segmentation : La chaîne se termine par un token spécial [SEG]. Son état caché est projeté dans une embedding de prompt pour le décodeur de masques SAM2, qui fusionne cela avec les caractéristiques de l'image pour prédire le masque binaire $M$.

C. Stratégie d'Entraînement

• Objectif : Entraînement conjoint avec une perte de masque (entropie croisée binaire + Dice) et des pertes de modélisation du langage pour la chaîne d'observation et la chaîne de raisonnement.
• Supervision : Les niveaux d'observation sont synthétisés hors ligne à l'aide de modèles vision-langage pour garantir qu'ils sont agnostiques à l'instruction. Les niveaux de raisonnement utilisent des annotations de vérité terrain issues du nouveau benchmark.
• Échantillonnage Programmé : Pour combler l'écart entraînement-test, le modèle est entraîné à se conditionner sur des contextes synthétisés initialement, transitionnant progressivement vers des contextes auto-générés.

3. Contributions Clés

1. Cadre de Segmentation de Niveau Intentionnel : L'article identifie et définit un nouveau paradigme de segmentation où les instructions spécifient un objectif plutôt qu'une cible, nécessitant la récupération d'une partie d'objet porteuse d'affordance via des étapes de raisonnement latentes ($q \to o \to a \to (p, f) \to M^\star$).
2. Cadre SegWorld : Un modèle de segmentation proactif qui exécute une chaîne de pensée visuelle à huit niveaux. Il est formellement ancré dans l'inférence probabiliste, utilisant l'observation proactive pour fournir un contexte de scène qui affine la distribution a posteriori pour les requêtes de niveau intentionnel.
3. Benchmark Intent2Part : Un nouveau jeu de données construit à partir de InstructPart, ajoutant des instructions de niveau intentionnel à 1 800 échantillons d'entraînement et 600 échantillons de test. Il inclut des objectifs de haut niveau (par exemple, « Je veux me détendre ») appariés aux parties porteuses d'affordance correspondantes (par exemple, la poignée d'un verre à vin).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Intent2Part, comparant SegWorld à des bases de référence telles que LISA, Sa2VA, Affordance-R1 et SAM3-I.

• Performance Référentielle à la Cible : SegWorld égale ou dépasse les bases de référence solides sur les instructions de référence et de raisonnement standard, démontrant que le mécanisme de raisonnement proactif ne dégrade pas les performances sur les tâches conventionnelles.
• Performance de Niveau Intentionnel :
  • Généralisation Zero-Shot : SegWorld v1 (entraîné uniquement sur des instructions référentielles à la cible) atteint un mIoU de 0,514 sur le split test_clean de niveau intentionnel, surpassant la base de référence la plus forte (Affordance-R1) de 3,4 points. Cela suggère que le modèle apprend un motif d'inférence intention-vers-partie réutilisable.
  • Amélioration Supervisée : SegWorld v2 (entraîné avec des instructions de niveau intentionnel) s'améliore davantage pour atteindre un mIoU de 0,612 sur test_clean, surpassant significativement toutes les bases de référence.
  • Émission de Tokens : Contrairement aux modèles prêts à l'emploi (par exemple, Sa2VA) qui échouent souvent à émettre un token de segmentation pour les requêtes d'intention (répondant de manière conversationnelle à la place), SegWorld s'engage systématiquement sur un masque.
• Études d'Ablation : La suppression du contexte proactif ou de la chaîne de raisonnement de l'Étape 1 entraîne des baisses de performance significatives, confirmant que le raisonnement explicite sur les objets, les actions et les affordances est crucial pour l'ancrage de l'intention.

5. Signification et Revendications

L'article revendique que SegWorld représente une étape vers des systèmes de segmentation qui raisonnent sur ce qu'une scène permet plutôt que de simplement suivre des instructions explicites. En passant d'un paradigme réactif, conditionné par la requête, à un paradigme proactif, le modèle peut gérer le caractère sous-spécifié de l'intention humaine dans l'interaction incarnée.

Les auteurs soulignent que la chaîne de pensée visuelle rend le processus de prédiction interprétable et traçable, exposant l'origine d'une prédiction (par exemple, la chaîne de raisonnement menant à la « poignée » plutôt qu'à toute la « bouteille »). Ils reconnaissent les limites, notant que le travail actuel est restreint aux images statiques et aux intentions à étape unique, et que le raisonnement explicite basé sur le langage rend le système sensible aux erreurs dans les prédictions textuelles intermédiaires. Cependant, les résultats suggèrent que l'observation proactive est la plus précieuse précisément là où les modèles conditionnés par requête traditionnels sont les plus faibles : dans la récupération de parties actionnables à partir d'objectifs de haut niveau.