Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

Résumé Technique : Alignement Décomposé Vision-Langage pour la Segmentation Ouverte à Vocabulaire Fin

Énoncé du Problème
Les modèles de segmentation à vocabulaire ouvert (OVS), bien que capables de généraliser à des noms de catégories non vus grâce à un pré-entraînement vision-langage, peinent à généraliser à des combinaisons non vues de catégories d'objets et d'attributs (par exemple, distinguer un « bâtiment industriel à toit plat » d'un « bâtiment résidentiel à toit plat » lorsque la combinaison spécifique n'a pas été vue pendant l'entraînement). Les approches existantes encodent généralement l'ensemble de l'invite textuelle comme une séquence holistique unique. Cet encodage holistique entremêle les sémantiques de catégorie et d'attribut au sein d'une représentation partagée, empêchant le modèle de décomposer et de recombiner les unités sémantiques au moment de l'inférence. Par conséquent, les modèles échouent à imposer les contraintes logiques « ET » requises pour un raisonnement compositionnel fin, entraînant une dégradation des performances sur les compositions attribut-catégorie non vues.

Méthodologie
Les auteurs proposent un cadre d'Alignement Décomposé Vision-Langage conçu pour factoriser explicitement les invites textuelles et imposer des contraintes compositionnelles aux niveaux des caractéristiques et du score. La méthode est agnostique au modèle mais est ici instanciée au sein de l'architecture SAM3.

1. Décomposition Explicite de l'Invite :
   Au lieu de concaténer le texte en une seule phrase, le cadre encode la catégorie et chaque attribut indépendamment. Pour résoudre l'ambiguïté géométrique (par exemple, « toit plat » s'appliquant à n'importe quelle surface plane), les attributs sont conditionnés par la catégorie lors de l'encodage (par exemple, encoder « toit plat » comme « bâtiment à toit plat »). Cela produit une représentation structurée composée d'une séquence de jetons de catégorie ($t_c$), d'un ensemble de séquences de jetons d'attributs ($t_{a_k}$), et d'un masque de présence d'attribut ($m$).

2. Attention Croisée à Portes de Caractéristiques :
   Le cadre effectue une attention croisée décomposée entre les requêtes visuelles et chaque unité sémantique.

   • Interaction de Catégorie : Une attention croisée standard est utilisée pour aligner les requêtes avec le jeton de catégorie.
   • Portes d'Attribut : Pour chaque attribut, une branche d'attention croisée séparée génère une carte de porte ($G_{a_k}$) via une activation sigmoïde. Ces portes agissent comme des « filtres de condition nécessaire ».
   • Composition ET : La sortie de caractéristique finale est obtenue par multiplication élément par élément des caractéristiques alignées sur la catégorie et de toutes les portes d'attribut actives ($F_{out} = Q_c \odot \prod G_{a_k}$). Cette agrégation multiplicative impose qu'une caractéristique visuelle soit conservée uniquement si elle satisfait simultanément toutes les contraintes d'attribut.

3. Score Compositionnel ET dans l'Espace Logarithmique :
   Pour éviter l'instabilité numérique et la disparition du gradient associées à la multiplication des probabilités, le mécanisme de score opère dans l'espace logarithmique.

   • Les logits de correspondance pour la catégorie et chaque attribut sont calculés indépendamment.
   • Ces logits sont convertis en probabilités via une sigmoïde, puis mappés en log-probabilités.
   • Le score compositionnel final est la somme de ces log-probabilités, normalisée par le nombre de composants actifs. Cette formulation approxime mathématiquement l'opération logique ET ($\log(\prod \pi) = \sum \log(\pi)$) tout en maintenant des gradients stables lors de l'optimisation.

Contributions Clés

• Alignement Décomposé Vision-Langage : Un cadre qui s'intègre de manière transparente aux architectures de segmentation basées sur les transformateurs, découplant explicitement les interactions de catégorie et d'attribut pour améliorer l'OVS fine.
• Attention Croisée à Portes de Caractéristiques : Un module novateur où les attributs fonctionnent comme des filtres spatiaux, découplant l'apprentissage de caractéristiques spécifique aux attributs et imposant des contraintes compositionnelles via un gating multiplicatif.
• Score Compositionnel ET dans l'Espace Logarithmique : Une stratégie de score qui modélise explicitement les relations logiques ET entre les unités sémantiques, offrant une stabilité numérique et un comportement d'optimisation amélioré par rapport à la multiplication directe des probabilités.
• Protocole d'Évaluation de la Généralisation Compositionnelle : L'introduction d'un protocole d'évaluation rigoureux qui divise les données en compositions attribut-catégorie vues et non vues, utilisant des métriques telles que l'AP non vu, l'Écart Vu–Non Vu ($R_d$), et l'Efficacité-ET pour mesurer les capacités de raisonnement compositionnel.

Résultats Expérimentaux
La méthode a été évaluée sur le jeu de données UBC building et le jeu de données PACO-LVIS dans un cadre de généralisation compositionnelle où des combinaisons spécifiques attribut-catégorie ont été exclues de l'entraînement.

• Gains de Performance : Sur le jeu de données UBC, la méthode proposée a augmenté l'AP non vu de 4,0 (référence SAM3) à 7,1, tandis que la métrique d'Efficacité-ET s'est améliorée significativement de 0,533 à 0,959. Sur PACO-LVIS, l'AP non vu est passé de 37,9 à 39,2, et l'Efficacité-ET de 0,874 à 0,907.
• Études d'Ablation : Les expériences ont confirmé que l'encodage holistique limite la généralisation. Le remplacement de l'encodage holistique par un encodage indépendant et une agrégation moyenne a amélioré les résultats, mais le mécanisme complet ET dans l'Espace Logarithmique a fourni les gains les plus significatifs. De plus, la méthode a surpassé les méthodes adaptées d'Apprentissage Zero-Shot Compositionnel (CZSL) (par exemple, AttrAsOp, CGE), démontrant que le gating spatial au niveau des pixels est supérieur aux vecteurs de composition globaux pour les tâches de prédiction dense.
• Analyse Qualitative : Les visualisations des portes de caractéristiques ont montré que le modèle a appris avec succès à supprimer les instances correspondant à la catégorie mais violant des contraintes d'attribut spécifiques (par exemple, supprimer les bâtiments commerciaux lorsque l'invite exigeait « résidentiel »), confirmant l'efficacité du mécanisme de gating multiplicatif.

Signification
L'article affirme que sa signification principale réside dans la résolution du biais systématique des modèles vision-langage dans le raisonnement compositionnel fin. En transférant l'insight de la décomposition de l'Apprentissage Zero-Shot Compositionnel au niveau de l'image vers le domaine au niveau des pixels de la segmentation, ce travail démontre que la factorisation explicite des unités sémantiques et l'imposition de contraintes logiques au niveau des caractéristiques sont cruciales pour généraliser à des compositions non vues. Les auteurs postulent que ce cadre fournit une base robuste pour développer des systèmes de perception d'un monde ouvert plus fiables, capables de gérer des descriptions sémantiques complexes et structurées.