Résumé Technique : HyRo – Alignement Sémantique dans l'Espace Hyperbolique pour la Segmentation Sémantique à Vocabulaire Ouvert

1. Énoncé du Problème

La segmentation sémantique à vocabulaire ouvert (OVSS) vise à attribuer des catégories sémantiques à chaque pixel d'une image, y compris pour des classes non vues durant l'entraînement. Bien que les modèles vision-langage (VLM) comme CLIP offrent des alignements sémantiques riches, ils sont pré-entraînés pour une représentation au niveau de l'image, ce qui rend l'adaptation aux prédictions denses, au niveau du pixel, difficile.

Les approches existantes font face à deux limitations principales :

1. Inadéquation Hiérarchique vs Sémantique : Les travaux récents utilisant la géométrie hyperbolique (par exemple, HyperCLIP) modélisent avec succès les relations hiérarchiques en ajustant le rayon hyperbolique des embeddings pour correspondre à la granularité au niveau du pixel. Cependant, ils négligent souvent le désalignement sémantique entre les embeddings au sein d'un même niveau hiérarchique.
2. Contraintes Géométriques : Dans l'espace hyperbolique, la hiérarchie est encodée par la distance radiale, tandis que la similarité sémantique se reflète dans l'orientation angulaire. Les méthodes antérieures qui n'ajustent que le rayon échouent à corriger les relations angulaires incorrectes, conduisant à des scénarios où des concepts sémantiquement distincts (par exemple, une « personne » et une « chaise ») sont embeddés à des rayons similaires mais avec des angles incorrects, amenant le modèle à les classer à tort comme un objet unique.

2. Méthodologie : HyRo (Rotation Hyperbolique)

Les auteurs proposent HyRo, un cadre de fine-tuning qui découple explicitement l'alignement hiérarchique et le raffinement sémantique au sein du modèle de la boule de Poincaré. L'idée centrale est que la hiérarchie et la sémantique correspondent à des propriétés géométriques distinctes : le rayon pour la hiérarchie et l'angle pour la sémantique.

2.1. Fondement Théorique

La méthode opère dans le modèle de la boule de Poincaré ($D^m_c$), où :

• Conformité : Les angles mesurés à l'origine sont préservés par rapport à l'espace euclidien.
• Transformations Orthogonales : Les auteurs prouvent que l'application d'une matrice orthogonale $R$ à un point dans la boule de Poincaré agit comme une rotation idéale. Elle ajuste la relation angulaire (alignement sémantique) sans altérer le rayon hyperbolique (profondeur hiérarchique).
  • Soit $x$ un embedding. Son vecteur tangent à l'origine est $v_x = \log_0(x)$.
  • L'application d'une matrice orthogonale $R$ donne $v'_x = R v_x$. Puisque $R$ préserve la norme euclidienne ($\|v'_x\| = \|v_x\|$), le rayon hyperbolique reste inchangé après le retour via l'application exponentielle : $x' = \exp_0(R v_x) = R x$.

2.2. Architecture et Flux de Travail

Le pipeline HyRo (illustré dans la Fig. 3) se compose de quatre étapes :

1. Mappage vers l'Espace Hyperbolique : Les embeddings de caractéristiques euclidiennes ($z$) issus de CLIP sont mappés vers la boule de Poincaré en utilisant l'application exponentielle : $h = \exp_0^{\mathbb{D},c}(z)$.
2. Ajustement Hiérarchique (Rayon) : Une matrice diagonale apprenable $S$ (avec une structure bloc-diagonale pour l'efficacité) met à l'échelle le rayon hyperbolique pour aligner les embeddings avec la granularité appropriée au niveau du pixel : $q = S \otimes_c h$.
3. Raffinement Sémantique (Rotation) : Une matrice orthogonale $R$ est appliquée pour affiner les relations angulaires : $v = R q$.
   • Paramétrisation : Pour garantir que $R$ soit strictement orthogonale, les auteurs utilisent la transformation de Cayley sur une matrice antisymétrique apprenable $\Theta$ : $R = (I + A)(I - A)^{-1}$, où $A = \Theta - \Theta^\top$.
   • Efficacité : Pour gérer les embeddings CLIP de haute dimension (par exemple, 768 dimensions) et les dimensions de modalités différentes, $R$ est décomposée en matrices bloc-diagonales indépendantes, réduisant le coût computationnel de $O(d^3)$ à $O(d^3/n^2)$.
4. Décodage : Les embeddings hyperboliques affinés sont mappés de retour vers l'espace euclidien via l'application logarithmique et alimentés dans un Décodeur d'Aggrégation de Coûts (basé sur CATSeg) pour générer des prédictions au niveau du pixel.

2.3. Stratégie d'Entraînement

• Encodeurs Gelés : Les encodeurs CLIP restent gelés pour préserver les capacités de généralisation.
• Fine-Tuning : Seuls les paramètres de transformation hyperbolique (matrices de mise à l'échelle du rayon $S$ et matrices de rotation $R$) sont affinés en utilisant une perte d'entropie croisée pixel par pixel.

3. Contributions Clés

1. Alignement Découplé : L'article introduit un cadre qui sépare explicitement l'alignement hiérarchique (rayon) du raffinement sémantique (angle) dans l'espace hyperbolique, comblant une lacune critique des méthodes OVSS antérieures.
2. Stratégie de Rotation Orthogonale : Une méthode théoriquement justifiée utilisant des transformations orthogonales (via la paramétrisation de Cayley) pour ajuster les angles sémantiques sans déformer la structure hiérarchique.
3. Performance de l'État de l'Art : La méthode proposée obtient des résultats supérieurs sur des benchmarks standards, validant l'approche géométrique.

4. Résultats Expérimentaux

Les auteurs ont évalué HyRo sur des benchmarks OVSS standards : ADE20K (A-847, A-150), PASCAL-Context (PC-459, PC-59) et PASCAL VOC (PAS-20, PAS-20b).

• Performance Quantitative : HyRo a obtenu les meilleures performances sur quatre des six benchmarks. Notamment, il a amélioré l'état de l'art hyperbolique précédent (HyperCLIP) de :
  • +0,1 mIoU sur A-847 (12,0 contre 11,9)
  • +0,7 mIoU sur PC-459 (18,9 contre 18,2)
  • +0,2 mIoU sur PC-59 (57,3 contre 57,1)
  • +0,1 mIoU sur PAS-20 (95,0 contre 94,9)
• Améliorations Qualitatives : Les visualisations montrent que HyRo résout efficacement les ambiguïtés sémantiques où les méthodes antérieures échouent. Par exemple, dans des scènes avec une personne allongée sur une chaise, HyperCLIP classe souvent les deux comme « chaise », tandis que HyRo dissocie correctement les objets. Les cartes d'attention confirment que HyRo concentre l'attention sur les régions cibles et supprime le bruit de fond.
• Études d'Ablation :
  • Importance des Composantes : La combinaison de la mise à l'échelle du rayon et de la rotation produit les meilleurs résultats. La rotation est identifiée comme le principal moteur de la généralisation à vocabulaire ouvert, tandis que la mise à l'échelle du rayon assure une séparabilité fine.
  • Courbure ($c$) : Une courbure « plus douce » ($c=0,01$) s'est révélée optimale, préservant la généralisation zero-shot de CLIP tout en permettant les ajustements hiérarchiques nécessaires.
  • Taille du Bloc : Une taille de bloc de $n=256$ a offert le meilleur équilibre entre capacité et généralisation.

5. Signification et Revendications

L'article affirme que HyRo met en évidence l'importance de modéliser conjointement la hiérarchie et la sémantique dans des espaces non euclidiens. En démontrant que les relations angulaires sont aussi critiques que les distances radiales pour la prédiction dense, ce travail ouvre de nouvelles directions pour l'apprentissage de représentations géométriques dans les tâches vision-langage.

Les auteurs positionnent leur travail comme une solution au problème de « désalignement sémantique » inhérent aux approches hyperboliques précédentes. Ils soutiennent que l'ajustement simple de la granularité (rayon) est insuffisant ; une optimisation explicite de l'orientation sémantique (angle) est requise pour atteindre une généralisation robuste à vocabulaire ouvert. La méthode est présentée comme une étape significative en avant dans l'adaptation des modèles de fondation pour une compréhension dense, au niveau du pixel, sans sacrifier leur capacité à reconnaître des catégories non vues.

Un travail futur est suggéré pour étendre cette approche géométrique hyperbolique à des contextes complexes de segmentation vidéo à vocabulaire ouvert (par exemple, MOSE, MeViS), bien que la portée actuelle soit limitée aux images statiques.