Lorentz Framework for Semantic Segmentation

1. Problématique

La segmentation sémantique, qui consiste à attribuer une étiquette sémantique à chaque pixel d'une image, est souvent traitée comme une tâche de classification "plate" (flat classification). Les approches actuelles reposent sur des espaces euclidiens et des encodages one-hot, ce qui ignore les relations hiérarchiques inhérentes aux catégories d'objets (par exemple, le lien "est-un" entre "véhicule" et "voiture").

Bien que les espaces hyperboliques soient théoriquement idéaux pour modéliser ces structures arborescentes grâce à leur courbure négative et leur croissance exponentielle, leur application à la segmentation sémantique dense (pixel par pixel) rencontre des obstacles majeurs :

• Instabilité numérique : Les modèles basés sur la boule de Poincaré souffrent d'instabilité numérique et de difficultés d'optimisation.
• Complexité computationnelle : Les opérations sur les variétés sont coûteuses à grande échelle.
• Limitation des architectures : Les travaux antérieurs se concentrent principalement sur la classification pixel par pixel, négligeant les architectures modernes de classification de masques (comme MaskFormer/Mask2Former) qui surpassent souvent les méthodes traditionnelles.
• Absence d'estimation d'incertitude native : La plupart des modèles ne fournissent pas de mesures d'incertitude ou de délimitation de frontières sans post-traitement supplémentaire.

2. Méthodologie

Les auteurs proposent un cadre de segmentation sémantique agnostique à l'architecture, basé sur le modèle de Lorentz (hyperboloïde) dans l'espace de Minkowski. Ce modèle est choisi pour sa stabilité numérique supérieure et ses expressions analytiques fermées par rapport à la boule de Poincaré.

A. Représentation Hiérarchique et Guidage Textuel

• Encodage Textuel : Les descriptions textuelles des classes (ex: "bus : transport public, forme rectangulaire") sont encodées via des modèles de type Sentence Transformers et projetées dans l'espace de Lorentz pour servir de prototypes de classe.
• Alignement Pixel-Prototype : Les embeddings d'images (pixels ou requêtes de masques) sont également projetés dans l'espace de Lorentz. L'objectif est d'aligner les caractéristiques visuelles avec les prototypes textuels tout en respectant la hiérarchie sémantique.

B. Pertes et Contraintes Géométriques

Le cadre introduit deux composantes de perte principales pour guider l'apprentissage :

1. Perte de Distance Géodésique (Cross-Entropy) : Elle mesure la proximité entre un pixel (ou une requête de masque) et les prototypes de classe en utilisant la distance géodésique de Lorentz.
2. Perte d'Entraînement (Entailment Loss) : C'est une contribution clé. Elle impose une contrainte de cône d'entraîinement (entailment cone). Un pixel appartenant à une classe doit se situer à l'intérieur du cône géométrique défini par son prototype. Cela force la structure hiérarchique "est-un" (is-a) : les concepts parents sont proches de l'origine, tandis que les concepts enfants s'éloignent, encodant ainsi la hiérarchie de manière géométrique.

C. Adaptation aux Architectures

• Classification Pixel par Pixel (DeepLabV3, SegFormer) : Utilisation d'une formulation "échantillon-vers-prototype" où chaque pixel est classé en fonction de sa distance et de son angle par rapport aux prototypes.
• Classification de Masques (MaskFormer, Mask2Former) :
  • Prédiction de classe : Alignement des requêtes (queries) avec les prototypes de classe via une formulation "échantillon-vers-prototype".
  • Génération de masques : Utilisation d'une formulation "échantillon-vers-échantillon" pour calculer la similarité entre les embeddings de masques et les caractéristiques des pixels, remplaçant le produit scalaire euclidien par une similarité hyperbolique.

D. Estimation d'Incertitude et Délimitation

Le modèle offre une estimation d'incertitude gratuite (sans labels supplémentaires) basée sur la géométrie :

• Incertitude Angulaire : Un pixel avec un grand angle extérieur par rapport au cône d'entraîinement de sa classe est considéré comme incertain (souvent situé sur les frontières).
• Incertitude de Distance : La distance radiale par rapport à l'origine ou au prototype indique la confiance.

3. Contributions Clés

1. Cadre Unifié Lorentz : Première approche généralisée pour la segmentation sémantique en espace hyperbolique de Lorentz, supportant à la fois la classification pixel par pixel et la classification de masques.
2. Stabilité et Efficacité : Remplacement du modèle de Poincaré par le modèle de Lorentz, éliminant l'instabilité numérique et permettant une optimisation efficace sans nécessiter d'optimiseurs riemanniens complexes.
3. Induction Hiérarchique : Introduction d'une perte d'entraîinement (entailment loss) qui encode explicitement les relations hiérarchiques sémantiques dans l'espace latent.
4. Estimation d'Incertitude Native : Capacité à générer des cartes de confiance et à localiser les frontières floues grâce à la géométrie du cône d'entraîinement.
5. Performance Zero-Shot : Démonstration de capacités de généralisation à des classes non vues lors de l'entraînement grâce à l'alignement avec des descriptions textuelles hiérarchiques.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur quatre benchmarks majeurs : ADE20K, COCO-Stuff-164k, Pascal-VOC et Cityscapes, en utilisant des modèles de pointe (DeepLabV3, SegFormer, MaskFormer, Mask2Former).

• Performance de Segmentation : Le cadre Lorentz atteint des performances compétitives, voire supérieures, par rapport aux modèles euclidiens de référence, tout en utilisant des prototypes de dimensionnalité beaucoup plus faible (ex: 8 ou 64 dimensions vs 384+).
• Généralisation Zero-Shot : Sur Pascal-VOC (split 15/5) et Cityscapes, le modèle surpasse les méthodes euclidiennes et Poincaré pour la segmentation de classes non vues, prouvant sa capacité à apprendre des relations hiérarchiques transférables.
• Estimation d'Incertitude : Les cartes d'incertitude générées corrèlent fortement avec les frontières sémantiques réelles, permettant une détection précise des zones ambiguës.
• Analyse du Paysage de Perte : L'analyse empirique montre que le modèle de Lorentz converge vers des minima plus plats (flatter minima) que les modèles euclidiens, ce qui est corrélé à une meilleure généralisation.

5. Signification et Impact

Ce travail démontre que la géométrie hyperbolique, lorsqu'elle est implémentée via le modèle de Lorentz, n'est pas seulement un outil théorique pour la représentation hiérarchique, mais un cadre pratique et robuste pour la vision par ordinateur dense.

• Au-delà de la représentation : L'article suggère que la géométrie hyperbolique influence positivement la dynamique d'optimisation (gradients adaptatifs, minima plats), améliorant la robustesse du modèle.
• Vers des modèles plus intelligents : En intégrant des connaissances sémantiques hiérarchiques directement dans la fonction de perte, le modèle devient capable de raisonner sur les relations entre objets (ex: "un cheval est un animal"), ce qui est crucial pour la généralisation et la compréhension de scènes complexes.
• Futur : Cette approche ouvre la voie à l'intégration de la géométrie hyperbolique dans le pré-entraînement multimodal à grande échelle et d'autres tâches de prédiction structurée.

En résumé, ce papier propose une solution élégante et efficace pour combler le fossé entre la complexité des structures sémantiques du monde réel et les limitations des espaces euclidiens, offrant un cadre unifié, stable et riche en informations pour la segmentation sémantique moderne.