🤖 machine learning

Equivariant Representation Learning via Class-Pose Decomposition

Cet article introduit une méthode générale pour l'apprentissage de représentations équivariantes en décomposant l'espace latent en facteurs de classe invariants et en facteurs de pose de groupe de symétrie, lesquels sont entraînés à l'aide d'une supervision de symétrie relative pour obtenir des résultats sans perte, interprétables et désenchevêtrés qui surpassent les cadres existants.

Auteurs originaux : Giovanni Luca Marchetti, Gustaf Tegnér, Anastasiia Varava, Danica Kragic

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giovanni Luca Marchetti, Gustaf Tegnér, Anastasiia Varava, Danica Kragic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez la photo d'une voiture jouet rouge. Maintenant, imaginez cette même photo, mais la voiture est déplacée vers la gauche, ou pivotée, ou zoomée. Pour un humain, nous savons instantanément : « C'est toujours la même voiture jouet rouge, elle est juste à un endroit différent. » Nous séparons l'identité de l'objet (c'est une voiture rouge) de sa position (elle est par là).

Cet article propose une nouvelle façon pour les ordinateurs d'apprendre exactement cette compétence. Les auteurs appellent cela la « Décomposition Classe-Pose ».

Voici la décomposition simple de son fonctionnement, en utilisant des analogies de la vie quotidienne :

1. Le Problème : L'ordinateur est confus

Habituellement, lorsque les ordinateurs regardent des données (comme des images), ils essaient de tout compresser dans une seule grande « boîte mentale ». Si vous déplacez l'objet, l'ordinateur pense souvent qu'il s'agit d'une chose complètement différente parce que les pixels ont changé. Il a du mal à séparer « ce qu'est l'objet » de « où il se trouve ».

2. La Solution : Deux tiroirs distincts

Les auteurs suggèrent de diviser la « boîte mentale » de l'ordinateur (appelée espace latent) en deux tiroirs distincts :

Le Tiroir A (La « Classe ») : Ce tiroir contient l'identité. Il répond à : « Est-ce une chaise ? Un chat ? Une voiture rouge ? » Il ignore où se trouve l'objet. Il reste le même, peu importe comment vous déplacez l'objet.
Le Tiroir B (La « Pose ») : Ce tiroir contient la géométrie. Il répond à : « Est-elle pivotée ? Est-elle décalée vers la gauche ? Est-elle zoomée ? » Il suit parfaitement le mouvement.

L'article affirme qu'en forçant l'ordinateur à utiliser ces deux tiroirs séparés, il apprend une image beaucoup plus claire du monde.

3. La Recette Secrète : La règle de la « Symétrie »

Comment l'ordinateur apprend-il à utiliser ces tiroirs sans qu'un professeur ne lui dise « ceci est une chaise » ou « ceci est une rotation » ?

Les auteurs utilisent un concept appelé Équivariance. Considérez cela comme une règle stricte de la physique pour le cerveau de l'ordinateur :

La Rèle : « Si vous prenez un objet, que vous le déplacez (appliquez une symétrie), et ensuite que vous le regardez, le résultat doit être le même que si vous le regardiez d'abord et ensuite que vous déplaciez la représentation mentale. »

L'Analogie : Imaginez que vous avez une carte d'une ville.

Si vous marchez 5 blocs vers le Nord dans le monde réel, votre position sur la carte doit également se déplacer de 5 blocs vers le Nord.
L'ordinateur est entraîné sur cette règle. On lui donne des paires d'images (avant et après un mouvement) et on lui dit : « Votre carte interne doit se mettre à jour exactement comme le monde réel l'a fait. »

4. Pourquoi est-ce meilleur que les autres méthodes ?

L'article compare leur méthode aux autres approches d'IA et constate que leur méthode est supérieure pour deux raisons principales :

Elle est « Sans perte » (Pas de perte d'information) : Certaines autres méthodes essaient de forcer l'ordinateur à apprendre les règles du mouvement au fur et à mesure. Les auteurs soutiennent que c'est comme essayer d'apprendre une langue en devinant ; on peut saisir l'essentiel, mais on passera à côté des détails. Leur méthode suppose que les « règles de mouvement » (la mathématique des groupes) sont connues, permettant à l'ordinateur de construire une carte parfaite et structurée où aucune information n'est perdue.
Elle est « Désenchevêtrée » (Séparation nette) : Dans d'autres méthodes, le « quoi » et le « où » se mélangent. Si vous faites pivoter un objet, l'ordinateur pourrait accidentellement changer l'idée de ce que l'objet est. Dans cette nouvelle méthode, le tiroir « Classe » reste parfaitement immobile tandis que le tiroir « Pose » pivote. Ils ne s'interfèrent jamais l'un l'autre.

5. Preuve du Monde Réel : La Carte du Robot

Les auteurs ont testé cela sur des robots et des images.

Le Test : Ils ont montré à l'ordinateur des images d'objets en mouvement.
Le Résultat : L'ordinateur ne s'est pas contenté de reconnaître les objets ; il a construit une carte géométrique parfaite de l'environnement.
L'Application : Parce que l'ordinateur comprenait si bien la « Pose », il pouvait prendre le flux vidéo d'un robot et construire simultanément une carte de plusieurs pièces différentes (appartements) simplement en regardant le robot se déplacer. Il pouvait dire au robot exactement où il se trouvait dans la pièce, uniquement en comprenant la symétrie du mouvement.

Résumé

En bref, cet article apprend aux ordinateurs à ne plus voir un objet en mouvement comme un chaos de pixels changeants. Au lieu de cela, il leur apprend à penser comme un humain : « C'est le même objet (Classe), juste à un nouvel endroit (Pose). » En forçant mathématiquement l'ordinateur à garder ces deux idées dans des boîtes séparées, cela crée une façon plus intelligente, plus précise et plus fiable pour les machines de comprendre le monde.

Résumé Technique : Apprentissage de Représentations Équivariantes via la Décomposition Classe-Pose

Énoncé du Problème
Les agents intelligents nécessitent des représentations riches qui reflètent les structures intrinsèques des données perçues. Bien que les approches auto-supervisées comme les auto-encodeurs et l'apprentissage contrastif soient générales, elles échouent souvent à capturer des aspects fondamentaux cachés dans les données, tels que la séparation des classes d'objets intrinsèques de leurs poses. Des travaux récents suggèrent que le désintrication de ces facteurs nécessite des biais ou une supervision spécifiques. Une structure géométrique fondamentale dans de nombreux jeux de données est la symétrie (par exemple, les transformations rigides agissant sur les poses d'objets ou les changements de référentiel lors de l'exploration d'un agent mobile). Le défi consiste à apprendre des représentations qui soient non seulement équivariantes à ces symétries, mais aussi sans perte, interprétables et désintriquées, préservant la géométrie complète des données.

Méthodologie
Les auteurs proposent un cadre général qui décompose l'espace latent en deux composantes distinctes : un facteur invariant représentant les classes de données intrinsèques et une composante de symétrie représentant la pose.

Fondement Théorique :
L'approche est ancrée dans la théorie des groupes. Les auteurs formalisent les symétries comme un groupe $G$ agissant sur l'espace de données $X$ . Sous l'hypothèse que l'action est libre (aucun élément autre que l'identité ne fixe un point), ils s'appuient sur un résultat théorique (Proposition 2.1) stipulant qu'il existe un isomorphisme équivariant $X \simeq (X/G) \times G$ . Ici, $X/G$ représente l'ensemble des orbites (classes intrinsèques) et $G$ représente le groupe de symétrie (poses). Cette décomposition garantit que la représentation est sans perte et que la géométrie des données est préservée.
Décomposition de l'Espace Latent :
L'espace latent $Z$ est défini comme le produit $Z = E \times G$ , où :

$E$ est un ensemble invariant représentant les classes (orbites).
$G$ est le groupe de symétrie représentant les poses.
Le groupe $G$ agit trivialement sur $E$ et par multiplication sur lui-même.

Objectif d'Apprentissage :
Le modèle $\phi: X \to E \times G$ est entraîné à l'aide d'un jeu de données de triplets $(x, g, y)$ où $y = g \cdot x$ . La fonction de perte encourage l'équivariance basée sur l'information de symétrie relative :
$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$

Le premier terme ( $d_E$ ) impose l'invariance, garantissant que les points appartenant à la même orbite sont mappés vers la même représentation de classe. Pour prévenir l'« effondrement d'orbite » et assurer l'injectivité (nécessaire pour une représentation sans perte), les auteurs utilisent une perte InfoNCE, encourageant les points latents à s'écarter.
Le second terme ( $d_G$ ) impose l'équivariance par rapport à l'action du groupe sur la composante de la pose.

Implémentation :
Pour gérer les groupes non euclidiens (par exemple, $SO(3)$), les auteurs paramètrent le groupe $G$ en utilisant l'application exponentielle de sa algèbre de Lie $\mathfrak{g}$ . Le modèle produit un élément $v \in \mathfrak{g}$ , qui est ensuite mappé vers $G$ via $e^v$ . Pour $G=SO(3)$, cela est calculé efficacement via la formule de Rodrigues.

Contributions Clés

Décomposition Classe-Pose : Une méthode pour apprendre des représentations équivariantes qui sépare explicitement les classes de données intrinsèques des poses en décomposant l'espace latent.
Formalisme Mathématique Général : Un cadre basé sur la théorie des groupes qui garantit des représentations sans perte, interprétables et désintriquées sous des hypothèses légères (actions de groupes libres).
Investigation Empirique : Une évaluation complète à travers divers jeux de données présentant différentes symétries (translations, dilatations, rotations) et des applications à la cartographie de scènes.

Résultats Expérimentaux
Les auteurs ont évalué leur méthode sur cinq jeux de données : Sprites, Shapes, Multi-Sprites, Chairs, et Apartments (simulant un agent mobile). Ils ont comparé leur approche à :

Homomorphismes MDP (MDPH) : Apprend les actions latentes sans connaissance préalable du groupe.
Modèles Linéaires : Utilise un espace latent linéaire avec multiplication matricielle (action non libre).
Rendu Neuronal Équivariant (ENR) : Utilise une grille latente discrétisée avec une équivariance approximative.

Constatations :

Préservation de la Géométrie : Les visualisations montrent que la méthode proposée sépare correctement les orbites dans la composante invariante $E$ et préserve la géométrie du groupe $G$ dans la composante de la pose. Pour le jeu de données « Apartments », le modèle a extrait avec succès des cartes de plusieurs environnements simultanément.
Performance : La méthode a obtenu des taux de réussite (hit-rates) quasi parfaits sur les prédictions à un pas. Crucialement, sur des trajectoires plus longues (10 et 20 pas), la méthode proposée a nettement surpassé les bases de comparaison.
- MDPH a accumulé des erreurs dues au manque de contraintes structurelles dans son action latente apprise.
- Les modèles linéaires ont vu leurs performances se dégrader car l'action n'était pas libre (faire pivoter un vecteur autour de lui-même n'a aucun effet), forçant ainsi une perte d'information.
- ENR a souffert d'erreurs d'interpolation dues à la discrétisation latente.
Désintrication : Le cadre permet naturellement la désintrication, permettant une variation indépendante des facteurs de symétrie en agissant sur la composante de la pose.

Signification et Revendications
L'article affirme qu'en exploitant le langage abstrait de la théorie des groupes de Lie, leur cadre fournit une solution générale pour l'apprentissage de représentations équivariantes applicable à des groupes et des types de données arbitraires. Contrairement aux travaux précédents qui se concentrent sur des scénarios spécifiques (par exemple, les représentations euclidiennes ou les convolutions de groupe) ou apprennent des dynamiques latentes non structurées, cette approche garantit des représentations isomorphes (sans perte). Les auteurs soulignent que leur méthode permet la récupération des classes intrinsèques et des poses, facilitant des tâches telles que la localisation et la cartographie auto-supervisées pour les agents mobiles.

Limites et Travaux Futurs
Les auteurs reconnaissent que leur formalisme suppose que le groupe de symétries est connu a priori et n'est pas inféré à partir des données. Bien que viable pour la robotique où l'odométrie fournit l'information de symétrie, cela peut être limitant dans d'autres domaines. Ils suggèrent que l'apprentissage de la structure du groupe à partir des données est une direction potentielle, bien que moins interprétable, pour les recherches futures.