🤖 machine learning

Disentanglement with Holographic Reduced Representations

Cet article propose un algorithme d'apprentissage non supervisé utilisant les représentations réduites holographiques (HRR) pour parvenir au désenchevêtrement neuronal en traitant les facteurs latents comme des structures symboliques, démontrant que l'opération de désenchevêtrement par HRR fournit un biais inductif pour séparer les facteurs tout en offrant une robustesse au bruit et des bornes de capacité théoriques supérieures par rapport aux méthodes traditionnelles basées sur des autoencodeurs continus.

Auteurs originaux : Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une peinture complexe. Pour un ordinateur, il ne s'agit que d'une grille de millions de points colorés (pixels). Pour un humain, cependant, nous comprenons instantanément l'histoire : « Il y a un chien (l'objet), il est brun (la couleur) et il est assis (l'action). »

L'apprentissage automatique peine depuis longtemps à apprendre aux ordinateurs à voir le monde de cette manière. Habituellement, lorsqu'un ordinateur apprend, il mélange tous ces détails pour en faire un nœud complexe et emmêlé. Si vous essayez de changer seulement la couleur, le chien pourrait accidentellement changer de forme ou disparaître. C'est ce qu'on appelle le problème du « désenchevêtrement » (disentanglement) : séparer les différents facteurs d'une scène afin qu'ils puissent être compris et modifiés individuellement.

La plupart des tentatives précédentes pour résoudre cela utilisaient une méthode semblable à un « mixeur à smoothie ». Ils prenaient tous les ingrédients (les données) et les mélangeaient en un seul liquide continu. Si vous vouliez changer un seul ingrédient, il était difficile de le faire sans affecter toute la boisson.

Cet article propose une approche complètement différente. Au lieu d'un smoothie, les auteurs suggèrent de construire un jeu de LEGO.

L'idée centrale : Le Lego Holographique

Les auteurs utilisent un outil mathématique appelé Représentations Réduites Holographiques (HRR). Considérez les HRR comme une façon spéciale de construire avec des Legos de haute dimension.

Les emplacements (Les plaques de base) : Imaginez que vous avez un nombre défini d'emplacements vides sur une plaque. Disons que vous avez 8 emplacements.
Les rôles (Les étiquettes) : Chaque emplacement a un travail spécifique. L'emplacement 1 est pour l'« Objet », l'emplacement 2 pour la « Couleur », l'emplacement 3 pour l'« Action », et ainsi de suite.
Les valeurs (Les briques) : À l'intérieur de chaque emplacement, vous placez une brique spécifique. L'emplacement 1 reçoit une brique « Chien ». L'emplacement 2 reçoit une brique « Brun ».

La magie des HRR est qu'elles permettent à l'ordinateur de lier (coller) un rôle à une valeur et de les regrouper (empiler) tous ensemble dans un seul paquet compact et ordonné. C'est comme si vous preniez vos briques Lego, les colliez dans leurs emplacements respectifs, puis empiliez l'ensemble de la plaque en un seul cube net.

Comment ils ont enseigné à l'ordinateur

Les chercheurs ont construit un réseau neuronal (un type de cerveau d'IA) et lui ont donné une règle simple : « Regarde une image, décompose-la en ces emplacements Lego, puis reconstruis l'image parfaitement. »

Ils n'ont pas dit à l'ordinateur ce qu'était un « chien » ou le « brun ». Ils ont simplement laissé l'IA comprendre que pour reconstruire l'image au mieux, elle devait séparer la partie « chien » de la partie « brune » et les placer dans leurs propres emplacements dédiés.

Pourquoi c'est une avancée majeure

L'article revendique trois victoires majeures avec cette méthode :

1. Une « gomme magique » pour le bruit
Imaginez que vous envoyez un message secret écrit sur un morceau de papier. Si vous gribouillez par-dessus avec un marqueur (le bruit), un message normal pourrait devenir illisible.
Cependant, parce que la méthode HRR utilise ces « emplacements » distincts, elle est incroyablement robuste. Même si vous gribouillez lourdement sur le « cube Lego » (les données), l'ordinateur peut toujours examiner l'emplacement « Chien » et l'emplacement « Brun » et comprendre ce qu'ils étaient, même si le signal est très brouillé. L'article montre que cette méthode gère beaucoup mieux le « bruit » que les méthodes précédentes, préservant le sens même lorsque les données sont corrompues.

2. C'est modulaire (Le test de l'échange)
Les chercheurs ont testé cela en prenant deux images différentes (par exemple, une voiture rouge et un camion bleu) et en échangeant leurs « emplacements ».

Ils ont pris l'emplacement « Couleur » de la voiture rouge et l'ont placé dans la structure du camion bleu.
Résultat : Le camion est devenu rouge, mais il est resté un camion. Les roues, la forme et la taille n'ont pas changé.
Comparaison : Les autres méthodes provoquaient souvent un « bug » où le changement de couleur modifiait accidentellement la forme ou l'orientation de l'objet. La méthode HRR a maintenu les changements propres et isolés, prouvant que les facteurs étaient véritablement séparés.

3. Il possède une « limite de vitesse » théorique
Les auteurs n'ont pas seulement supposé que cela fonctionnerait ; ils ont fait les calculs. Ils ont calculé une « limite de capacité » pour leur système. Ils ont prouvé qu'il existe un équilibre spécifique entre le nombre d'emplacements que vous possédez et la quantité de bruit que le système peut supporter. Si vous avez trop d'emplacements pour la quantité de données, les « emplacements » commencent à se parler (diaphonie/cross-talk) et deviennent confus. Leurs mathématiques montrent exactement comment régler le système pour éviter cette confusion.

Résumé

En bref, cet article introduit une nouvelle façon pour l'IA d'apprendre. Au lieu de tout mélanger dans une soupe continue et lisse, il enseigne à l'IA à organiser l'information dans des « emplacements » distincts et étiquetés (comme un jeu de Lego).

Le Problème : L'IA classique mélange le « quoi » (l'objet) avec la « couleur ».
La Solution : Utiliser les HRR pour forcer l'IA à garder ces idées dans des boîtes distinctes et étiquetées.
Le Résultat : L'IA peut séparer les facteurs parfaitement, les échanger sans briser l'image, et comprendre l'image même si les données sont bruitées ou corrompues.

Les auteurs concluent que cette approche « symbolique » (utilisant des emplacements distincts) est une nouvelle voie prometteuse pour créer une IA qui comprend le monde plus comme les humains, tout en étant plus résistante face au désordre du monde réel.

Résumé Technique : Désenchevêtrement avec des Représentations Holographiques Réduites

Énoncé du Problème

L'apprentissage de représentations désenchevêtrées (disentangled representation learning) vise à séparer les facteurs de variation générateurs sous-jacents d'un ensemble de données. Bien que les solutions antérieures se soient largement appuyées sur des représentations continues utilisant des autoencodeurs variationnels (VAE) et des réseaux antagonistes génératifs (GAN) avec des biais inductifs spécifiques (ex: $\beta$ -VAE, TC-VAE), ces approches peinent souvent à capturer la nature compositionnelle des données. Bien que des travaux récents aient exploré les représentations discrètes, l'apprentissage de représentations symboliques structurées directement à partir de données sans supervision reste un défi majeur. Les méthodes existantes pour l'apprentissage des architectures symboliques vectorielles (VSA) nécessitent généralement des paires de données soigneusement construites ou une supervision étiquetée, ce qui limite leur applicabilité dans des contextes non supervisés. De plus, il existe une compréhension théorique lacunaire sur la raison pour laquelle des structures symboliques spécifiques, telles que les représentations holographiques réduites (HRR), devraient intrinsèquement favoriser le désenchevêtrement.

Méthodologie

Les auteurs proposent un algorithme d'apprentissage non supervisé qui utilise les représentations holographiques réduites (HRR) pour induire le désenchevêtrement. L'hypothèse centrale est que l'opération de « déliage » (unbinding) inhérente aux HRR fournit un biais inductif approprié pour la séparation des facteurs.

Architecture du Modèle

Le modèle proposé est un autoencodeur basé sur un réseau de neurones convolutifs (CNN) doté d'une structure d'espace latent spécialisée :

Structure Latente : La représentation latente $z$ $z$ est définie comme une somme de paires symbole-valeur liées : $z = \sum_{i=1}^m (s_i \otimes v_i)$ $z = \sum_{i = 1}^{m} (s_{i} \otimes v_{i})$ , où $\otimes$ $\otimes$ désigne la convolution circulaire (liaison/binding) et $\oplus$ $\oplus$ désigne l'addition (agrégation/bundling).
- Vecteurs Symboles ( $S$ ) : Un ensemble de $m$ vecteurs fixes, initialisés aléatoirement, agissant comme des « indices » ou des identifiants de rôle.
- Vecteurs Valeurs ( $C$ ) : Un codebook apprenable de $k$ vecteurs ( $k \gg m$ ) agissant comme des « remplisseurs » (fillers) ou des valeurs de facteurs spécifiques.
Processus d'Encodage :
- L'encodeur projette les données d'entrée $x$ vers un vecteur latent $z$ .
- Déliage (Unbinding) : Pour récupérer la valeur associée à chaque symbole, le modèle effectue une opération de déliage approximative : $\tilde{v}_i = s_i^\dagger \otimes z$ . Cela produit des estimations bruitées des vecteurs de valeurs.
- Débruitage : Un petit réseau de propagation directe (feedforward) traite ces estimations bruitées.
- Quantification Vectorielle : Les vecteurs débruités sont projetés vers leur plus proche occurrence dans le codebook $C$ (en utilisant un estimateur straight-through pour la différentiabilité).
- Reconstruction : Les valeurs quantifiées sont de nouveau liées à leurs symboles respectifs et agrégées pour former $\hat{z}$ , que le décodeur utilise pour reconstruire l'entrée $x$ .
Optimisation : Le modèle est entraîné à l'aide d'un objectif non supervisé combinant :
- Une perte de reconstruction (entropie croisée binaire).
- Des pertes de quantification vectorielle (VQ) et d'engagement (issues de VQ-VAE).
- Régulariseurs Structurels : Trois régulariseurs spécifiques imposent les propriétés statistiques des vecteurs HRR (moyenne nulle, norme au carré par ligne cible, et variance par entrée cible) sur les matrices latentes, de valeurs et du codebook.

Analyse Théorique

L'article fournit une analyse informationnelle du canal de déliage des HRR :

Indépendance des Créneaux (Slots) : Les auteurs prouvent que sous des hypothèses de haute dimensionnalité, l'opération de déliage induit une indépendance approximative entre les paires symbole-valeur récupérées (slots). Le bruit de diaphonie (cross-talk) provenant des autres créneaux s'estompe à mesure que la dimension du vecteur $d$ augmente.
Limite de Capacité : Une borne supérieure théorique sur l'information mutuelle $I(x; \hat{z})$ est dérivée. Cette borne dépend du nombre de créneaux $m$ , de la dimension du vecteur $d$ et de la taille du codebook $k$ . Elle quantifie le compromis entre le nombre de facteurs pouvant être encodés et le rapport signal sur bruit (SNR) par créneau, montrant qu'augmenter $m$ au-delà d'un certain point dégrade les performances en raison de la diaphonie.

Principales Contributions

Apprentissage HRR Non Supervisé : La première méthode capable d'entraîner un réseau de neurones pour produire des représentations latentes structurées par HRR directement à partir de données, sans supervision ni paires de données construites manuellement.
Justification Théorique : Une dérivation d'une borne de capacité par créneau et une preuve de l'indépendance approximative des créneaux, fournissant une explication quantitative de la raison pour laquelle la structure HRR agit comme un biais inductif vers le désenchevêtrement.
Performance Empirique : Démonstration que le modèle proposé atteint des scores de désenchevêtrement compétitifs ou supérieurs aux bases de référence solides ( $\beta$ -VAE, TC-VAE, VQ-VAE, QLAE) sur quatre jeux de données (Shapes3D, Falcor3D, Isaac3D, MPI3D-C) en utilisant les métriques InfoMEC et DCI.
Robustesse au Bruit : Preuve que les représentations basées sur les HRR sont significativement plus robustes au bruit gaussien additif dans l'espace latent que les méthodes de désenchevêtrement continues, maintenant le contenu sémantique même à de faibles rapports signal sur bruit (SNR).

Résultats Expérimentaux

Métriques de Désenchevêtrement : Le modèle HRR a obtenu les meilleurs scores agrégés sur cinq des six métriques de désencêtrement standards (InfoMEC et DCI) à travers les quatre jeux de données. Il présente des améliorations relatives d'environ 5 à 10 % par rapport aux meilleures bases de référence sur les métriques clés.
Trajectoire Latente et Échange (Swapping) : L'analyse qualitative via l'échange de composantes latentes a montré que le modèle HRR modifie uniquement le facteur générateur ciblé tout en laissant les autres intacts. Cela contraste avec des bases de référence comme QLAE, qui introduisent occasionnellement des artefacts dans des facteurs non liés.
Robustesse au Bruit : Sous des niveaux variables de bruit gaussien (de +20 dB à -20 dB SNR), le modèle HRR et le VQ-VAE ont nettement surpassé les autres bases de référence en termes de PSNR de reconstruction. Le modèle HRR a mieux maintenu l'intégrité sémantique que les modèles continus, qui se dégradent plus rapidement.

Signification et Revendications

L'article affirme que les architectures symboliques vectorielles (VSA), et plus particulièrement les HRR, offrent un paradigme prometteur pour l'apprentissage de représentations. La portée de ce travail réside dans :

Le Pont entre Symbolique et Neuronal : La démonstration que les réseaux de neurones peuvent apprendre des structures symboliques et compositionnelles directement à partir de données brutes sans ingénierie de caractéristiques manuelle.
Biais Inductif : L'établissement que les propriétés algébriques des HRR (spécifiquement le déliage) induisent naturellement la séparation des facteurs générateurs, offrant une alternative fondée sur des principes aux contraintes de régularisation utilisées dans les VAE.
Robustesse : La mise en évidence que les représentations symboliques peuvent être intrinsèquement plus robustes au bruit, une propriété critique pour les futures applications en IA physique et pour le déploiement dans le monde réel où le bruit des capteurs et de la transmission est prévalent.

Les auteurs concluent que bien que leur travail fournisse une base, les recherches futures devraient explorer des constantes théoriques plus serrées, les liens avec l'identifiabilité et le potentiel de généralisation compositionnelle sur des combinaisons de facteurs non vues.