🤖 machine learning

Native Hierarchical and Compositional Representations with Subspace Embeddings

Cet article propose une nouvelle approche de l'apprentissage de représentations qui remplace les plongements vectoriels traditionnels par des sous-espaces linéaires différentiables, permettant la modélisation native des hiérarchies, de la compositionnalité et de l'implication logique par l'inclusion géométrique et les opérations d'algèbre linéaire tout en maintenant la compatibilité avec la recherche vectorielle efficace.

Auteurs originaux : Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'organiser une bibliothèque d'idées massive. Pendant des décennies, la méthode standard utilisée par les ordinateurs pour le faire consiste à transformer chaque concept — comme « chien », « véhicule » ou « tristesse » — en un simple point sur une immense carte plane. Cela fonctionne très bien pour trouver des choses similaires (comme trouver un « caniche » quand on demande un « chien »), mais cela atteint une limite lorsqu'on essaie de comprendre des relations telles que « un chien est un type d'animal » ou « un chien qui ne aboie pas ».

Sur une carte plate, « chien » et « animal » ne sont que deux points proches l'un de l'autre. La carte ne peut pas facilement montrer qu'un « chien » est à l'intérieur du grand cercle de l'« animal ». Elle a également du mal avec la logique comme « non » (la négation), se confondant souvent en pensant à la chose que vous vouliez exclure.

Ce document propose une toute nouvelle façon d'organiser ces idées : au lieu de points, utilisez des pièces.

L'idée centrale : Des points aux pièces

Les auteurs suggèrent de représenter les concepts non pas comme des points uniques, mais comme des sous-espaces linéaires. En termes simples, imaginez un concept comme une pièce dans un bâtiment, plutôt que comme un simple point au sol.

La taille compte (Généralité vs Spécificité) :
- Un concept très spécifique, comme « un golden retriever nommé Max », est une pièce minuscule et exiguë.
- Un concept plus large, comme « chien », est une pièce plus grande qui peut contenir la pièce « Max » à l'intérieur d'elle.
- Un concept encore plus large, comme « animal », est une immense salle qui peut contenir la pièce « chien ».
- La Magie : L'ordinateur apprend que les pièces plus grandes (dimensions supérieures) représentent des idées générales, et que les pièces plus petites (dimensions inférieures) représentent des idées spécifiques.
La Hiérarchie (L'effet Poupée Russe) :
- Parce qu'il s'agit de pièces, vous pouvez physiquement en mettre une à l'intérieur d'une autre. Si la pièce « chien » est à l'intérieur de la pièce « animal », l'ordinateur comprend instantanément que chaque chien est un animal. Cela résout le problème de la « carte plate » où la relation n'était qu'une vague proximité.
La Logique (La Géométrie de la Pensée) :
- ET (Conjonction) : Si vous voulez trouver quelque chose qui est à la fois « un chien » ET « en train d'aboyer », l'ordinateur cherche l'intersection de la pièce « chien » et de la pièce « aboyer ». C'est le petit espace où ces deux pièces se chevauchent.
- OU (Disjonction) : Si vous voulez « un chien » OU « un chat », l'ordinateur combine les deux pièces en un seul grand espace qui couvre les deux.
- NON (Négation) : C'est la plus grande percée du document. Si vous voulez « un chien qui n'aboie pas », l'ordinateur regarde la pièce « chien » et trouve l'espace situé à l'extérieur de celle-ci (le complément orthogonal).
- Le Résultat : Les modèles informatiques standards échouent souvent aux requêtes de type « NON », étant souvent distraits par le mot que vous vouliez ignorer. Cette nouvelle méthode de « pièces » gère le « NON » naturellement, comme le fait un humain, sans nécessiter un entraînement spécial pour chaque phrase négative.

Comment ils ont fait fonctionner le tout

Vous pourriez demander : « Comment apprendre à un ordinateur à construire ces pièces si la taille de la pièce change constamment ? »

Habituellement, changer la taille d'une pièce (le nombre de dimensions) est un problème mathématique que les ordinateurs ne peuvent pas résoudre facilement car cela implique de sauter entre des nombres entiers (on ne peut pas avoir 3,5 dimensions). Les auteurs ont inventé une astuce ingénieuse utilisant des « matrices de projection douces ».

Voyez cela comme un variateur d'intensité pour les dimensions de la pièce. Au lieu de forcer l'ordinateur à décider « cette pièce a exactement 5 murs », l'ordinateur apprend à savoir à quel point chaque mur est « lumineux » ou « important ». Il peut tamiser un mur presque jusqu'à zéro s'il n'est pas nécessaire, ou l'éclaircir s'il s'agit d'un concept complexe. Cela permet à l'ordinateur d'apprendre automatiquement la taille parfaite pour chaque concept tout en utilisant des outils mathématiques standards et rapides.

Ce qu'ils ont trouvé

Les auteurs ont testé cette « Méthode des Pièces » (qu'ils appellent Plongements de Sous-Espaces ou Subspace Embeddings) sur plusieurs tâches :

Hiérarchie : Elle était incroyablement efficace pour reconstruire l'arbre généalogique des mots (comme dans WordNet), surpassant les méthodes précédentes qui tentaient d'utiliser des espaces courbes ou des boîtes.
Logique et Négation : Lorsqu'on demandait de trouver des choses qui n'étaient pas quelque chose (par exemple, « une voiture qui n'est pas rouge »), les modèles standards tombaient à un niveau proche du hasard, tandis que la Méthode des Pièces restait hautement précise, comprenant correctement la logique sans avoir été explicitement enseigné les règles du « non ».
Vitesse : Même si ces « pièces » semblent complexes, les auteurs ont montré qu'elles peuvent être compressées et recherchées aussi rapidement que les anciennes méthodes de « points ». En fait, elles étaient presque 8 fois plus rapides que certaines méthodes avancées concurrentes qui utilisent une géométrie courbe.

Ce qu'il faut retenir

Ce document introduit une façon pour les ordinateurs de comprendre le langage qui ressemble davantage à la façon dont les humains pensent : en utilisant des espaces et de l'inclusion plutôt que de simples points et des distances. Cela permet aux ordinateurs de comprendre naturellement qu'un « caniche » est à l'intérieur de « chien », qui est à l'intérieur d'« animal », et de gérer facilement la logique complexe du « non ».

Le plus important est qu'ils y parviennent sans ralentir le processus, conservant la vitesse des moteurs de recherche modernes tout en ajoutant une couche de compréhension beaucoup plus profonde.

Résumé Technique : Représentations Hiérarchiques et Compositionnelles Natives avec Plongements de Sous-espaces

Énoncé du Problème

Les plongements vectoriels denses traditionnels, qui représentent les concepts comme des points uniques dans un espace euclidien, font face à des limitations géométriques fondamentales lorsqu'ils modélisent le langage naturel. Bien qu'efficaces pour capturer la similarité via les produits scalaires, la structure plate et symétrique de l'espace euclidien est mal adaptée aux relations hiérarchiques et asymétriques telles que l'implication et l'hyponymie. Les métriques standards comme la similitude cosinus ne peuvent pas distinguer les relations directionnelles (par exemple, « chien » implique « animal », mais « animal » n'implique pas « chien »). De plus, les espaces vectoriels manquent d'opérateurs natifs pour la conjonction logique, la disjonction et la négation. Par conséquent, les modèles optent souvent pour une composition additive (traitant les phrases comme des sacs de mots), ce qui conduit à une « cécité de la négation » où les plongements échouent à exclure des concepts, dégradant les performances sur les requêtes impliquant une négation logique. Les alternatives existantes, telles que les plongements hyperboliques ou les modèles probabilistes basés sur des régions (ex: boîtes, cônes), imposent soit des priors structurels rigides, soit manquent de clôture sous toutes les opérations logiques, soit sacrifient la compatibilité avec les pipelines de recherche euclidiens efficaces.

Méthodologie

Les auteurs proposent les Plongements de Sous-espaces (Subspace Embeddings), un cadre où les concepts ne sont pas représentés comme des points, mais comme des sous-espaces linéaires (régions) au sein d'un espace de haute dimension $\mathbb{R}^d$ .

Principes Géométriques Fondamentaux

Représentation : Un concept est défini comme l'étalonnage (span) d'un ensemble de vecteurs de base latents $\mathbf{X} \in \mathbb{R}^{d \times n}$ . Le sous-espace $\mathcal{S}$ est représenté par son opérateur de projection orthogonale $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$ , où $\mathbf{U}$ est une base orthonormée.
Hiérarchie et Généralité :
- Dimensionnalité : La dimension effective (rang) du sous-espace encode la généralité sémantique. Les concepts larges (ex: « animal ») occupent des sous-espaces de dimension supérieure, tandis que les concepts spécifiques (ex: « chien ») occupent des sous-espaces de dimension inférieure imbriqués dans eux.
- Inclusion : La hiérarchie est modélisée par l'inclusion de sous-espaces ( $\mathcal{S}_A \subseteq \mathcal{S}_B$ ), quantifiée par un Score d'Inclusion Normalisé (NIS) dérivé de la trace du produit des matrices de projection.
Opérations Logiques : Les relations logiques correspondent directement à des opérations d'algèbre linéaire sur les sous-espaces :
- Conjonction ( $\land$ ) : Intersection de sous-espaces ( $\mathcal{S}_A \cap \mathcal{S}_B$ ).
- Disjonction ( $\lor$ ) : Somme linéaire (étalonnage) de sous-espaces ( $\mathcal{S}_A + \mathcal{S}_B$ ).
- Négation ( $\neg$ ) : Complément orthogonal ( $\mathcal{S}^\perp$ ).

Implémentation Technique : Sous-espaces Différentiables

Un défi majeur est que le rang d'un sous-espace est discret et non différentiable. Pour permettre un entraînement de bout en bout, les auteurs introduisent des Opérateurs de Projection Douce (Soft Projection Operators) :

Projecteur Doux : Au lieu d'une projection dure, ils définissent un projecteur doux $\tilde{\mathbf{P}}$ utilisant la régularisation de Tikhonov : $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$ .
Différentiabilité : L'hyperparamètre $\lambda$ agit comme une température, lissant les valeurs propres du projecteur dans l'intervalité $[0, 1)$ . Cela permet au modèle d'apprendre la dimensionnalité effective de chaque sous-espace via la descente de gradient, permettant au sous-espace d'« ajouter ou supprimer » des vecteurs de base dynamiquement.
Tête de Projection de Sous-espace (SPH) : Un module neuronal qui convertit les états cachés du transformer en un ensemble de vecteurs latents étalonnant un sous-espace. Il utilise l'Attention Multi-Têtes (MHA) pour le regroupement (pooling), un MLP pour l'expansion du rang (brisant les dépendances linéaires pour atteindre le plein rang), et le calcul du projecteur doux.

Stratégie d'Entraînement

Le cadre est entraîné de bout en bout en utilisant des objectifs standards :

Reconstruction Hiérarchique : Perte InfoNCE sur la similarité des sous-espaces.
Prédiction de Lien : Perte de marge sur le Score d'Inclusion Normalisé (NIS).
Inférence de Langage Naturel (NLI) : Une approche hybride modélisant l'implication/contradiction via une distribution Beta sur les scores NIS et la neutralité via un classifieur MLP.

Contributions Clés

Apprentissage de Sous-espaces Différentiables : Une nouvelle méthode pour apprendre des représentations de langage sous forme de sous-espaces avec une dimensionnalité dépendante des données et apprenable, surmontant la non-différentiabilité du rang discret.
Structure Compositionnelle Émergente : Démonstration que les opérations logiques (conjonction, disjonction, négation) émergent naturellement de la géométrie des représentations sans supervision explicite des règles logiques.
Scalabilité et Compatibilité : L'approche préserve la compatibilité avec les pipelines de recherche vectorielle euclidiens standards (Maximum Inner Product Search), permettant une recherche efficace à grande échelle, contrairement aux alternatives non euclidiennes.

Résultats Expérimentaux

Les auteurs valident le cadre selon trois axes :

Modélisation Hiérarchique (WordNet) :
- Reconstruction : Les plongements de sous-espace (SE) atteignent l'état de l'art sur la reconstruction de WordNet, surpassant les bases de référence Euclidiennes (R128) et Hyperboliques (Poincaré P10, Lorentz H10) en termes de Précision Moyenne Moyenne (mAP) et de Rang Moyen (MR).
- Corrélation de Spécificité : Le rang effectif appris d'un sous-espace montre une forte corrélation de Spearman ( $\rho \approx 0.68$ ) avec le rang taxonomique du concept, confirmant que la dimensionnalité sert de mesure émergente de la spécificité sémantique.
- Prédiction de Lien : Les modèles SE surpassent significativement les bases de référence dans les contextes de supervision parcellaire (0 %–25 % de couverture d'arêtes), atteignant des scores F1 allant jusqu'à 95,9 %.
Inférence de Langage Naturel (SNLI) :
- Les plongements de sous-espace égalent ou dépassent légèrement les performances des bases de référence bi-encodeurs puissants (ex: all-MiniLM-L6-v2, mpnet-base-v2) sur les tâches de classification d'implication à 2 et 3 voies.
Implication Compositionnelle (Zero-Shot) :
- Gestion de la Négation : C'est la découverte la plus critique. Les bases vectorielles standards se dégradent vers une performance proche du hasard (49–69 % AUC) sur les hypothèses impliquant la négation. En revanche, les plongements de sous-espace maintiennent une haute puissance discriminante (>90 % AUC) sur les requêtes nées sans entraînement explicite sur la logique de négation.
- Comparaison : Les sous-espaces surpassent les "Box Embeddings" sur les tâches de négation, car le complément d'une boîte n'est pas une boîte, alors que le complément orthogonal d'un sous-espace est un sous-espace valide au sein du même espace.
Efficacité :
- Vitesse de Recherche : En formulant le score d'inclusion comme un produit scalaire entre des matrices de projection vectorisées, la méthode permet l'utilisation de bibliothèques de recherche approximative rapide (ex: FAISS). SE128 est presque 8 fois plus rapide qu'une base de référence Poincaré de 10 dimensions utilisant une recherche par force brute.
- Compression : Les sous-espaces appris présentent une décroissance spectrale rapide, permettant une compression 4x via SVD tronquée avec une perte de performance négligeable.

Signification et Revendications

L'article affirme que les plongements de sous-espaces offrent un modèle géométriquement ancré de l'implication qui réconcilie l'efficacité de la recherche vectorielle avec la structure hiérarchique et compositionnelle du langage.

Logique Native : Contrairement aux méthodes précédentes qui nécessitent des solutions ad hoc ou échouent sur la négation, les plongements de sous-espaces capturent nativement la composition logique via des opérations d'algèbre linéaire.
Interprétabilité : La dimension effective d'un sous-espace sert de mesure interprétable du contenu informationnel et de la spécificité sémantique, émergeant directement de la géométrie de l'entraînement.
Praticité : Le cadre ne sacrifie pas la scalabilité ; il reste compatible avec l'infrastructure de recherche euclidienne standard, ce qui le rend viable pour des applications à grande échelle.

Les auteurs concluent que cette approche offre une voie prometteuse vers des systèmes d'apprentissage de représentations plus expressifs et interprétables, particulièrement pour les tâches nécessitant un raisonnement sur des concepts hiérarchiques et nés.