Résumé Technique : Liaison Récursive à Budget Limité : Sculpture de Sous-Espaces dans les Mémoires Tensorielles d'Ordre $p$

1. Énoncé du Problème

L'article traite de la tension fondamentale dans les systèmes de mémoire neuro-symboliques entre la fidélité structurelle et l'efficacité de la mémoire.

• Les Représentations de Produits Tensoriels (TPR) (Smolensky, 1990) offrent une liaison mathématiquement rigoureuse des « fillers » (contenu) aux « rôles » (structure) via des produits extérieurs, garantissant une orthogonalité parfaite et une récupération sans perte ; cependant, elles souffrent d'une croissance exponentielle de la dimensionnalité ; une structure de profondeur $k$ nécessite un espace tensoriel d'ordre $d^k$, rendant la liaison récursive profonde intenable, même pour des dimensions modestes.
• Les Architectures Vectorielles Symboliques (VSA) (Kanerva, 2009) maintiennent une dimensionnalité constante en compressant les liaisons dans l'espace vectoriel d'origine (par exemple, via la convolution circulaire). Bien qu'efficaces, cette compression introduit du bruit. À mesure que le nombre de liaisons superposées augmente, le rapport signal sur bruit (SNR) se dégrade, entraînant des interférences et une récupération peu fiable dans les régimes de haute capacité.

Les approximations éparses existantes des TPR atténuent l'échelle mais souffrent d'une dégradation significative des performances sur les structures profondes. Le défi central est de supporter des structures récursives profondes et une superposition élevée au sein d'une empreinte mémoire constante sans sacrifier la précision de la récupération.

2. Méthodologie : Sculpture de Sous-Espace Orthogonal (OSC)

Les auteurs proposent l'Orthogonal Subspace Carving (OSC), une architecture de mémoire qui découple l'ordre tensoriel de la profondeur structurelle en imposant une orthogonalité géométrique par projection plutôt que par allocation explicite de coordonnées.

Principes Fondamentaux

• Exclusion Géométrique : Au lieu d'assigner des rôles à des dimensions spécifiques, l'OSC définit les contextes comme des sous-espaces « interdits ». Les liaisons sont placées dans le complément orthogonal (noyau) de ces contextes.
• Représentation du Filler : Contrairement aux VSA standards où les fillers sont des vecteurs uniques, les fillers de l'OSC sont des objets structurés : des tuples ordonnés de $p$ vecteurs, $f = (v_1, \dots, v_p) \in (\mathbb{R}^d)^p$.
• Définition du Contexte : Un contexte $C$ est associé à un sous-espace $S_C$ engendré par $k$ directions mutuellement orthogonales. Les différents contextes n'ont pas besoin d'être géométriquement liés, permettant une précision locale au sein d'un contexte et une indépendance globale entre les contextes.

Le Mécanisme de Liaison

1. Sculpture (Projection) : Pour lier un filler à un contexte, l'opérateur de sculpture $P^\perp_C = I - B_C^T B_C$ projette chaque vecteur composant $v_i$ sur le noyau du basis du contexte $B_C$. Cela élimine tout chevauchement avec le sous-espace du contexte.
2. Normalisation et Fusion : Les composantes projetées sont normalisées et fusionnées via un produit tensoriel d'ordre $p$ :
   $$T_{bound} = \bigotimes_{i=1}^p \left( \frac{P^\perp_C v_i}{\|P^\perp_C v_i\|} \right)$$
   Cela résulte en un tenseur d'ordre $p$ résidant entièrement dans le complément orthogonal du contexte.
3. Superposition : La mémoire $M$ est formée par l'addition simple (superposition) de ces tenseurs liés. Puisque chaque liaison est orthogonale à son sous-espace de contexte spécifique, et que les contextes définissent des sous-espaces disjoints, les liaisons se séparent naturellement dans l'espace de la mémoire sans interférence.

Interrogation par Reconnaissance

L'OSC déplace le paradigme de récupération de la déliaison algébrique (reconstruction d'un vecteur) vers la reconnaissance discriminative.

• Mécanisme : Pour interroger, une liaison candidate est construite en utilisant le même mécanisme de sculpture. Le score de récupération est le produit scalaire de Frobenius entre le tenseur de la mémoire et le tenseur candidat.
• Recherche de Vocabulaire : Le système identifie l'élément stocké en sélectionnant le candidat ayant le score de similitude le plus élevé. Cette approche est compatible avec les codebooks de « mémoire de nettoyage » (cleanup memory) standards utilisés dans les VSA.
• Garantie Théorique : Le Théorème 4.6 établit que pour $N$ liaisons indépendantes, le bruit d'interférence suit une échelle de $\sqrt{(N-1)/d^p}$. En augmentant l'ordre du tenseur $p$ ou la dimension $d$, le bruit peut être supprimé, permettant une récupération robuste même avec une haute superposition.

Connexions Théoriques

• Algèbre de Clifford : L'article démontre que le TPR est un cas particulier de liaison dans l'algèbre de Clifford. L'OSC est formulée comme une extension naturelle où les rôles et les fillers sont des sous-espaces orthogonaux plutôt que des vecteurs de base disjoints, permettant une compression de l'espace de mémoire de $d^{|C|+1}$ à $\binom{d}{|C|+1}$ tout en maintenant des propriétés de récupération exacte sous des contraintes d'orthogonalité spécifiques.
• Génération Procédurale : Les contextes peuvent être générés procéduralement en hachant les étiquettes de rôle pour produire des graines aléatoires pour les vecteurs de base. Cela découple le nombre de contextes représentables des contraintes de mémoire, évitant les coûts de stockage exponentiels des TPR.

3. Contributions Clés

1. Architecture OSC : Une nouvelle architecture de mémoire qui utilise la liaison par projection pour découpler la dimension du vecteur composant de la capacité de la mémoire.
2. Échelle Sous-linéaire : Une réduction significative de l'empreinte mémoire pour les tâches de haute superposition. Les auteurs montrent que les vecteurs composants peuvent être de plusieurs ordres de grandeur plus petits que le tenseur de mémoire tout en maintenant une récupération robuste.
3. Récupération Quasi-sans-perte : La capacité d'atteindre une précision quasi-sans-perte dans les régimes de haute superposition en exploitant la mise à l'échelle sous-linéaire des fillers, permettant des espaces de superposition plus larges dans une empreinte totale plus petite par rapport aux TPR.
4. Formulation de Clifford : Une démonstration que le TPR est un cas particulier de la liaison dans l'algèbre de Clifford et fournissant une formulation de Clifford pour l'OSC.

4. Résultats Expérimentaux

Les auteurs ont évalué l'OSC face à 14 VSA existantes (incluant HRR, VTB, MAP, HLB) et les TPR sur des benchmarks synthétiques et des tâches de classification multi-labels extrême (XML).

• Scalabilité et Efficacité :
  • Dans des tests synthétiques avec 1 000 paquets, l'OSC (avec $d=200, p=2$) a atteint 99,77 % de précision de récupération, surpassant le meilleur VSA à $d=4096$ (13,18 % de précision) et $d=8100$ (35,88 % de précision).
  • À 10 000 paquets, l'OSC ($d=80, p=3$) a maintenu 99,85 % de précision. Pour égaler cela, le meilleur VSA performant (HLB) nécessitait $d=343\,000$, résultant en une empreinte de paramètres 1 178 fois plus grande.
  • L'OSC présente une mise à l'échelle logarithmique favorable avec la taille du codebook, similaire aux VSA, mais avec des exigences de mémoire totale nettement inférieures grâce à la croissance sous-linéaire de la dimension du filler.
• Comparaison avec le TPR : Pour une profondeur de rôle de 1, l'OSC atteint 99 % de précision avec moins de paramètres que les TPR une fois que les niveaux de superposition dépassent un certain seuil. Le ratio de compression favorise de plus en plus l'OSC à mesure que le nombre de paquets augmente.
• Application Aval (XML) : L'OSC a été intégrée dans un modèle neuro-symbolique pour la classification multi-labels extrême. Elle a obtenu des performances compétitives (arrivant première dans 43,75 % des cas de métriques sur 8 jeux de données) par rapport à VTB, MAP et HLB, confirmant son apprentissabilité dans les systèmes basés sur le gradient.
• Vitesse d'Inférence : Bien que les opérations par élément de l'OSC soient plus complexes que les opérations simples par élément des VSA, l'OSC devient plus rapide à grande échelle car le goulot d'étranglement passe du calcul à la bande passante mémoire. La empreinte mémoire plus petite de l'OSC réduit les temps de transfert de données, conduisant à des temps de récupération (wall-clock) plus courts dans les scénarios de haute superposition.

5. Signification et Revendications

L'article affirme que l'OSC résout le « fossé neuro-symbolique » en fournissant un mécanisme de liaison récursive profonde qui est à la fois calculablement traitable et efficace en mémoire.

• Changement de Paradigme : En passant de la reconstruction à la reconnaissance et en utilisant l'exclusion géométrique (sculpture) plutôt que l'expansion explicite de dimension, l'OSC évite la mise à l'échelle exponentielle des TPR et l'accumulation de bruit des VSA.
• Praticité : La capacité de générer des contextes procéduralement et la mise à l'échelle sous-linéaire des dimensions des fillers rendent l'OSC adaptée aux applications nécessitant de grands vocabulaires et des structures profondes sans coûts de mémoire prohibitifs.
• Limites : Les auteurs notent modestement que l'OSC ne supporte pas la déliaison algébrique exacte (reconstruction de vecteurs arbitraires) sans itérer à travers un vocabulaire, bien qu'ils soutiennent que c'est un problème non pertinent pour les systèmes de raisonnement symbolique qui reposent de toute façon sur la recherche dans un codebook. Ils reconnaissent également que si l'OSC surpasse les VSA en efficacité de mémoire totale, les VSA peuvent encore conserver un léger avantage lorsque la contrainte est strictement la taille de la mémoire de superposition (et non le stockage total).

Le travail est présenté comme une étape vers des systèmes de mémoire structurés et scalables compatibles avec l'optimisation moderne basée sur le gradient, validée par une vérification empirique étendue contre des bases de référence de pointe.