Résumé Technique : Geodesic Flow Matching pour le débruitage de représentations structurées de haute dimension

1. Énoncé du Problème

Les Algèbres Vectorielles Symboliques (VSA) permettent un raisonnement neurosymbolique robuste en encodant l'information symbolique dans des vecteurs distribués de haute dimension. Une exigence critique pour ces systèmes est le « nettoyage » (cleanup) — la capacité de mapper des entrées bruitées, composées ou partielles vers des états valides et propres. Bien que ce processus soit largement exploré pour les symboles discrets, le nettoyage reste un défi ouvert pour les représentations continues comme les Pointeurs Sémantiques Spatiaux (SSP).

Les SSP encodent des variables spatiales continues dans des vecteurs de haute dimension ($d > 1000$) qui résident sur un Hypertorus de Clifford hautement structuré, lui-même embarqué dans l'hypersphère unité $S^{d-1}$. L'article identifie un échec géométrique fondamental lors de l'application du Flow Matching Conditionnel (CFM) standard aux SSP :

• Hypothèse Euclidienne : Le CFM standard suppose une géométrie euclidienne plate, définissant des chemins de transport comme des interpolants linéaires (cordes) entre un échantillon de bruit et un échantillon de données.
• Incohérence Géométrique : Pour des données contraintes à une hypersphère, une ligne droite reliant deux points passe par l'intérieur de la sphère. Cela provoque un effondrement de la magnitude du vecteur ($||\phi_t|| < 1$) durant le processus de transport.
• Conséquence : Cet effondrement de magnitude détruit les relations de phase précises ($e^{i\theta_j x}$) nécessaires pour décoder la sémantique spatiale encodée dans le SSP. Par conséquent, les interpolants linéaires euclidiens échouent à restaurer des états SSP valides, entraînant des erreurs catastrophiques dans les tâches en aval comme l'intégration de trajectoire.

2. Méthodologie

Les auteurs proposent le Geodesic Flow Matching (GFM) pour résoudre l'incohérence géométrique en adaptant la dynamique de transport riemannienne pour restreindre strictement le flux de débruitage au manifold toroïdal des SSP.

Mécanisme Central

Au lieu d'une interpolation linéaire, le GFM définit le chemin de probabilité le long de l'arc de grand cercle (géodésique) entre la source (bruit) et la cible (données propres) sur l'hypersphère unité $S^{d-1}$.

• Carte Logarithmique ($\text{Log}_{\phi_0}$) : Projette l'état cible $\phi_1$ dans l'espace tangent au point source $\phi_0$, définissant ainsi le vecteur de vitesse initiale.
• Carte Exponentielle ($\text{Exp}_{\phi_0}$) : Projette un vecteur tangent de nouveau sur le manifold, faisant progresser l'état le long de la géodésique.
• Dynamique de Transport : Le chemin est défini par $\phi_t = \text{Exp}_{\phi_0}(t \cdot \text{Log}_{\phi_0}(\phi_1))$.
• Objectif d'Entraînement : Un réseau de neurones $v_\theta(\phi_t, t)$ est entraîné pour régresser la vitesse tangentielle instantanée le long de cet arc. Le modèle minimise une perte de flux cosinus (cosine flow loss) pour aligner la vitesse prédite avec la véritable vitesse géodésique, garantissant que les mises à jour restent tangentes à l'hypersphère et préservent la contrainte de norme unité par construction.

Contexte d'Application : SLAM Neural à Spikes

La méthode est validée au sein d'une implémentation de Réseau de Neurones à Spikes (SNN) pour la Cartographie et la Localisation Simultanée (SLAM) Sémantique.

• Défi : Les SNN introduisent un bruit significatif (variabilité des spikes, dérive de phase dans les connexions récurrentes) qui pousse les représentations hors du manifold valide.
• Rôle du GFM : Le modèle GFM agit comme un stabilisateur en ligne, interceptant les sorties de l'intégration de trajectoire (PI) qui dérivent et les projetant à nouveau sur le manifold avant qu'elles ne soient utilisées pour la liaison de points de repère (landmark binding). Cela empêche l'accumulation d'erreurs qui causerait autrement une divergence de la trajectoire.

3. Contributions Clés

1. Identification de l'Échec Géométrique : L'article démontre que le Flow Matching Euclidien standard échoue pour les représentations structurées de haute dimension (SSP) car les interpolants linéaires « coupent » l'intérieur du manifold, détruisant la structure de phase et de magnitude.
2. Cadre de Geodesic Flow Matching : Les auteurs adaptent le flow matching aux représentations neurosymboliques toroïdales de haute dimension en contraignant le transport au manifold riemannien via des cartes logarithmiques et exponentielles.
3. Validation Empirique dans les SNN : L'approche est testée dans un benchmark de SLAM sémantique en temps réel utilisant des neurones à spikes, un banc d'essai difficile en raison du bruit inhérent.
4. Gains d'Efficacité : La méthode permet une mémoire associative à haute capacité dans des systèmes où la sémantique est encodée dans la direction du vecteur plutôt que dans sa magnitude, comblant ainsi le fossé entre le transport génératif et le nettoyage neurosymbolique valide.

4. Résultats Expérimentaux

Les auteurs comparent le GFM au CFM Euclidien, à la Régression Feedforward, à la Recherche par Grille (Grid Lookup) et aux bases d'Optimisation.

• Benchmarks de Débruitage :

  • Le GFM surpasse significativement le CFM Euclidien, particulièrement dans les régimes de bruit élevé où les interpolants linéaires échouent à récupérer la vérité terrain.
  • Dans des conditions de bruit élevé (Force du Signal < 0,15), le GFM surpasse les bases non neuronales (Grille/Optimisation) qui ne parviennent pas à se « caler » sur les bons prototypes une fois que le signal descend sous le seuil de bruit.
  • L'analyse qualitative montre que le GFM reconstruit des pics unimodaux nets au niveau de la coordonnée spatiale correcte, tandis que les modèles euclidiens produisent une « dérive » spatiale et les modèles feedforward produisent des représentations diffuses.

• Performance SLAM (Système Neural à Spikes) :

  • Réduction d'Erreur : Dans un régime de ressources limitées ($N=1500$ neurones), le GFM a réduit l'erreur moyenne de suivi de trajectoire de 72 % par rapport à une base de Grille (0,076 m contre 0,249 m).
  • Efficacité Neurale : Un système de 1 500 neurones augmenté de GFM a atteint une précision de suivi comparable à un système de base utilisant 2 500 neurones. Cela représente une augmentation de 40 % de l'efficacité neurale (ou une réduction de 40 % des ressources requises) pour une intégration de trajectoire stable.
  • Stabilité : Contrairement aux bases de Grille qui introduisent des sauts d'état discontinus (causant une divergence de trajectoire), le GFM fournit un champ de correction continu qui maintient une intégration à long terme stable.

5. Signification et Revendications

L'article affirme que la géométrie intrinsèque des représentations de haute dimension est critique pour un nettoyage robuste. En déplaçant le paradigme de la recherche discrète dans le domaine embarqué vers un transport génératif continu directement dans l'espace d'embedding, les auteurs fournissent un cadre robuste pour les plongements hypersphériques.

La signification réside dans :

• Cohérence Géométrique : Garantir que le transport reste cohérent avec le manifold empêche la destruction de l'information de phase, essentielle pour un décodage précis dans les VSA.
• Efficacité Neuromorphique : La méthode permet un calcul neuromorphique efficace en stabilisant les représentations à spikes bruitées, permettant à des réseaux plus petits d'accomplir des tâches qui nécessitaient auparavant plus de ressources.
• Généralisabilité : Bien que focalisée sur les SSP, l'approche s'applique à d'autres architectures utilisant des plongements hypersphériques, tels que les Réseaux de Prototypes Hypersphériques et les Autoencodeurs Variationnels Hypersphériques, où la direction du vecteur encode la sémantique.

Les auteurs notent que bien que l'architecture actuelle privilégie la validation de la formulation géométrique sur la minimisation du calcul, le cadre est conçu pour être convertible en réseaux entièrement à spikes pour un déploiement sur du matériel neuromorphique physique.