Technische Samenvatting: Geodesic Flow Matching voor het Denoising van Hoogdimensionale Gestructureerde Representaties

1. Probleemstelling

Vector Symbolic Algebras (VSA's) maken robuuste neurosymbolische redenering mogelijk door symbolische informatie te coderen in hoogdimensionale gedistribueerde vectoren. Een cruciale vereiste voor deze systemen is "cleanup"—het vermogen om ruisige, gecomponeerde of gedeeltelijke inputs terug te mappen naar geldige, schone staten. Hoewel dit goed onderzocht is voor discrete symbolen, blijft cleanup een open uitdaging voor continue representaties zoals Spatial Semantic Pointers (SSP's).

SSP's coderen continue ruimtelijke variabelen in hoogdimensionale vectoren ($d > 1000$) die zich bevinden op een hooggestructureerde Clifford Hypertorus ingebed binnen de eenheidshypersfeer $S^{d-1}$. Het artikel identificeert een fundamenteel geometrisch falen bij het toepassen van standaard Conditional Flow Matching (CFM) op SSP's:

• Euclidische Aanname: Standaard CFM gaat uit van een vlakke Euclidische geometrie, waarbij transportpaden worden gedefinieerd als lineaire interpolanten (koorden) tussen een ruis-sample en een data-sample.
• Geometrische Mismatch: Voor data die beperkt is tot een hypersfeer, loopt een rechte lijn die twee punten verbindt door het binnenste van de sfeer. Dit veroorzaakt een instorting van de vectoramplitude ($||\phi_t|| < 1$) tijdens het transportproces.
• Gevolg: Deze amplitude-instorting vernietigt de precieze faseverhoudingen ($e^{i\theta_j x}$) die nodig zijn om de ruimtelijke semantiek gecodeerd in de SSP te decoderen. Bijgevolg falen Euclidische lineaire interpolanten bij het herstellen van geldige SSP-staten, wat leidt tot catastrofale fouten in downstream taken zoals padintegratie.

2. Methodologie

De auteurs stellen Geodesic Flow Matching (GFM) voor om de geometrische mismatch op te lossen door de Riemanniaanse transportdynamica strikt te beperken tot de SSP-torus-manifold.

Kernmechanisme

In plaats van lineaire interpolatie definieert GFM het waarschijnlijkheidspad langs de grootcirkelboog (geodeet) tussen de bron (ruis) en de doelstelling (schone data) op de eenheidshypersfeer $S^{d-1}$.

• Logaritmische Kaart ($\text{Log}_{\phi_0}$): Projecteert de doeltoestand $\phi_1$ in de raakruimte bij de bron $\phi_0$, wat de initiële snelheidsvector definieert.
• Exponentiële Kaart ($\text{Exp}_{\phi_0}$): Brengt een tangentieel vector terug op de manifold, waardoor de toestand langs het geodeet wordt voortbewogen.
• Transportdynamica: Het pad wordt gedefinieerd als $\phi_t = \text{Exp}_{\phi_0}(t \cdot \text{Log}_{\phi_0}(\phi_1))$.
• Trainingsdoelstelling: Een neuraal netwerk $v_\theta(\phi_t, t)$ wordt getraind om de instantane tangentiele snelheid langs deze boog te regresseren. Het model minimaliseert een cosine flow loss om de voorspelde snelheid uit te lijnen met de ware geodetische snelheid, waardoor updates per definitie tangentieel aan de hypersfeer blijven en de eenheidsnorm-beperking behouden.

Toepassingscontext: Spiking Neural SLAM

De methode wordt gevalideerd binnen een Spiking Neural Network (SNN) implementatie van Semantic Simultaneous Localization and Mapping (SLAM).

• Uitdaging: SNN's introduceren significante ruis (spiking variabiliteit, faseverschuiving in recurrente verbindingen) die representaties van de geldige manifold wegduwt.
• Rol van GFM: Het GFM-model fungeert als een online stabilisator die de afdrijvende padintegratie (PI) outputs onderschept en ze terug projecteert op de manifold voordat ze worden gebruikt voor landmark binding. Dit voorkomt de accumulatie van fouten die anders tot divergentie van de trajectorie zouden leiden.

3. Belangrijkste Bijdragen

1. Identificatie van Geometrisch Falen: Het artikel demonstreert dat standaard Euclidische Flow Matching faalt voor hoogdimensionale gestructureerde representaties (SSP's) omdat lineaire interpolanten "door" de binnenkant van de manifold snijden, waardoor de fase- en amplitudestructuur wordt vernietigd.
2. Geodesic Flow Matching Framework: De auteurs passen flow matching aan voor hoogdimensionale, toroidale neurosymbolische representaties door transport te beperken tot de Riemanniaanse manifold met behulp van logaritmische en exponentiële kaarten.
3. Empirische Validatie in SNN's: De aanpak wordt getest in een uitdagende, real-time neurosymbolische benchmark (Semantic SLAM) met behulp van spiking neuronen, een moeilijke testomgeving vanwege de inherente ruis.
4. Efficiëntiewinst: De methode maakt hoogwaardig associatief geheugen mogelijk in systemen waar semantiek is gecodeerd in de vectorrichting in plaats van de amplitude, waardoor de kloof wordt overbrugd tussen generatieve transport en geldige neurosymbolische cleanup.

4. Experimentele Resultaten

De auteurs vergelijken GFM met Euclidean Flow Matching (CFM), Feedforward Regression, Grid Lookup en optimalisatiegebaseerde baselines.

• Denoising Benchmarks:

  • GFM presteert aanzienlijk beter dan Euclidean CFM, vooral in hoog-ruis regimes waar lineaire interpolanten niet in staat zijn de grondwaarheid te herstellen.
  • In hoog-ruis condities (Signaalsterkte < 0,15) presteert GFM beter dan niet-neurale baselines (Grid/Optimization) die niet in staat zijn om naar de juiste prototypes te "snappen" zodra het signaal onder de ruisvloer zakt.
  • Kwalitatieve analyse laat zien dat GFM scherpe, unimodale pieken reconstrueert op de juiste ruimtelijke coördinaat, terwijl Euclidean modellen een ruimtelijk verschoven "drift" produceren en feedforward modellen diffuse, gemiddelde representaties produceren.

• SLAM Prestaties (Spiking Neural System):

  • Foutreductie: In een middelenbeperkt regime ($N=1500$ neuronen) verminderde GFM de gemiddelde pad-tracking fout met 72% vergeleken met een Grid baseline (0,076m vs. 0,249m).
  • Neurale Efficiëntie: Een systeem met 1.500 neuronen, geaugmenteerd met GFM, bereikte een tracking nauwkeurigheid vergelijkbaar met een baseline systeem dat 2.500 neuronen gebruikt. Dit vertegenwoordigt een 40% toename in neurale efficiëntie (of een 40% reductie in benodigde middelen) voor stabiele padintegratie.
  • Stabiliteit: In tegenstelling tot Grid baselines die discontinue staatssprongen introduceren (wat leidt tot divergentie van de trajectorie), biedt GFM een continue correctieveld dat een stabiele langetermijnintegratie handhaaft.

5. Betekenis en Claims

Het artikel claimt dat de intrinsieke geometrie van hoogdimensionale representaties cruciaal is voor robuuste cleanup. Door het paradigma te verschuiven van discrete zoektochten in het ingebedde domein naar continue generatieve transport direct in de embedding ruimte, bieden de auteurs een robuust framework voor hypersferische embeddings.

De betekenis ligt in:

• Geometrische Consistentie: Het waarborgen dat transport consistent blijft met de manifold voorkomt de vernietiging van fase-informatie, wat essentieel is voor nauwkeurige decodering in VSA's.
• Neuromorfische Efficiëntie: De methode maakt efficiënte neuromorfische computing mogelijk door ruisige spiking representaties te stabiliseren, waardoor kleinere netwerken taken kunnen uitvoeren die voorheen meer middelen vereisten.
• Generaliseerbaarheid: Hoewel gericht op SSP's, is de aanpak toepasbaar op andere architecturen die gebruikmaken van hypersferische embeddings, zoals Hyperspherical Prototype Networks en Hyperspherical Variational Autoencoders, waarbij de vectorrichting de semantiek codeert.

De auteurs merken op dat hoewel de huidige architectuur prioriteit geeft aan het valideren van de geometrische formulering boven rekenoptimalisatie, het framework is ontworpen om volledig naar spiking netwerken te kunnen worden omgezet voor implementatie op fysieke neuromorfische hardware.