Technische Samenvatting: Resonant Sparse Geometry Networks (RSGN)

Probleemstelling

De dominante Transformer-architectuur leunt op dichte zelf-attentiemechanismen, wat resulteert in een kwadratische computationele complexiteit ($O(n^2)$) ten opzichte van de sequentielengte. Deze schaleringsbeperking maakt standaard Transformers computationeel onhaalbaar voor context-toepassingen met een lange context (bijv. documentniveau begrip) en inefficiënt voor omgevingen met beperkte middelen. Hoewel bestaande efficiënte varianten van aandacht (bijv. Sparse Transformers, Linformer) de complexiteit verminderen, maken zij doorgaans gebruik van vaste sparsity-patronen of statische projecties, waardoor ze niet in staat zijn om de input-afhankelijke routering te repliceren die wordt waargenomen in biologische neurale systemen. Bovendien missen standaard deep learning-modellen de structurele plasticiteit en extreme activatie-sparsity (1-2% actieve neuronen) die kenmerkend zijn voor het menselijk brein, dat met een opmerkelijke energie-efficiëntie werkt.

Methodologie

De auteurs stellen Resonant Sparse Geometry Networks (RSGN) voor, een brein-geïnspireerde architectuur die vier belangrijke biologische principes integreert: sparse activatie, input-afhankelijke routering, zelforganiserende structuur via Hebbiaans leren en hiërarchische organisatie ingebed in fysieke geometrie.

1. Hyperbolische Ruimtelijke Embedding

RSGN embedt $N$ computationele knopen binnen een geleerde $d$-dimensionale hyperbolische ruimte ($H_d$), specifiek gebruikmakend van het Poincaré-balmodel.

• Geometrie: De exponentiële volumegroei van de hyperbolische ruimte maakt het mogelijk om boomachtige hiërarchische structuren met lage distortie te embedden.
• Connectiviteit: De verbindingssterkte ($w_{ij}$) tussen knopen neemt exponentieel af met de geodetische afstand. Dit dwingt van nature lokaliteit en sparsity af, zonder expliciete pruning-mechanismen.
• Hiërarchie: Knopen nabij de oorsprong vertegenwoordigen abstracte concepten (wortels), terwijl knopen nabij de rand specifieke instanties vertegenwoordigen (bladeren), wat efficiënte informatie-routering faciliteert.

2. Input-Afhankelijke Ontsteking en Dynamiek

Het netwerk werkt via een tweefasig proces voor elke input:

• Ontsteking (Ignition): Input-tokens worden gemapt naar "vonkpunten" in de hyperbolische embedding-ruimte. Dit activeert alleen nabijgelegen knopen, wat een sparse initiële activatiepatron creëert.
• Resonante Propagatie: Activaties propageren iteratief ($K$ stappen) door het netwerk. De dynamiek omvat:
  • Signaalaggregatie: Actieve knopen aggregeren signalen van buren.
  • Soft Thresholding: Een differentieerbare soft-threshold functie ($\sigma((x-\theta)/T)$) bepaalt de knoopactivatie, wat gradiënt-gebaseerd trainen mogelijk maakt.
  • Lokale Inhibitie: Divisieve normalisatie binnen ruimtelijke buurten dwingt een "winner-take-more" competitie af, wat activatie-explosie voorkomt en sparse gedistribueerde representaties bevordert.

3. Twee-Tijdschaal Leersysteem

RSGN scheidt leren in snelle en langzame tijdschalen, wat de biologische verschillen weerspieeft tussen neurale dynamiek en synaptische plasticiteit:

• Snel Leren (Gradiëntafdaling): Optimaliseert de taakprestaties op de tijdschaal van forward passes. Het werkt de input embedding functie, transformatiematrices, output-projecties en affiniteitsfactoren bij via backpropagation.
• Langzaam Leren (Hebbiaanse Structurele Plasticiteit): Past de topologie van het netwerk aan over trainingsbatches heen.
  • Affiniteitsupdate: Co-geactiveerde knopen versterken hun verbindingsaffiniteit ($\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$), gemoduleerd door een globaal beloningssignaal (negatieve loss).
  • Drempeladaptatie: Drempels passen zich homeostatisch aan om een doel-sparsity-niveau te handhaven.
  • Pruning en Sprouting: Zwakke verbindingen worden periodiek verwijderd, terwijl nieuwe verbindingen worden gevormd tussen sterk gecorreleerde maar niet-verbonden knopen.

Belangrijkste Bijdragen

1. Wiskundig Kader: Een volledige formulering voor ruimtelijk-geëmbedde neurale computatie in hyperbolische geometrie, waarbij afstand-gebaseerde connectiviteit, soft-threshold dynamiek en lokale inhibitie worden gedefinieerd.
2. Differentiabele Relaxatie: Een schema dat het gradiënt-gebaseerd trainen van netwerken met dynamische, sparse structuren mogelijk maakt, waardoor discrete biologisch-achtige computatie wordt overbrugd met continue optimalisatie.
3. Hybride Leersregel: Een nieuwe combinatie van backpropagation voor snelle gewichtupdates en Hebbiaanse regels voor langzame topologische adaptatie, wat een biologisch plausibel alternatief biedt voor end-to-end structuur-leren.
4. Theoretische en Experimentele Validatie: Bewijs van sub-kwadratische computationele complexiteit ($O(n \cdot k)$ waar $k \ll n$) en experimentele demonstratie van competitieve prestaties met drastisch gereduceerde parameteraantallen.

Experimentele Resultaten

De auteurs evalueerden RSGN op synthetische benchmarks die ontworpen zijn om hiërarchisch kenmerk-leren en het vangen van langetermijnafhankelijkheden te testen.

• Hiërarchische Classificatie (20 klassen):
  • RSGN bereikte 23,8% nauwkeurigheid met 41.672 parameters.
  • Standaard Transformers bereikten 30,1% nauwkeurigheid maar vereisten 403.348 parameters (ongeveer 10$\times$ meer).
  • RSGN presteerde significant beter dan fixed-sparsity Sparse Transformers (15,9%) en MLPs (16,0%), wat het voordeel van input-afhankelijke routering aantoont.
• Langetermijnafhankelijkheid (Sequentielengte 128):
  • RSGN bereikte 96,5% nauwkeurigheid met 40.382 parameters.
  • Transformers en LSTMs bereikten 100% nauwkeurigheid maar vereisten ongeveer 15$\times$ meer parameters (600.330 en 563.722 respectievelijk).
• Ablatie-studies: Bevestigden dat Hebbiaans leren consistente verbeteringen biedt in stabiliteit en convergentie. De architectuur toonde robuustheid tegen hyperparameter-variaties, waarbij de prestaties stabiel bleven over verschillende knoop-aantallen en propagatiestappen.

Betekenis en Claims

Het artikel stelt dat RSGN een veelbelovende richting biedt naar efficiëntere en biologisch plausibele neurale architecturen. Door activatie-routering (snel) te ontkoppelen van structurele adaptatie (langzaam) en gebruik te maken van hyperbolische geometrie voor hiërarchische organisatie, demonstreert RSGN dat:

• Parameter-efficiëntie: Hoge prestaties kunnen worden behaald met een orde van grootte minder parameters dan standaard Transformers.
• Schaalbaarheid: De architectuur bereikt lineaire of sub-kwadratische schaling ($O(n \cdot k)$) ten opzichte van het aantal actieve knopen, waardoor de kwadratische bottleneck van dichte aandacht wordt vermeden.
• Biologische Plausibiliteit: De integratie van sparse coding, input-afhankelijke routering en Hebbiaanse plasticiteit sluit computationele principes aan bij waargenomen biologische mechanismen, wat suggereert dat toekomstige architecturen verder kunnen gaan dan vaste, dichte computatiegrafieken naar zelforganiserende, dynamische structuren.

De auteurs erkennen beperkingen, waaronder een kloof in absolute nauwkeurigheid vergeleken met Transformers op huidige benchmarks en de uitdaging om sparse, dynamische computatie te mappen naar bestaande GPU-hardware. Ze suggereren dat toekomstig werk neuromorfische hardware-implementaties en opschaling naar miljarden-parameters-regimes op standaard NLP- en visie-benchmarks moet verkennen.