Technisch Overzicht: Lokaal Feromoonnetwerk

Probleemstelling

Hedendaagse neurale netwerken vertrouwen op dichte, differentieerbare modules die getraind worden via globale backpropagation. Hoewel krachtig, koppelt deze aanpak het leren over enorme parametermengels, wat leidt tot catastrofale vergetelheid wanneer nieuwe taken parameters overschrijven die essentieel zijn voor oudere taken. Biologische systemen bieden een alternatief paradigma waarbij synapsen lokaal zijn, plasticiteit wordt gemoduleerd door neuromodulerende signalen, en herinneringen consolideren in de loop van de tijd. Echter, bestaande computationele modellen missen vaak een verenigd technisch prototype dat strikt voldoet aan lokale, ijle en niet-backpropagation-gebaseerde leerregels.

Methodologie: Lokaal Feromoonnetwerk

Het artikel introduceert het Local Pheromone Network (LPN), een onderzoeksprototype voor ijle, lokale, handmatig bijgewerkte neurale netwerken. De architectuur vermijdt automatische differentiatie volledig en vertrouwt in plaats daarvan op een aangepaste lokale leerregel.

Kernarchitectuur

• IJle Lokale Connectiviteit: Elke output-unit verbindt alleen met een vastgesteld, gebudgetteerd nabuurschap van input-units ($K$ buren). De connectiviteit wordt beperkt door:
  • Geometrische Afstand: Units worden geplaatst op een 1D- of 2D-rooster.
  • Moleculaire Tags: Verbindingen zijn alleen toegestaan tussen units met compatibele gehele getal-tags (binnen een afstand $\Delta t$).
• Toestandsrepresentatie: Elke synaps slaat op:
  • Een trainbaar gewicht ($W$).
  • Een kortetermijn feromoonspoor ($s$) en een langetermijn feromoonspoor ($p$).
  • Een optionele consolidatietoestand ($c$).
• Forward Pass: Het effectieve gewicht wordt gemoduleerd door een feromoonpoort ($g$), die de gecombineerde kortetermijn- en langetermijnferomoonmassa normaliseert. Dit stelt het netwerk in staat om tijdens inferentie dynamisch lokale paden te wegen zonder de basisgewichten te wijzigen.

Leerregel

Training verloopt via een lokale, gebudgetteerde Hebbiaanse-stijl update in plaats van gradiëntafdaling:

1. Foutsignaal: Een lokale foutentensor wordt berekend. Voor verborgen lagen wordt een benaderend feedbacksignaal gepropageerd via effectieve lokale gewichten en activatieafgeleiden (een technische benadering, geen biologische exacte regel).
2. Budgetadaptatie: Het aantal synapsen dat per output-unit wordt bijgewerkt ($B$), past zich online aan op basis van loss-trends:
   • Exploit Mode: Als de loss verbetert, krimpt het budget.
   • Neighbor-Follow Mode: Als de loss verslechtert, breidt het budget zich uit naar onlangs actieve buurschappen om lokale exploratie te stimuleren.
3. Synapsselectie: Een subset van synapsen wordt geselecteerd voor update op basis van een score die de magnitude van het lokale signaal ($|q|$) en het langetermijnferomoon ($p$) combineert.
4. Update-mechanisme: Geselecteerde gewichten worden bijgewerkt met behulp van het lokale signaal en een plasticiteitsmultiplier ($\rho$) afgeleid van de consolidatietoestand.
5. Feromoondynamiek:
   • Versterking: Actieve co-activiteit en foutsignalen versterken zowel de kortetermijn- als de langetermijnferomoonsporen.
   • Verdamping: Sporen vervallen met verschillende snelheden ($\lambda_s, \lambda_p$), wat multi-schaal geheugen creëert.
6. Consolidatie: Wanneer aan specifieke criteria wordt voldaan (lage loss, positieve versterking, hoog langetermijnferomoon), gaat een synaps een geconsolideerde toestand binnen. Dit vermindert de plasticiteit ($\rho$) ervan, waardoor het beschermd wordt tegen overschrijving door conflicterende taken.
7. Structurele Plasticiteit & Replay:
   • Structurele Plasticiteit: Synapsen met een laag feromoon die niet zijn geselecteerd, kunnen worden weggehaald (pruning) en vervangen door nieuwe verbindingen naar tag-compatibele kandidaten in actieve buurschappen.
   • Lokale Replay: Als een nieuwe update een loss-piek veroorzaakt (wat duidt op conflict), worden eerder opgeslagen voorbeelden met een lage loss uit de "exploit"- of "steady"-modi opnieuw afgespeeld met dezelfde lokale update-regel om vergetelheid te beperken.

Belangrijkste Bijdragen

De bijdragen van het artikel zijn primair beschrijvend en architecturaal; ze formaliseren een specifieke klasse van lokale leersystemen:

1. Formalisering van een IJle Lokale Laag: Een laag waarbij de connectiviteit strikt wordt gedefinieerd door ruimtelijke nabijheid en tag-compatibiliteit, opgeslagen als ijle matrices in plaats van dichte tensoren.
2. Feromoon-Gated Leren: Een mechanisme waarbij leren wordt afgeschermd door multi-schaal feromoonsporen, wat onderscheid maakt tussen transiënte activiteit en stabiel geheugen.
3. Budget-Adaptieve Synapsselectie: Een dynamisch mechanisme dat het leerbudget verkleint of vergroot op basis van prestaties, waarbij prioriteit wordt gegeven aan lokale exploratie wanneer fouten toenemen.
4. Consolidatie-gestuurde Stabiliteit: Een per-synaps consolidatiemechanisme dat de plasticiteit vermindert voor volwassen verbindingen, wat expliciet een afruil maakt tussen adaptiviteit en stabiliteit.
5. Integratie van Lokale Replay: Een methode voor conflictresolutie die de lokale update-regels opnieuw toepast op opgeslagen voorbeelden zonder backpropagation aan te roepen.

Experimentele Resultaten

De auteurs presenteren voorlopige gedragsprobes op synthetische taken in plaats van competitieve benchmarks:

• Lokale Regressie: Het netwerk leerde succesvol eenvoudige lokale lineaire mappingen (12 inputs $\to$ 3 outputs) met een MSE die daalde van ~1.17 naar ~0.008, wat de effectiviteit van de lokale leerregel bevestigt wanneer de geometrie overeenkomt met de taakstructuur.
• Gecompartimenteerd Geheugen: Taken toegewezen aan verschillende output-regio's en tags werden onafhankelijk behouden.
• Conflicterend Geheugen: Wanneer twee taken concurreerden om dezelfde lokale synapsen, vertoonde het netwerk catastrofale vergetelheid (loss-ratio ~92x), zoals verwacht zonder consolidatie.
• Geconsolideerd Conflict: Met consolidatie ingeschakeld, werd vergetelheid aanzienlijk verminderd (loss-ratio ~49x vs. ~1481x in de baseline), hoewel het leren van de nieuwe conflicterende taak langzamer werd. Dit demonstreert de beoogde stabiliteit-plasticiteit-afweging.
• Structurele Plasticiteit & Replay: Het systeem paste succesvol lokale buurschappen aan en activeerde replay-stappen wanneer conflicten werden gedetecteerd.
• Hybride Geheugen: In een synthetische context-taak met een lange context bereikte een hybride model dat een standaard convolutionele voorspeller combineert met een LPN-geheugenbranch een nauwkeurigheid van 100%, terwijl de convolutionele basis alleen faalde (8% nauwkeurigheid).

Betekenis en Claims

Het artikel positioneert het Local Pheromone Network als een bescheiden technisch prototype en niet als een vervanging voor Transformers of standaard deep learning.

• Wat het demonstreert:
  1. IJle, tag-beperkte lokale lagen kunnen eenvoudige lokale functies fitten zonder autograd.
  2. Output-masks en tags kunnen geheugens effectief scheiden over regio's.
  3. Direct conflict op gedeelde synapsen veroorzaakt vergetelheid, maar consolidatie kan dit mitigeren door de plasticiteit te verminderen.
  4. Lokale replay en structurele plasticiteit kunnen worden geïntegreerd in één enkele lokale update-loop.
• Wat het niet demonstreert:
  • Het is geen competitieve vervanging voor sequentiemodelleringsarchitecturen (Transformers, RNN's).
  • Het lost geen grootschalige sequentiemodelleringsproblemen op.
  • Het feedbacksignaal voor de verborgen lagen is een technische benadering, geen biologisch exacte regel.

De auteurs concluderen dat de architectuur dient als een concreet testbed voor het onderzoeken van lokaal geheugen, hersenregio-partitionering en stabiliteit-plasticiteit-dynamiek, wat wijst op toekomstige potentie in hybride modellen waarbij conventionele leerders dichte kenmerken leveren en LPN-branches gepartitioneerde langetermijnassociaties opslaan.