Energy Minima Are Not Enough: A Free-Energy Design Condition for Encoding Shortest Path in Stochastic Spiking Networks

Technische Samenvatting: Energiegemima zijn niet genoeg: Een Free-Energy Design Conditie voor het Encoderen van de Kortste Pad in Stochastische Spiking Netwerken

Probleemstelling
Het artikel behandelt het ontwerp van stochastische spiking neurale netwerken (SSNN's) die een Boltzmann-stationaire verdeling toelaten om combinatorische optimalisatieproblemen op te lossen, specifiek het gewogen kortste pad probleem. Terwijl eerder werk vaststelde dat dergelijke netwerken zo ontworpen kunnen worden dat de oplossing overeenkomt met het minimum van een energiefunctie, betoogt dit artikel dat het waarborgen dat de juiste configuratie het energieminimum is, onvoldoende is. Twee verschillende condities zijn vereist om het netwerk correct het kortste pad te laten encoderen:

1. Ordering (Ordening): De energiefunctie moet het kortste pad rangschikken als het minimum onder alle geldige padconfiguraties.
2. Discrimination (Discriminatie): De padsector moet voldoende geaggregeerde waarschijnlijkheidsmassa dragen om het entropisch voordeel van "scatter" configuraties (disjuncte verzamelingen randen) te overwinnen die de activiteitsgraad van het pad nabootsen maar een gebrek aan continuïteit vertonen.

Het artikel demonstreert dat standaard ontwerpparameters vaak niet voldoen aan de discriminatieconditie en dat een specifieke structurele augmentatie (terminal drive) vereist is om concurrerende configuraties uit te sluiten die energetisch gunstiger zijn dan het pad.

Methodologie
De auteur analyseert een specifieke constructie waarbij een gewogen graaf wordt gecompileerd naar een netwerk van Winner-Take-All (WTA) clusters. Elk cluster vertegenwoordigt een traversal (doorloop) van een vertex in plaats van de vertex zelf. Het netwerk maakt gebruik van drie koppelingsklassen:

• $\alpha$ (Continuity): Beloont een paar actieve neuronen in tegenovergestelde slots van een cluster (vertegenwoordigend een pad dat een vertex binnenkomt en verlaat). Het gewicht hangt af van de som van de incidentele randgewichten.
• $\beta$ (Consistency): Beloont overeenstemming tussen twee clusters dat een rand wordt doorlopen.
• $\gamma$ (Inhibition): Handhaaft WTA-restricties binnen slots.

De analyse verloopt via:

1. Exacte Enumeratie: Het afleiden van gesloten vorm expressies voor de energie van padconfiguraties en het verifiëren hiervan tegen gecompileerde netwerken.
2. Combinatorische Analyse: Het berekenen van het energieverschil tussen een padconfiguratie en "scatter" configuraties (matchings) die identieke activiteitstallen en $\beta$-paar-aantallen hebben maar nul $\alpha$-paren.
3. Free-Energy Argument: Het vergelijken van de energiemarge (gedreven door de continuïteitsschaal $c$) met de log-multipliciteit (entropie) van de concurrerende scatter-familie.
4. Augmentatie: Het introduceren van twee hulp-vertices ($S$ en $T$) die verbonden zijn met de bron en de doelwit via nul-gewicht randen om te garanderen dat elke vertex in het pad als een traversal wordt behandeld, waardoor de energie proportioneel is aan het totale padgewicht.
5. Simulatie: Het implementeren van een $O(|E|)$ simulator om schaling te valideren en parameter sweeps uit te voeren, waarbij geheugenbottlenecks van expliciete gewichtsmatrices worden vermeden.

Belangrijkste Bijdragen

1. Twee Design Condities: Het artikel identificeert dat een enkele conditie (ordering) onvoldoende is.

   • Ordering Condition ($\lambda = 0$): De lengte-bias coëfficiënt $\lambda \equiv 2b_k + D + c$ moet verdwijnen. Dit zorgt ervoor dat de energie van een pad alleen afhangt van zijn totale gewicht, niet van zijn hop-count. Dit vereist een specifieke bias-instelling: $b_k = -(D + c)/2$.
   • Discrimination Condition: De continuïteitsschaal $c$ moet groot genoeg zijn zodat de energiemarge $c(L+1)\bar{\alpha}$ de log-ratio van het aantal scatter microstates tot pad microstates overtreft.

2. Structurele Rol van Terminal Drive: Het artikel stelt vast dat de additive drive op de terminal neuronen ($S$ en $T$) geen louter implementatiedetail is, maar een structurele noodzaak. Zonder deze drive kunnen "all-silent" configuraties (energie 0) of disjuncte cyclus configuraties (die een extra continuiteitspaar dragen) een lagere energie hebben dan het kortste pad, ongeacht de parametrisering. De drive sluit deze sectoren uit van de toegankelijke ensemble, waardoor het kortste pad het minimum is van de toegankelijke ensemble in plaats van het globale minimum van de energiefunctie.

3. De Discriminatie Drempel is Niet Universeel: Door enumeratie over 1.027 instanties over vier grafenfamilies (sparse, dense, grid, terrain) laat de auteur zien dat de vereiste continuïteitsschaal $c$ geen eenvoudige functie is van diepte of een vaste constante.

   • De vereiste $c$ is een ratio van de log-multipliciteit van de concurrenten tot de energiemarge.
   • Bij de gebruikelijke werkingspunt ($c=4$), voldoet slechts 13,4% van de instanties aan de discriminatieconditie (rekening houdend met microstates). In de lattice-familie voldoet 0% aan de conditie; in de ruimtelijk ingebedde terrain-familie voldoet 35,1% aan de conditie.
   • Het artikel biedt een overdraagbare wet (Vergelijking 27) om de vereiste $c$ voor een gegeven instantie te schatten op basis van diepte, aantal randen en gemiddeld randgewicht, met een mediane relatieve fout van 8,6%.

4. Correctie van Eerdere Afleidingen: Het artikel corrigeert specifieke telfouten in de oorspronkelijke constructie (bijv. actieve neuron counts, $\alpha$ en $\beta$ paar-aantallen) en verheldert dat de eerder gepubliceerde bias-conditie ($b_k = -(D/4 + 1)$) niet leidt tot $\lambda=0$ tenzij $D=2$.

5. $O(|E|)$ Formulering: De auteur presenteert een decompositie van de membraanpotentiaal update die de computationele complexiteit reduceert van $O(N d^2)$ naar $O(|E|)$, wat simulaties op netwerken met tot 3,6 miljoen neuronen mogelijk maakt, wat voorheen onhandelbaar was.

Resultaten

• Falen van Standaard Parameters: Bij het standaard werkingspunt ($c=4, B=2w_{max}$), falen de overgrote meerderheid van de instanties voor de discriminatieconditie. De stationaire verdeling van het netwerk wordt gedomineerd door scatter-configuraties of disjuncte cycli in plaats van het kortste pad.
• De "Verborgen" Concurrent: De analyse onthult een sector van configuraties bestaande uit disjuncte cycli (plus een padcomponent) die energetisch goedkoper zijn dan het kortste pad omdat ze één extra continuiteitspaar ($\alpha$-paar) bezitten. Geen keuze van $c$ kan deze onderdrukken; ze worden uitsluitend uitgesloten door de terminal drive, die buiten de energiefunctie opereert.
• Trade-offs: Het verhogen van de gewichtsnormalisatie grens $B$ verbetert de discriminatie maar verscherpt de tolerantie die vereist is voor de ordering conditie ($\lambda$), wat een drieweg-trade-off creëert tussen continuïteitsschaal, precisie van de bias en gewichtsnormalisatie.
• Sampling Obstruction: Directe sampling om de discriminatieconditie te bevestigen is structureel gehinderd. De padsector bestaat bij een veel lager activiteitsniveau ($2L$) dan de rusttoestand van het netwerk ($O(N)$), waardoor de waarschijnlijkheid om de padsector te bereiken in free-running dynamica zonder importance sampling verwaarloosbaar klein is.

Betekenis en Claims
Het artikel beweert dat voor stochastische spiking netwerken om het kortste pad probleem op te lossen via energiediminimalisatie, het ontwerp aan twee onafhankelijke condities moet voldoen: één voor het ordenen van paden op gewicht en één voor het discrimineren van paden tegenover hoog-entropische scatter-configuraties.

Cruciaal is dat energiegemima niet genoeg zijn. Zelfs als het kortste pad het minimum is van de padsector (wat $\lambda=0$ vereist), is het niet het globale minimum van de energiefunctie omdat de all-silent configuratie een energie van exact nul heeft. Bovendien demonstreert het artikel dat disjuncte cyclus configuraties goedkoper kunnen zijn dan het kortste pad; deze worden alleen uitgesloten van de toegankelijke ensemble door de terminal drive, die buiten de energiefunctie opereert. Daarom is het kortste pad het minimum van de toegankelijke ensemble alleen wanneer de drive actief is.

De auteur concludeert dat de correctheid van de constructie rust op drie componenten die vaak als boekhoudkundig worden behandeld: de hulp-vertices, de terminal bias en de additive drive. Zonder deze componenten faalt het netwerk in het encoderen van het kortste pad. Het artikel claimt niet dat het netwerk de oplossing in de praktijk succesvol bereikt onder standaard dynamica; eerder stelt het de exacte theoretische condities vast die vereist zijn om de oplossing het minimum van de toegankelijke ensemble te laten zijn, en benadrukt het dat standaard parameterkeuzes ($c=4$) doorgaans niet voldoen aan de discriminatie-drempel, waardoor de oplossing onbereikbaar blijft in de stationaire verdeling.