Technische Samenvatting: Finite-Nudge Equilibrium Propagation in Thermische Ensembles

Probleemstelling

Equilibrium Propagation (EP) en Contrastive Hebbian Learning (CHL) bieden biologisch plausibele alternatieven voor backpropagation door gebruik te maken van lokale leerregels gebaseerd op energiediminutie. Echter, klassieke formuleringen van deze methoden rusten op twee restrictieve aannames die hun theoretische en praktische toepasbaarheid beperken:

1. De Infinitesimale Limiet: Traditionele EP vereist dat de "nudge" (het supervisiesignaal toegepast op de output) infinitesimaal klein is ($\beta \to 0$) om de exacte gradiënt van de gesuperviseerde loss te herstellen. In de praktijk is finite nudging vaak vereist voor stabiel leren, maar dit introduceert een bias ten opzichte van de ware gradiënt.
2. Deterministische Dynamica: Klassieke analyses gaan vaak uit van zero-temperature dynamica waarbij de netwerktoestand instort tot één enkel deterministisch energieminimum. Deze idealisering houdt geen rekening met de stochastische aard van fysieke of biologische circuits en heeft moeite met niet-convexe energielandschappen waar meerdere lokale minima kunnen bestaan.

Gevolgelijkelijk is de theoretische status van finite-nudge learning in stochastische, thermische ensembles incompleet gebleven, wat de vraag openlaat welke globale doelstelling dergelijke leerregels daadwerkelijk optimaliseren.

Methodologie

Het artikel herformuleert de netwerktoestand niet als een deterministisch punt, maar als een willekeurige variabele verdeeld volgens een Gibbs-Boltzmann verdeling bij een eindige temperatuur $T$. Het systeem wordt gedefinieerd door een energiefunctie $E(\theta, s)$ en een taakafhankelijke loss $\ell(s)$.

De Stochastische Contrastieve Doelstelling

De auteur definieert een nieuwe doelstelling, de Stochastische Contrastieve Doelstelling $J(\theta)$, als het verschil in Helmholtz vrije energie tussen twee fasen:

• Vrije Fase ($\beta=0$): Het netwerk ontspant onder de energiefunctie $E(\theta, s)$ alleen.
• Genudged Fase ($\beta=1$): Het netwerk ontspant onder de doelstellingskern $F(\theta, \beta, s) = E(\theta, s) + \beta\ell(s)$.

De doelstelling wordt gedefinieerd als:
$$J(\theta) \triangleq A(\theta, 1) - A(\theta, 0)$$
waarbij $A(\theta, \beta) = -T \log Z_\beta(\theta)$ de Helmholtz vrije energie is en $Z_\beta$ de partitiefunctie is.

Gradiënt Afleidingen

Het artikel stelt twee exacte representaties vast voor de gradiënt $\nabla_\theta J(\theta)$ zonder uit te gaan van infinitesimale nudging of convexiteit:

1. Expectation Contrast (Theorem 3.1):
   De gradiënt is exact het verschil tussen de verwachte lokale energieafgeleiden onder de genudged en de vrije Gibbs-verdelingen:
   $$\nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho_1}[\nabla_\theta E(\theta, s)] - \mathbb{E}_{s \sim \rho_0}[\nabla_\theta E(\theta, s)]$$
   Dit bewijst dat de standaard twee-fasen contrastieve update regel exact gradiëntafdaling uitvoert op $J(\theta)$ voor elke eindige temperatuur en eindige nudging-sterkte.

2. Geïntegreerde Covariantie (Theorem 3.4):
   De gradiënt kan ook worden uitgedrukt als een integraal over de nudging-sterkte $\beta \in [0, 1]$ van de covariantie tussen de loss en de energiegradiënt:
   $$\nabla_\theta J(\theta) = -\frac{1}{T} \int_0^1 \text{Cov}_{s \sim \rho_\beta}[\ell(s), \nabla_\theta E(\theta, s)] \, d\beta$$
   Deze formulering generaliseert de infinitesimale EP-regel (die deze integraal benadert via een eerste-orde Taylor-expansie bij $\beta=0$) naar willekeurige eindige nudging.

Zero-Temperature en Variationale Limieten

• Zero-Temperature Limiet: Wanneer $T \to 0$, herstelt de theorie de klassieke deterministische contrastieve regel. Als het energielandschap meerdere minima heeft, convergeert de gradiënt naar een krommingsgewogen gemiddelde van de gradiënten bij die minima (Laplace-benadering), in plaats van een uniform gemiddelde of een enkel willekeurig minimum.
• Variatieve Interpretatie: Met behulp van het Gibbs variatieprincipe wordt getoond dat de doelstelling $J(\theta)$ een geregulariseerde proxy is voor de gesuperviseerde loss. Het decomposeert in de verwachte loss in de genudged fase plus een Kullback-Leibler (KL) divergentie term die de afstand tussen de genudged en de vrije verdeling bestraft:
  $$J(\theta) = \mathbb{E}_{s \sim \rho_1}[\ell(s)] + T \cdot \text{KL}(\rho_1 \parallel \rho_0)$$

Belangrijkste Resultaten

De auteur valideert het theoretische kader via numerieke experimenten op de Fashion-MNIST dataset met een single-layer energy-based netwerk met tanh-units.

1. Trainingsprestaties:

   • Infinitesimal EP ($\beta=0.01$): Faalde om te leren, waarbij het stagneerde nabij kansniveau (20–30% accuratesse).
   • Finite-Nudge EP ($\beta=1.0$): Bereikte snel $\sim80\%$ testaccuratesse, waarbij het de standaard backpropagation nauwgezet volgt.
   • Path-Integral EP: Een variant die de integraal-covariantie regel implementeert, bereikte eveneens een hoge accuratesse.

2. Signaal-ruisverhouding (SNR):

   • Voor kleine nudging-sterktes ($\beta \lesssim 10^{-2}$) was het update-signaal ononderscheidbaar van de sampling-ruis.
   • Naarmate $\beta$ de waarde 1.0 naderde, verbeterde de SNR met een factor tien, wat aantoont dat finite nudging een signaalregime ontsluit dat ontoegankelijk is voor infinitesimale methoden.

3. Gradiënt Alignment:

   • De cosinus-gelijkenis tussen de praktische contrastieve update en de ware vrije-energiegradiënt nam monotoon toe met $\beta$, en bereikte $\sim0.5$ bij $\beta=1.0$. Dit bevestigt dat grote nudges gradiënt-achtig blijven met betrekking tot de thermodynamische doelstelling.

4. Exacte Verificatie:

   • Aanvullende experimenten op een kleinere dataset (Digits) met exacte wiskundige marginalisatie (om MCMC-ruis te vermijden) bevestigden dat de gradiënt-identiteit exact standhoudt bij eindige $\beta$ en dat de relatieve fout tussen analytische en numerieke afgeleiden op machineprecisie blijft.

Betekenis en Claims

Het artikel claimt de theoretische incompleetheid van contrastief leren in stochastische settings te hebben opgelost. De primaire bijdragen zijn:

• Ontkoppeling van de Infinitesimale Limiet: Het werk bewijst dat finite-nudge learning niet louter een bevooroordeelde benadering van backpropagation is, maar een exacte gradiëntafdaling op een goed gedefinieerd verschil in Helmholtz vrije energie.
• Biologische Plausibiliteit: Door de klassieke twee-fasen contrastieve update te valideren als een exacte gradiënt-schatter voor willekeurige eindige nudging, versterkt het artikel het geval voor lokale leerregels die geen weight transport of infinitesimale perturbaties vereisen, wat moeilijk te rijmen is met biologische beperkingen.
• Omgaan met Niet-Convexiteit en Stochastiek: Het framework biedt een rigoureuze fundering voor leren in niet-convexe energielandschappen bij eindige temperaturen, waarbij wordt aangetoond dat de leerregel goed gedefinieerd blijft, zelfs wanneer globale minima niet uniek zijn of wanneer het systeem in een thermisch regime opereert.
• Praktisch Voordeel: De resultaten suggereren dat de "small-nudge" benadering, die vaak wordt gebruikt in theoretische analyses, in de praktijk nadelig is vanwege ruis. Finite nudging biedt een noodzakelijk voordeel in signaal-ruisverhouding voor effectieve training.

De auteur positioneert dit werk als een statistisch-mechanische fundering die EP, CHL en variatieve inferentie verenigt, waarbij de mechanica van lokaal leren wordt gekoppeld aan de minimalisatie van vrije energie en informatie-theoretische kosten.