Pseudo-likelihood produces associative memories able to generalize, even for asymmetric couplings

Dit artikel toont aan dat het maximaliseren van de pseudo-likelihood in energiegebaseerde modellen leidt tot associatief geheugen met superieure attractorbasissen en generalisatievermogen, zelfs bij asymmetrische koppelingen.

De kern

De Magie van het "Bijna-Perfecte" Geheugen: Een Simpele Uitleg

Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken. Je wilt een systeem bouwen dat deze boeken onthoudt en je kunt helpen een boek te vinden, zelfs als je alleen een beschadigde, vage omslag hebt. Dit is wat associatief geheugen doet: het vult gaten in je herinnering.

De auteurs van dit paper hebben ontdekt dat een bepaalde manier van leren, genaamd Pseudo-Likelihood, niet alleen een goed geheugen bouwt, maar ook een slimme "generaliseerder". Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De Onmogelijke Rekening

Normaal gesproken willen computers leren door de "perfecte" kansrekening te gebruiken. Ze proberen te begrijpen hoe waarschijnlijk elke combinatie van gegevens is. Het probleem? Om dit te doen, moeten ze een enorme, onberekenbare som uitrekenen (de "partitiefunctie"). Het is alsof je probeert het weer in de hele wereld te voorspellen door elke druppel regen in elke hoek van de aarde te meten. Het duurt te lang en is te moeilijk.

2. De Oplossing: De "Bijna-Perfecte" Schatting

In plaats van de hele wereld te meten, kijken we naar één klein stukje per keer. Dit is Pseudo-Likelihood.

• De Analogie: Stel je voor dat je een puzzel probeert op te lossen. De oude methode vraagt je om de hele puzzel in je hoofd te houden en te zien of hij klopt. De nieuwe methode (Pseudo-Likelihood) vraagt: "Als ik deze ene puzzelstuk hier leg, past hij dan bij de stukken eromheen?"
• Door dit voor elk stukje apart te doen, wordt de taak veel makkelijker. Maar de vraag was: Is dit slim genoeg om echt te leren, of is het maar een simpele truc?

3. Het Geheugen: De "Vaste Punten" in de Berg

De auteurs tonen aan dat als je dit systeem traint met deze "lokale" methode, het zich gedraagt als een berglandschap met valleien.

• De Vallei: Elke keer dat het systeem een voorbeeld ziet (bijvoorbeeld een foto van een hond), graaft het een diepe kuil in dit landschap.
• Het Ballonnetje: Als je een verstoord voorbeeld geeft (een hond met een beetje ruis, alsof de foto wazig is), rol je als een balletje de berg af. Als je in de buurt van de kuil begint, rol je automatisch naar de bodem: de perfecte, schone herinnering van de hond.
• De verrassing: Zelfs als de regels van het systeem niet perfect symmetrisch zijn (wat in de natuur vaak het geval is), werken deze kuilen nog steeds! Het systeem onthoudt de trainingsexamples als vaste punten.

4. Van "Plakken" naar "Begrijpen" (Generalisatie)

Hier wordt het echt interessant.

• Fase 1: Het Plakken (Overfitting). Als je het systeem maar een paar voorbeelden geeft, plakt het die voorbeelden letterlijk vast. Het is als een student die alleen de antwoorden van het proefwerk uit zijn hoofd leert. Als je een vraag stelt die net anders is, faalt hij.
• Fase 2: Het Begrijpen (Generalisatie). Als je het systeem veel voorbeelden geeft, gebeurt er iets magisch. Het systeem stopt met het simpelweg "plakken" van de oude voorbeelden. In plaats daarvan begint het de patronen te begrijpen.
  • De Analogie: Stel je voor dat je duizenden foto's van katten ziet. In plaats van elke foto te onthouden, leert het systeem wat een "kat" is (oren, snorharen, staart). Als je nu een foto laat zien van een kat die het systeem nog nooit heeft gezien, herkent het de kat toch!
  • Het systeem creëert nu nieuwe "kuilen" in het landschap die niet precies op de trainingsvoorbeelden liggen, maar wel op de nieuwe voorbeelden die erop lijken.

5. Bewijs uit de Wereld

De auteurs hebben dit getest op verschillende dingen:

• Willekeurige patronen: Het werkt perfect op puur wiskundige patronen.
• MNIST (Handgeschreven cijfers): Het systeem kan cijfers herkennen, zelfs als ze vervormd zijn.
• Eiwitten (Biologie): Dit is misschien wel het coolste. Ze hebben het getest op de bouwstenen van het leven (eiwitten). Het systeem leerde de structuur van eiwitten en kon nieuwe, functionele eiwitten "dromen" die erop leken, maar niet exact hetzelfde waren.
• Spin-Glazen (Fysica): Het werkt zelfs op complexe magnetische systemen.

Conclusie: Waarom is dit belangrijk?

Deze paper zegt eigenlijk: "Gebruik die simpele, lokale methode (Pseudo-Likelihood) gerust!"
Het is niet alleen een snelle manier om te rekenen, maar het bouwt ook een heel krachtig geheugen op. Het systeem leert niet alleen te onthouden, maar ook te generaliseren. Het begrijpt de diepere structuur van de data, zelfs zonder ingewikkelde, zware berekeningen.

Kortom: Door te kijken naar de kleine details (lokaal), begrijpt het systeem het grote plaatje (globaal) beter dan we dachten. Het is alsof je door naar één steen te kijken, de hele architectuur van een kathedraal kunt doorgronden.

Technische samenvatting

Probleemstelling

Probabilistische modellen op basis van energie (energy-based models) worden doorgaans getraind door de waarschijnlijkheid (likelihood) van de data te maximaliseren. Dit proces wordt echter beperkt door de onberekenbaarheid van de partitiefunctie (normalisatiefactor), wat de berekening van de gradiënt voor het leren van parameters moeilijk maakt. Een veelgebruikte oplossing is het maximaliseren van de pseudo-likelihood, waarbij de globale normalisatie wordt vervangen door lokale, berekenbare normalisaties.

Hoewel pseudo-likelihood een efficiënt inferentietool is, is de relatie tussen deze trainingsmethode en het vermogen van het model om te generaliseren (in plaats van alleen te memoriseren) niet volledig begrepen. Traditioneel worden overfitting en memorisatie gezien als beperkingen, maar in het kader van Associatieve Geheugens (AMs) of Hopfield-netwerken, is het creëren van vaste punten (attractoren) voor trainingsdata essentieel. De centrale vraag is: hoe gedraagt een netwerk dat via pseudo-likelihood is getraind zich in de limiet van temperatuur nul, en kan het niet alleen trainingsdata opslaan, maar ook generaliseren naar ongezette data?

Methodologie

De auteurs onderzoeken energie-based modellen met tweetoestandsvariabelen ($x_i \in \{-1, +1\}$) en een energie-functie $E(x) = -\sum_{i \neq j} J_{ij} x_i x_j$.

1. Trainingsprocedure:

   • Het model wordt getraind door de negatieve log-pseudo-likelihood (NLpL) te minimaliseren.
   • De loss-functie factoriseert per variabele, wat betekent dat het trainen van elke rij van de koppelingsmatrix $J$ onafhankelijk kan worden gezien als het trainen van een perceptron.
   • De auteurs gebruiken asymmetrische koppelingsmatrices ($J_{ij} \neq J_{ji}$), wat uniek is omdat traditionele Hopfield-netwerken vaak symmetrie vereisen voor een stabiele energie-functie.
   • Training gebeurt via gradient descent.

2. Dynamica en Analyse:

   • In plaats van Gibbs-sampling (stochastisch), analyseren de auteurs de dynamica in de limiet van temperatuur nul ($\lambda \to \infty$).
   • De update-regel wordt deterministisch: $x_i^{(t+1)} = \text{sign}(\sum_{j \neq i} J_{ij} x_j^{(t)})$.
   • Een patroon wordt beschouwd als opgeslagen (een "geheugen") als het een vast punt (fixed point) is van deze dynamica.
   • Generalisatie wordt gemeten door te kijken of testvoorbeelden (die niet in de trainingsset zitten) ook convergeert naar stabiele attractoren die sterk correleren met de testdata.

3. Theoretisch Kader:

   • De auteurs koppelen de minimalisatie van de pseudo-likelihood aan de theorie van sferische perceptrons.
   • Ze tonen aan dat het trainen met pseudo-likelihood een impliciete bias heeft naar oplossingen met een maximale classificatiemarge (maximum margin).
   • Ze analyseren de verdeling van stabiliteiten ($\Delta$) van de patronen.

Belangrijkste Bijdragen

1. Pseudo-likelihood als Associatief Geheugen: De auteurs bewijzen dat het maximaliseren van pseudo-likelihood voor kleine trainingssets automatisch een associatief geheugen creëert. Patronen worden vaste punten met grote aantrekkingskrachten (basins of attraction).
2. Asymmetrie is geen belemmering: Een opmerkelijke bevinding is dat dit gedrag ook optreedt bij asymmetrische koppelingsmatrices. Hoewel asymmetrie vaak leidt tot chaotische dynamica in andere contexten, fungeert het hier als een effectief geheugenmechanisme.
3. Generalisatie-fase: Bij het vergroten van de trainingsset (hoge "load" $\alpha = P/N$) gaat het netwerk over van puur memoriseren naar een generalisatiefase. In deze fase ontstaan attractoren die dicht bij ongezette testvoorbeelden liggen, zelfs als die niet exact in de trainingsset voorkomen.
4. Kwantitatieve Generalisatiemaatstaf: De paper stelt een nieuwe manier voor om generalisatie te kwantificeren in energie-based modellen: door de correlatie te meten tussen de vaste punten van het model en de testvoorbeelden.

Resultaten

De auteurs testen hun theorie op diverse datasets:

• Ongesorteerde synthetische data:

  • De grootte van de aantrekkingskrachtgebieden (basins of attraction) voor trainingsdata is aanzienlijk groter dan bij klassieke Hopfield-regels (tot een load $\alpha > 1$, terwijl de klassieke limiet rond 0.14 ligt).
  • De asymmetrische koppelingsmatrices presteren even goed of beter dan symmetrische varianten.

• Gecorreleerde synthetische data (Random Features):

  • Voor data die is opgebouwd uit een onderliggende laag van latent features (Hidden Manifold Hypothesis), toont het model een uitgebreide fase van generalisatie. Het slaat niet alleen trainingspatronen op, maar creëert ook stabiele attractoren voor nieuwe combinaties van features.

• MNIST (Digitale afbeeldingen):

  • Op de binariseerde MNIST-dataset wordt een duidelijke overgang gezien. Bij lage load worden trainingsafbeeldingen perfect opgeslagen. Bij hogere load generaliseert het netwerk: het convergeert naar aantrekkelijke toestanden die visueel herkenbaar zijn als de juiste cijfers, zelfs voor testvoorbeelden die niet in de trainingsset zaten.

• Proteïne-sequenties:

  • Toepassing op biologische data (DNA-binding domeinen en Beta-Lactamase). Het model, getraind met pseudo-likelihood (vergelijkbaar met plmDCA), toont generalisatie. Hoewel de exacte sequenties niet altijd worden opgehaald, convergeren de dynamica naar stabiele toestanden die sterk correleren met natuurlijke proteïne-sequenties (overlap $\approx 0.55-0.6$), wat aangeeft dat het model de onderliggende statistische structuur van de familie heeft geleerd.

• Edwards-Anderson Spin Glass Model:

  • Bij het infereren van koppelingsconstanten uit spin-glass data, blijkt dat bij hoge load het model de oorspronkelijke koppelingsmatrix van het systeem nauwkeurig benadert, wat resulteert in een effectieve generalisatie.

Betekenis en Conclusie

De studie biedt een fundamenteel nieuw perspectief op overfitting en generalisatie in energie-based modellen:

• Overfitting als Memoratie: Overfitting wordt geïnterpreteerd als het creëren van vaste punten voor trainingsdata.
• Generalisatie als Attractie: Generalisatie treedt op wanneer het model nieuwe, ongezette data naar dezelfde attractoren trekt als de trainingsdata, of nieuwe, betekenisvolle attractoren creëert die de verdeling van de data weerspiegelen.
• Biologische Plausibiliteit: Het gebruik van asymmetrische koppelingsmatrices en lokale optimalisatie (factorisatie van de loss) maakt het model biologisch plausibeler voor neurale netwerken dan traditionele symmetrische Hopfield-netwerken.
• Toepassing in Deep Learning: De bevindingen zijn relevant voor moderne zelf-supervised leermethoden, zoals attention-mechanismen en generatieve diffusiemodellen, die structureel gelijken op associatieve geheugens.

Kortom, pseudo-likelihood is niet alleen een rekenkundige truc om partitiefuncties te omzeilen, maar fungeert als een principieel mechanisme dat energie-based modellen in staat stelt om zowel te memoriseren als te generaliseren, zelfs zonder de beperking van symmetrische koppelingsmatrices.