Learning by training: emergent return-point memory from cyclically tuning disordered sphere packings

Dit onderzoek toont aan dat athermische, wanordelijke systemen door cyclische training een 'marginaal absorberend manifold' ontwikkelen dat terugkeerpuntgeheugen vormt, waardoor ze zich aanpassen aan veranderende omgevingen en geheugen van eerdere condities behouden.

De kern

Hoe een hoopje bollen "leren" om zich te herinneren: Een verhaal over fysieke geheugens

Stel je voor dat je een enorme doos met honderden balletjes hebt. Sommige zijn klein, sommige groot. Als je de doos schudt, vallen ze in een willekeurige hoop. Nu, stel je voor dat je een magische knop hebt waarmee je de grootte van elk balletje apart kunt veranderen. Je doel? De balletjes zo te herschikken dat de hele hoop zich op een heel specifieke manier gedraagt als je erop duwt (bijvoorbeeld: hij moet precies zo veerkrachtig zijn als een rubberen bandje).

Dit is wat de onderzoekers in dit artikel hebben gedaan, maar dan met wiskunde en computers in plaats van echte balletjes. Ze hebben ontdekt dat als je deze "knop" op en neer laat gaan (cirkelvormig trainen), het systeem niet alleen zijn doel bereikt, maar ook een geheugen ontwikkelt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Oefenen (De "Cirkel")

Stel je voor dat je een nieuwe sport leert, bijvoorbeeld tennis. Je wilt je slag perfect maken.

• Eerst probeer je een heel zware slag (doel: 0,5).
• Dan probeer je een iets lichtere slag (doel: 0,4).
• Dan nog lichter (0,3), tot je bij 0,0 bent.
• Vervolgens ga je weer terug: 0,1, 0,2, tot je weer bij 0,5 bent.

Je doet dit keer op keer. In het begin is het een chaos. Je balletjes (de deeltjes in het systeem) botsen, rollen en veranderen van positie. Het is een rommeltje.

2. Het Moment van "Leren" (Het Geheugen)

Na een tijdje gebeurt er iets magisch. Het systeem begint te leren.
Het ontdekt een heel speciaal pad, een soort "geheime tunnel" door de ruimte van alle mogelijke balletjes-arrangementen.

• Als je binnen de grenzen van je oefening blijft (tussen 0,0 en 0,5), glijdt het systeem moeiteloos heen en weer over dit pad. Het is alsof je een slee over een gladde, ingesleten piste laat glijden.
• Maar! Als je probeert om verder te gaan dan de grenzen waar je geoefend hebt (bijvoorbeeld naar 0,6 of -0,1), botst het systeem tegen een muur. Het pad is er niet meer. De balletjes moeten opnieuw gaan rollen, botsen en veranderen.

Dit is het geheugen: Het systeem "weet" precies waar de grenzen van zijn oefening lagen. Het onthoudt: "Ik kan hier veilig heen en weer, maar daarbuiten niet."

3. De Analogie: De Vouw in het Laken

Stel je een groot laken voor dat je op een tafel legt.

• Normaal: Als je het laken een beetje schuift, glijdt het soepel.
• Het Geheugen: Nu vouw je het laken heel specifiek op en neer, steeds op precies dezelfde plek. Na veel herhalingen ontstaat er een diepe, ingesleten vouw in het laken.
• Als je nu het laken weer op en neer beweegt binnen die vouw, glijdt het perfect en zonder weerstand.
• Maar als je probeert het laken te bewegen buiten die vouw, moet je het laken eerst uit de vouw tillen en opnieuw vouwen. Dat kost veel meer kracht en verandert de vorm van het laken.

Het systeem heeft de "vouw" (de grenzen van je training) in zijn eigen structuur opgeslagen. Het is een fysiek geheugen, geen digitale opslag.

4. Waarom gebeurt dit? (De "Knik" in de Weg)

De onderzoekers ontdekten de reden waarom dit gebeurt. Het heeft te maken met contacten.
In ons balletjes-systeem raken de balletjes elkaar soms aan en soms niet.

• Als een balletje net even raakt of net even loslaat, verandert de "wiskundige weg" die het systeem moet volgen plotseling. Het is alsof je op een fiets rijdt en plotseling van asfalt op grind komt: de weerstand verandert abrupt.
• De onderzoekers noemen dit een "gradiënt-discontinuïteit" (een heel moeilijke term voor een plotselinge knik in de weg).
• Door steeds heen en weer te fietsen (trainen), leert het systeem precies waar die knikken zitten. Het rijdt dan heen en weer langs de rand van die knik, maar probeert er niet overheen te springen. Hierdoor vormt zich een stabiel pad (het geheugen).

5. Waarom is dit belangrijk?

Dit is niet alleen leuk voor een computerexperiment met balletjes. Het geeft ons een nieuwe manier om te kijken naar hoe dingen leren:

• Materialen: We kunnen misschien materialen maken die onthouden hoe hard ze in het verleden zijn belast, zodat ze zich aanpassen.
• Biologie: Het zou kunnen verklaren hoe spieren "onthouden" dat ze eerder getraind zijn (waarom het makkelijker is om weer spiermassa op te bouwen na een periode van rust).
• Evolutie: Het suggereert dat veranderingen in de omgeving (zoals klimaat) organismen kunnen "trainen" om bepaalde paden te onthouden, zonder dat ze hun genen hoeven te veranderen.

Kort samengevat:
Door een systeem constant heen en weer te laten bewegen tussen twee uitersten, "slijt" het systeem een speciaal pad in zijn eigen structuur. Dit pad onthoudt de grenzen van de oefening. Het systeem is nu "getraind": binnen de grenzen is het soepel en snel, maar buiten de grenzen moet het opnieuw beginnen. Het is een fysieke manier van leren en onthouden, net als een pad dat door een bos wordt uitgestampt door mensen die er steeds over lopen.

Technische samenvatting

Probleemstelling

Veel levende en kunstmatige systemen verbeteren hun prestaties of fitness door zich aan te passen aan veranderende omgevingen of diverse trainingsdata. Echter, het blijft onduidelijk hoe omgevingsvariatie adaptatie vormgeeft, wat er precies wordt "geleerd", en onder welke voorwaarden een systeem geheugen van eerdere condities behoudt. Bestaande optimalisatieprocessen variëren sterk (bijv. machine learning gebruikt globale gradiënten, terwijl fysieke systemen vaak lokale informatie benutten), maar er ontbreekt een breed inzicht in hoe cyclische veranderingen in de omgeving leiden tot het vormen van een stabiel geheugen. De centrale vraag is: hoe kan een systeem een "absorberende toestand" bereiken die informatie opslaat over de geschiedenis van de training?

Methodologie

De auteurs bestuderen dit fenomeen aan de hand van athermische, wanordelijke bolpakkingen (disordered sphere packings).

1. Het Model:

   • Het systeem bestaat uit $N=128$ deeltjes in twee dimensies, verdeeld over 32 soorten met verschillende diameters ($D_\alpha$).
   • De deeltjes wisselen uit via een kortstondig, puur afstotend Hertziaans potentieel.
   • Het systeem wordt mechanisch stabiel gemaakt door de potentiële energie te minimaliseren (quenching) met het FIRE-algoritme.

2. Trainingsprotocol (Inverse Ontwerp):

   • De auteurs gebruiken automatische differentiatie om de Poisson-verhouding ($\nu$) of andere elastische constanten te "trainen" naar een gewenste doelwaarde ($\nu^*$).
   • De trainingsparameters $\theta$ zijn de deeltjesdiameters. Een gradiëntafdaling (gradient descent) wordt gebruikt om de parameters iteratief aan te passen totdat de doelwaarde wordt bereikt.

3. Cyclische Training:

   • In plaats van een enkele doelwaarde te trainen, wordt het systeem cyclisch getraind tussen een minimum ($\nu^*_{min}$) en een maximum ($\nu^*_{max}$).
   • Het protocol omvat meerdere cycli waarbij de doelwaarde stapsgewijs wordt verlaagd en vervolgens weer verhoogd.
   • Na een bepaald aantal cycli worden "readout"-metingen uitgevoerd: het systeem wordt getraind naar een willekeurige $\nu^*_{read}$ en vervolgens terug naar $\nu^*_{max}$ om te zien of het systeem terugkeert naar de oorspronkelijke toestand.

Belangrijkste Bijdragen en Theorie

De kernbijdrage van het artikel is de identificatie van een Marginaal Absorberend Manifold (MAM) en de formulering van een algemene theorie, Gradient Discontinuity Learning (GDL), om dit fenomeen te verklaren.

1. Marginaal Absorberend Manifold (MAM):

   • Na voldoende cyclische training evolueert het systeem naar een toestand waarin het binnen het trainingsbereik ($\nu^*_{min}$ tot $\nu^*_{max}$) volledig reversibel is. De deeltjesconfiguratie en parameters keren na elke cyclus exact terug.
   • Dit manifold is echter marginaal: als de training buiten dit bereik wordt voortgezet (bijv. $\nu^* > \nu^*_{max}$), wordt het proces irreversibel en keert het systeem niet terug naar het manifold.
   • De grenzen van dit bereik ($\nu^*_{min}$ en $\nu^*_{max}$) worden dus opgeslagen als een fysiek geheugen.

2. Gradient Discontinuity Learning (GDL):

   • De auteurs stellen een algemeen mechanisme voor dat gebaseerd is op discontinuïteiten in de gradiënt van de getrainde grootheid.
   • Hoewel de elastische eigenschappen zelf continu zijn, is hun gradiënt discontinu wanneer de topologie van contacten tussen deeltjes verandert (een contact breekt of vormt zich).
   • De theorie onderscheidt twee types van gradiëntdiscontinuïteiten (GD):
     • Type 1: De gradiënt verandert niet van teken over de discontinuïteit. Het systeem kan hier "doorheen" bewegen zonder geheugen te vormen.
     • Type 2: De gradiënt verandert van teken over de discontinuïteit. Hierbij wordt de trainingsdynamiek "gevangen" langs de discontinuïteit.
   • Tijdens cyclische training worden de parameters geleid naar een pad dat langs deze Type 2 GD's loopt. Bij de grenzen van het trainingsbereik (waar de doelwaarde de grens van het contactnetwerk raakt) ontstaan Type 2 GD's die het systeem "vastzetten" op een specifiek pad. Dit creëert het MAM.

Resultaten

De simulaties tonen duidelijke bewijzen voor het ontstaan van geheugen:

• Reversibiliteit binnen het bereik: Na training (bijv. 23 cycli) zijn de trajecten van de parameters en deeltjesposities binnen het trainingsbereik volledig reversibel. Er zijn geen structurele herschikkingen of contactveranderingen tijdens de readout-training binnen dit bereik.
• Irreversibiliteit buiten het bereik: Zodra de doelwaarde buiten het trainingsbereik wordt geduwd, treden er contactveranderingen op en keert het systeem niet terug naar de oorspronkelijke toestand.
• Signatuur van Geheugen: Er worden scherpe sprongen (kinks) waargenomen in meetgrootheden zoals het aantal benodigde optimalisatiestappen, de verandering in parameters ($\Delta\theta_{RP}$) en de verandering in deeltjesposities ($\Delta R_{RP}$) precies bij $\nu^*_{min}$ en $\nu^*_{max}$.
• Verificatie van GDL: De auteurs verifiëren de theorie door te tonen dat contactveranderingen in het midden van het bereik corresponderen met Type 1 GD's (geen tekenwisseling in de gradiënt), terwijl contactveranderingen aan de randen van het bereik corresponderen met Type 2 GD's (wel tekenwisseling).
• Robuustheid: Het fenomeen is robuust voor verschillende trainingsbereiken en voor het trainen van verschillende elastische constanten (niet alleen Poisson-verhouding, maar ook $c_{xxyy}$).

Significantie en Toekomstperspectief

• Universeel Mechanisme: De studie biedt een eenvoudig, breed toepasbaar fysiek raamwerk voor hoe adaptieve systemen leren onder veranderende omstandigheden. Het mechanisme (GDL) is niet beperkt tot bolpakkingen, maar kan van toepassing zijn op een breed scala aan systemen, waaronder:
  • Gescheurde suspensies en geblokkeerde vaste stoffen.
  • Gerimpelde vellen (crumpled sheets).
  • Biologische systemen (evolutie, fenotypische plasticiteit), waar genotypen en fenotypen complexe, niet-lineaire relaties hebben die kunnen leiden tot gradiëntdiscontinuïteiten.
• Nieuw Inzicht in "Leren": Het artikel definieert "leren" hier als het emergente geheugen dat ontstaat na cyclische training, zonder dat er een expliciete beloning of vooraf ingestelde regel is. Het systeem "ontdekt" het geheugen door de dynamiek van de optimalisatie zelf.
• Toepassing in Materiaalwetenschap: Dit biedt een route naar het ontwerpen van materialen met ingebouwd geheugen die kunnen reageren op hun historische blootstelling aan spanningen of omgevingsveranderingen, wat relevant is voor de ontwikkeling van slimme materialen en adaptieve structuren.

Samenvattend demonstreert dit werk dat cyclische training in disordered systemen leidt tot het vormen van een marginaal absorberend manifold, gedreven door gradiëntdiscontinuïteiten veroorzaakt door contactveranderingen. Dit biedt een fundamenteel mechanistisch inzicht in hoe fysieke systemen geheugen kunnen opslaan en aflezen.