Machine Learning the H-theorem

Het Mysterie van de Eenrichtingsweg

Stel je voor dat je een video bekijkt van een glas dat op de vloer uiteenspat. Het ziet er chaotisch en rommelig uit. Stel je nu voor dat je die video achterstevoren afspeelt: de scherven vliegen omhoog, klikken weer aan elkaar en landen perfect op de tafel. Je weet direct dat de achterstevoren afgespeelde versie nep is. Waarom? Omdat de tijd in ons universum een richting heeft. Dingen neigen van orde naar wanorde te gaan, zoals een opgeruimde kamer langzaam een rommel wordt als je die met rust laat. Dit is de kern van de Tweede Wet van de Thermodynamica, een regel die stelt dat de "rommeligheid" (of entropie) van het universum altijd toeneemt.

Maar hier komt het vreemde deel: als je naar de minuscule regels kijkt die de individuele atomen en moleculen aansturen, geven die niets om de tijd. Als je twee biljartballen die tegen elkaar botsen zou filmen en dat achterstevoren zou afspelen, zou het er exact hetzelfde uitzien. De natuurwetten zijn "tijdreversibel". Dus hoe krijgen we een eenrichtingsweg voor de tijd wanneer elke afzonderlijke stap in het proces een tweerichtingsweg is? Dit puzzelstuk heeft wetenschappers al meer dan een eeuw bezig gehouden. Ze noemen het de "pijl van de tijd". Om dit op te lossen, gebruiken ze meestal een complex wiskundig hulpmiddel genaamd de H-stelling, die werkt als een scorebord dat altijd omlaag gaat terwijl een systeem naar evenwicht streeft. Maar wat als we de regels van het spel niet zouden kennen? Wat als we simpelweg een computer een hoop data zouden geven en zouden vragen om uit te zoeken welke kant de tijd op stroomt?

De Zoektocht van het Papier: Een Robot Leren Tijd te Voelen

In dit artikel zetten de auteurs zich in om te zien of een machine learning-model de "pijl van de tijd" zelfstandig kan herontdekken, zonder dat het antwoord vooraf is gegeven. Ze hebben de computer niet de formule voor de H-stelling gegeven of enige natuurkundige tekstboeken. In plaats daarvan creëerden ze een virtuele wereld gevuld met 1.000 harde schijven (zoals kleine, perfecte biljartballen) die rondbouncen in een vierkante doos. Ze begonnen deze schijven in een chaotische, willekeurige staat waarin ze allemaal met dezelfde snelheid maar in verschillende richtingen bewogen. Vervolgens lieten ze de simulatie draaien en legden ze de positie en snelheid van elke individuele schijf op elk moment vast.

De taak van de computer was simpel maar lastig: kijk naar twee momentopnames van dit stuiterende gas—één van een eerder tijdstip en één van een later tijdstip—en raad welke eerst kwam. De enige regel die de computer kreeg was: "De latere momentopname moet een hogere score krijgen dan de eerdere." Om dit te doen, bouwden de onderzoekers een speciaal soort neuraal netwerk (een type AI) genaamd een "DeepSets"-model. Dit netwerk is ontworpen om "permutatie-invariant" te zijn, wat een chique manier is om te zeggen dat het er niet toe doet welke deeltjes welke zijn. Als je de namen van twee deeltjes omwisselt, blijft het antwoord van de computer hetzelfde, net zoals in de echte wereld waarbij de natuurkunde niet verandert als je de atomen een andere naam geeft.

Het model werd getraind met een "ranking loss", een scoresysteem dat de computer strafte als hij de verkeerde volgorde raadde. Om er zeker van te zijn dat de computer niet zou valsspelen door simpelweg elk antwoord een klein getal te geven, dwongen de onderzoekers de scores te standaardiseren binnen elke batch aan data. Ze trainden het model gedurende 120 "epochs" (cycli door de data). In het begin gokte de computer maar wat. Maar rond de 60e epoch gebeurde er iets interessants: de computer werd plotseling veel beter in zijn taak. De fout in zijn rangschikking daalde scherp, en hij begon duidelijk onderscheid te maken tussen de "eerdere" en "latere" toestanden.

De Grote Onthulling: Heeft het de H-functionaal Gevonden?

Het meest opwindende deel van het artikel is wat de computer daadwerkelijk heeft geleerd. De onderzoekers vergeleken de "score" die de computer aan de momentopnames gaf met de werkelijke H-functionaal, de beroemde wiskundige formule die Boltzmann in 1872 bedacht om te meten hoe ver een systeem van evenwicht verwijderd is. Ze ontdekten dat de geleerde score van de computer bijna perfect overeenkwam met de H-functionaal, zodra ze corrigeerden voor een eenvoudige verschuiving in schaal en positie.

Met andere woorden: de AI, die alleen verteld werd dat "later groter is dan eerder", ontdekte onafhankelijk een wiskundige functie die zich exact gedraagt als de H-stelling. De AI ontdekte dat naarmate het gas tot rust komt en de deeltjes hun snelheden verspreiden in een vloeiend, voorspelbaar patroon (de Maxwell-Boltzmann-verdeling), de waarde van deze functie op een zeer specifieke, monotone manier verandert. Het artikel laat zien dat de dynamiek van het systeem alleen al voldoende is om het model naar deze structuur te leiden.

De auteurs zijn echter voorzichtig in hun opmerking dat dit resultaat voortkomt uit een specifieke simulatie van 1.000 harde schijven met elastische botsingen. Ze beweren niet dat dit bewijst dat de H-stelling geldt voor elk mogelijk systeem in het universum. Ze suggereren dat deze aanpak goed werkt voor deze specifieke opstelling, waarbij het model leerde om de relaxatie naar evenwicht te volgen zonder ooit de formule te hebben gezien. Ze ontdekten ook dat de "temperatuur"-parameter in hun training loss veel uitmaakte: een lagere temperatuur (0.1) maakte de output van het model vloeiend en betrouwbaar, terwijl een hogere temperatuur (1.0) het nabij het einde schokkerig en oscillerend maakte.

Het artikel lost dus niet het diepe filosofische mysterie op waarom de tijd in één richting stroomt, maar het laat wel zien dat een machine, gevoed met enkel ruwe data en een simpele ordeningsregel, dezelfde wiskundige pijl van de tijd kan "leren" die menselijke natuurkundigen decennia nodig hadden om af te leiden. Het suggereert dat het pad naar evenwicht zo sterk en gestructureerd is dat zelfs een neuraal netwerk het kan vinden, simpelweg door naar de stuiterende deeltjes te kijken.