Learning interacting particle systems from unlabeled data

Deze paper introduceert een trajectvrije zelftest-verliesfunctie die het leren van potenties van interagerende deeltjesystemen mogelijk maakt uit ongelabelde data zonder trajectinformatie, wat leidt tot een robuuste en schaalbare methode die theoretisch is onderbouwd en numeriek superieur is aan bestaande benaderingen.

De kern

Stel je voor dat je in een drukke stad loopt en je probeert te begrijpen hoe mensen met elkaar omgaan. Je hebt een camera, maar die maakt alleen maar losse foto's van de menigte op verschillende momenten. Op elke foto zie je honderden mensen, maar je weet niet wie wie is. Je kunt niet zien of de persoon op foto A dezelfde is als de persoon op foto B. Misschien zijn ze van naam veranderd, of misschien was de camera te traag om hun gezichten te herkennen.

Dit is precies het probleem dat de auteurs van dit paper (Viska Wei en Fei Lu) proberen op te lossen. Ze kijken naar interacterende deeltjessystemen (zoals moleculen in een vloeistof, vogels in een zwerm of mensen in een menigte) en willen weten: wat zijn de onzichtbare krachten die hen bewegen?

Hier is een uitleg van hun oplossing, vertaald naar alledaags taal:

Het Probleem: De "Naamloze" Foto's

Normaal gesproken proberen wetenschappers de regels van beweging te leren door te kijken naar trajecten. Ze volgen één deeltje van A naar B naar C en zeggen: "Ah, dit deeltje werd hierheen getrokken door dat andere deeltje."

Maar in de echte wereld (bijvoorbeeld in biologie of privacygevoelige data) hebben we vaak alleen maar losse snapshots. We zien een groep deeltjes op tijdstip 1 en een groep op tijdstip 2, maar we weten niet welk deeltje waar naartoe is gegaan. De labels zijn weg.

• De oude manier: Probeer eerst de namen te raden door te kijken wie het dichtst bij elkaar staat (zoals een puzzel oplossen). Als de tijd tussen de foto's groot is, is dit een ramp. De mensen zijn al te ver weggeraakt om te raden wie wie was.
• Het gevolg: De oude methoden werken niet goed als de "foto's" ver uit elkaar liggen.

De Oplossing: De "Zelftest" zonder Naam

De auteurs hebben een slimme nieuwe manier bedacht die geen trajecten nodig heeft. Ze noemen het een "Traject-vrije Zelftest".

Stel je voor dat je in plaats van te kijken naar individuele mensen, kijkt naar de drukte als geheel.

1. De Drukte (De Verdeling): In plaats van te vragen "Waar is persoon X?", vragen ze: "Hoe is de dichtheid van de mensen in deze stad veranderd?"
2. De Zelftest: Ze gebruiken een wiskundige truc (een "zwakke vorm" van een vergelijking). Ze zeggen: "Als mijn theorie over de krachten klopt, dan moet de verandering in de totale drukte van de menigte precies overeenkomen met wat de krachten voorspellen."

Ze testen hun theorie niet op individuele mensen, maar op de gemiddelde energie van het hele systeem.

• Ze kijken naar hoeveel energie er is verloren (door wrijving/beweging).
• Ze kijken naar hoeveel energie er is toegevoegd (door diffusie/roerend water).
• Ze kijken naar de verandering in de totale energie van de menigte tussen twee foto's.

Als hun theorie over de krachten klopt, dan klopt de balans tussen deze drie dingen. Als het niet klopt, is de balans verstoord. Ze zoeken dus de krachten die de balans het beste herstellen.

Waarom is dit zo slim? (De Creatieve Vergelijkingen)

1. De "Koffie en Suiker" Analogie
Stel je voor dat je een kop koffie hebt en je doet suiker erin. Je ziet de suikerkorrels niet individueel, maar je ziet wel hoe de koffie trager wordt en hoe de suiker zich verspreidt.

• Oude methode: Probeer elke suikerkorrel te volgen. Als je de koffie te snel roert (grote tijdsstap), zie je de korrels niet meer en kun je ze niet volgen.
• Nieuwe methode: Kijk alleen naar hoe de koffie als geheel verandert. "De koffie werd trager en zoeter." Je kunt de kracht van het roeren en de verspreiding van de suiker berekenen zonder te weten welke korrel waar zat.

2. De "Zwemmen in een Zwerm" Vergelijking
Stel je voor dat je duikt en een school vissen ziet. Je hebt een camera die elke seconde een foto maakt.

• Als de vissen langzaam zwemmen, kun je zien: "Vis A is nu bij rots X."
• Als de vissen razendsnel zwemmen en je foto's maakt met grote tussenpozen, zie je alleen een wazige vlek. Je kunt niet zeggen welke vis waar was.
• De nieuwe methode zegt: "Ik weet niet welke vis waar was, maar ik weet dat de vorm van de school vissen veranderde. Die verandering wordt veroorzaakt door de krachten tussen de vissen. Laten we de krachten berekenen die nodig zijn om die vormverandering te verklaren."

De Resultaten: Waarom werkt het beter?

• Het werkt ook bij grote stappen: Omdat ze niet hoeven te raden wie wie was, maakt het niet uit of de tijd tussen de foto's kort of lang is. De "drukte" verandert altijd op een voorspelbare manier als je de juiste krachten gebruikt.
• Het is sneller: Het oude "naam-geven" (label recovery) is als het oplossen van een gigantische puzzel voor elke foto. Dat kost enorm veel tijd. De nieuwe methode is als het afwegen van een hele lading vracht in één keer. Veel sneller.
• Het is robuust: Zelfs als de data ruisig is of de deeltjes heel complex bewegen, blijft de balans van de energie een goede leidraad.

Samenvatting voor de Leek

De auteurs hebben een manier bedacht om de onzichtbare regels van de natuur te leren kennen, zelfs als we de individuele spelers niet kunnen volgen. In plaats van te proberen te raden wie wie is (wat vaak mislukt), kijken ze naar het geheel. Ze gebruiken een slimme "balans-check" (een zelftest) om te zien welke krachten nodig zijn om de veranderingen in de groep te verklaren.

Het is alsof je de windkracht kunt meten door te kijken naar hoe de bladeren op de grond bewegen, zonder te hoeven weten welke windvlaag precies welk blad heeft verplaatst. Je kijkt naar het patroon, niet naar de individuele bladeren.

Dit maakt het mogelijk om complexe systemen in de biologie, fysica en sociale wetenschappen te bestuderen, zelfs als de data imperfect is of privacy-gevoelig.

Technische samenvatting

Probleemstelling

Het leren van de dynamica van interacterende deeltjessystemen is een fundamentele taak in natuurkunde, biologie en sociale wetenschappen. Een centrale uitdaging is het herleiden van interactie- en externe potentialen ($\Phi$ en $V$) uit data. In veel praktische scenario's zijn de data echter onbekende (unlabeled) snapshots van deeltjes op discrete tijdstippen.

De kernproblemen zijn:

1. Verlies van trajectinformatie: Door beperkingen in beeldvorming of privacybeperkingen zijn de labels van de deeltjes tussen tijdstippen onbekend. Dit betekent dat men niet weet welk deeltje op tijdstip $t$ overeenkomt met welk deeltje op tijdstip $t+\Delta t$.
2. Onvoldoende deeltjesaantal: Vaak is het aantal deeltjes $N$ te klein om de mean-field vergelijking (die geldt voor $N \to \infty$) direct te gebruiken voor inferentie.
3. Bestaande methoden falen: Traditionele methoden zoals maximum likelihood schatting (MLE) of Bayesiaanse inferentie vereisen volledige trajecten. Alternatieven zoals labelherstel via optimale transport (bijv. Sinkhorn-algoritme) zijn computatierijk en worden onnauwkeurig bij grote tijdsstappen ($\Delta t$) of sterke diffusie.

Methodologie: Trajectvrije Zelftest-Verliesfunctie

De auteurs introduceren een nieuwe aanpak die geen trajectinformatie vereist, gebaseerd op de zwakke vorm (weak-form) van de stochastische evolutievergelijking van de empirische verdeling van de deeltjes.

1. Theoretische Basis:
Voor een systeem van $N$ deeltjes beschreven door een Stochastische Differentiaalvergelijking (SDE), voldoet de empirische verdeling $\mu^N_t$ aan een stochastische partiële differentiaalvergelijking (PDE):
$$\partial_t \mu^N_t = \nabla \cdot [\mu^N_t \nabla (\Phi * \mu^N_t + V)] + \frac{\sigma^2}{2} \Delta \mu^N_t + \text{martingaalruis}$$
Deze vergelijking karakteriseert de evolutie van de verdeling zonder individuele trajecten te nodig te hebben. De martingaalterm heeft een gemiddelde van nul en verdwijnt bij grote steekproefgroottes.

2. De Zelftest-Verliesfunctie (Self-Test Loss):
In plaats van de PDE direct op te lossen, gebruiken de auteurs een "self-test" benadering. Ze testen de PDE tegen een familie van testfuncties die afhangen van de onbekende potentialen zelf: $f = V + \Phi * \mu^N_t$.
Dit leidt tot een verliesfunctie $E_D(\Phi, V)$ die bestaat uit drie termen:

• Dissipatie ($J_{diss}$): Gerelateerd aan de drift en de gradiënten van de potentialen.
• Diffusie ($J_{diff}$): Gerelateerd aan de Laplacianen van de potentialen.
• Energieverandering ($\delta E_f$): Het verschil in vrije energie tussen twee tijdstippen.

De verliesfunctie heeft de vorm:
$$E_D \approx \frac{1}{2} \int |\nabla V + \nabla \Phi * \mu|^2 \mu dx \cdot \Delta t - \frac{\sigma^2}{2} \int [\Delta V + \Delta \Phi * \mu] \mu dx \cdot \Delta t + \delta E_f$$

Belangrijke Eigenschappen:

• Trajectvrij: Vereist alleen de posities van de deeltjes op discrete tijdstippen, geen koppeling tussen deeltjes over tijd.
• Kwadratisch: De verliesfunctie is kwadratisch in de potentialen. Dit is cruciaal omdat het leidt tot een convex optimalisatieprobleem (voor parametrische modellen), in tegenstelling tot niet-convexe methoden zoals die gebaseerd op de Wasserstein-afstand.
• Robuustheid: Werkt effectief bij grove tijdsstappen ($\Delta t$) waar labelherstel faalt.

3. Algoritmen:

• Parametrische regressie: Als de potentialen lineair worden geparametriseerd (bijv. met basisfuncties), reduceert het probleem tot een lineair stelsel (kleinste-kwadratenmethode) met een gesloten vorm oplossing.
• Neurale netwerken: Voor complexe of niet-radiale potentialen wordt een diep neuraal netwerk gebruikt. De gradiënten en Laplacianen worden berekend via automatische differentiatie (AD).

Belangrijkste Bijdragen

1. Introductie van een trajectvrije verliesfunctie: Een kwadratische verliesfunctie gebaseerd op de zwakke vorm PDE van de empirische verdeling, specifiek ontworpen voor onbekende data.
2. Theoretische convergentiebewijzen: De auteurs bewijzen foutgrenzen voor de parametrische schatter. Ze tonen aan dat de schatter convergeert naar de ware potentialen naarmate de steekproefgrootte ($M$) toeneemt en de tijdstap ($\Delta t$) afneemt. De fout schalen als $O(\Delta t + M^{-1/2})$ (voor Riemann-som) of $O((\Delta t)^2 + M^{-1/2})$ (voor trapeziumregel).
3. Uitgebreide numerieke validatie: Systematische tests op zes modellen, waaronder een referentiemodel en stress-tests met singulariteiten en slechte conditionering.
4. Superieure prestaties: De methode presteert aanzienlijk beter dan bestaande methoden (zoals Sinkhorn-MLE) bij grote tijdstappen, waar labelherstel onnauwkeurig wordt.

Resultaten

• Convergentie: Numerieke experimenten bevestigen de theoretische convergentiesnelheden. De fout neemt af met $1/\sqrt{M}$ en is beperkt door de discretisatiefout van $\Delta t$.
• Vergelijking met Baselines:
  • Bij kleine $\Delta t$ presteert de methode vergelijkbaar met "ideale" gelabelde MLE.
  • Bij grote $\Delta t$ (bijv. $10^{-1}$) breekt de gelabelde MLE en Sinkhorn-MLE volledig door de bias in de snelheidsschatting en labelkoppeling. De zelftest-methode behoudt echter hoge nauwkeurigheid.
  • De zelftest-methode is ook computatie-efficiënter dan Sinkhorn-MLE omdat het geen dure optimalisatie voor labelkoppeling vereist.
• Niet-radiale potentialen: Het neurale netwerk-variant van de methode slaagt erin om complexe, niet-radiale potentialen te herleiden zonder voorafgaande kennis van de basisfuncties.
• Robuustheid: De methode presteert stabiel in stress-tests met singulariteiten (zoals Lennard-Jones potentialen) en slecht geconditioneerde systemen, hoewel de conditionering van het lineaire stelsel toeneemt met het aantal deeltjes $N$.

Betekenis en Toekomstperspectief

Dit werk biedt een fundamentele doorbraak in het leren van dynamische systemen uit "ruwe" data waar trajectinformatie ontbreekt.

• Toepassingen: De methode is direct toepasbaar in gebieden zoals biologie (celbeweging), fysica (kolloïdale systemen) en sociale wetenschappen, waar privacy of technische beperkingen vaak leiden tot ongelabelde data.
• Efficiëntie: Door het vermijden van labelherstel en het gebruik van een kwadratische verliesfunctie, is de methode schaalbaar naar grote datasets en hoge dimensies.
• Beperkingen: De huidige methode gaat uit van homogene deeltjes. Uitbreiding naar heterogene systemen (meerdere deeltjestypes) en systemen met sterke singulariteiten vereist verdere ontwikkeling. Ook is het vinden van minimax-snelheden voor ongelabelde data een open theoretische vraag.

Samenvattend biedt deze paper een robuust, theoretisch onderbouwd en computatie-efficiënt raamwerk voor het infereren van interactiekrachten in deeltjessystemen, zelfs wanneer de data geen trajectinformatie bevat.