Forecasting and predicting stochastic agent-based model data with biologically-informed neural networks

Dit onderzoek toont aan dat biologisch geïnformeerde neurale netwerken (BINN's) kunnen worden gebruikt om interpreteerbare differentiaalvergelijkingen te leren die stochastische agent-gebaseerde modellen voor collectieve migratie nauwkeurig voorspellen en extrapoleren, zelfs in parametergebieden waar traditionele mean-field-modellen falen.

De kern

Voorspellen van cellen met een slimme "biologische computer": Een simpele uitleg

Stel je voor dat je een enorme stad hebt, maar in plaats van mensen, zijn het allemaal losse cellen. Deze cellen bewegen, trekken aan elkaar en plakken aan elkaar, net als mensen in een drukke menigte. Wetenschappers willen weten hoe deze "cellenstad" zich in de toekomst zal gedragen: Zullen ze zich verspreiden? Zullen ze een tumor vormen? Of genezen ze een wond?

Om dit te begrijpen, gebruiken wetenschappers twee soorten hulpmiddelen. Dit artikel vertelt ons over een nieuwe, slimme manier om deze twee hulpmiddelen te combineren.

1. Het probleem: De twee uitersten

Stel je voor dat je twee manieren hebt om het gedrag van deze cellenstad te voorspellen:

• Manier A: De "Microscopische Simulator" (Het Agent-Based Model of ABM)
  Dit is alsof je elke individuele cel in je computer zet en je laat zien hoe elke cel zich gedraagt. Ze beslissen: "Ik ga naar links," "Ik trek mijn buurman mee," of "Ik plak vast."

  • Voordeel: Het is superrealistisch en precies.
  • Nadeel: Het is ontzettend traag. Het is alsof je elke seconde van een jaar lang moet simuleren om te zien wat er na een uur gebeurt. Het duurt te lang om alle mogelijke scenario's te testen.

• Manier B: De "Gemiddelde Schatting" (De Mean-Field PDE)
  Dit is alsof je niet naar individuele cellen kijkt, maar naar een "damp" van cellen. Je zegt: "Gemiddeld gezien bewegen cellen zo snel."

  • Voordeel: Het is supersnel. De computer doet het in een seconde.
  • Nadeel: Het is vaak onnauwkeurig. Als cellen heel sterk aan elkaar plakken (zoals in een dichte menigte), werkt deze "gemiddelde" formule niet meer. Het is alsof je probeert het gedrag van een drukke voetbalstad te voorspellen door alleen naar het gemiddelde aantal mensen per vierkante meter te kijken; je mist de chaos en de stuwkracht. Soms is deze formule zelfs "gebroken" (wiskundig onmogelijk) voor bepaalde situaties.

2. De oplossing: De "Biologisch Informatieve Neural Netwerken" (BINN)

De auteur van dit artikel, John Nardini, heeft een slimme tussenweg bedacht. Hij noemt het BINN (Biologically-Informed Neural Networks).

Stel je voor dat BINN een slimme student is die een boekje heeft over de regels van de stad (de wiskundige formules), maar die ook zelf naar de echte stad kijkt om te leren.

• Hoe werkt het?
  De student (de computer) krijgt eerst een paar voorbeelden van de trage, precieze simulator (Manier A) te zien. Hij moet dan een nieuwe, snelle formule (een soort "voorspellingsmachine") bedenken die:
  1. Net zo snel werkt als de snelle schatting (Manier B).
  2. Maar net zo precies is als de trage simulator (Manier A).
  3. En die de regels van de biologie (zoals "cellen plakken aan elkaar") respecteert.

De student leert niet alleen uit de data, maar wordt ook "gecorrigeerd" door de wiskundige regels. Als hij een formule bedenkt die biologisch onzin is (bijvoorbeeld: cellen die vanzelf verdwijnen), krijgt hij een strafje.

3. Wat kan deze nieuwe methode?

Deze "slimme student" doet twee dingen die de oude methoden niet goed konden:

1. Voorspellen van de toekomst (Forecasting):
   Als je de simulator hebt laten draaien tot tijdstip 100, kan de BINN je vertellen hoe de cellen eruitzien op tijdstip 200, zonder dat je de hele trage simulator opnieuw hoeft te draaien. Het is alsof je een filmpje hebt van de eerste helft en de AI het einde voor je uitschrijft.

2. Voorspellen van nieuwe situaties (Predicting):
   Dit is het echte toverwerk. Stel je hebt de simulator getest op "een beetje plakken" en "veel plakken". Wat gebeurt er bij "heel veel plakken"?
   De BINN kan de regels die hij heeft geleerd bij "een beetje" en "veel" gebruiken om te raden wat er gebeurt bij "heel veel". Hij gebruikt een soort intelligente schatting (interpolatie). Hij zegt: "Oké, bij 10% plakken gebeurde X, bij 50% gebeurde Y, dus bij 90% zal het waarschijnlijk Z zijn."

   • Het grote voordeel: De oude snelle methode (Manier B) gaf bij "heel veel plakken" een foutmelding (de formule brak). De BINN gaf een correct antwoord!

4. Waarom is dit belangrijk?

In de biologie en geneeskunde willen artsen en onderzoekers vaak weten: "Wat gebeurt er als we deze drug geven?" of "Hoe snel geneest deze wond?"

• Vroeger moesten ze wachten tot de trage computer (Manier A) klaar was, of ze moesten een snelle maar onnauwkeurige schatting (Manier B) gebruiken die soms fout ging.
• Nu kunnen ze de BINN gebruiken. Ze trainen de computer een keer (wat even duurt, maar de moeite waard is), en daarna kunnen ze duizenden scenario's in seconden testen.

Kort samengevat in een metafoor:
Stel je voor dat je een auto wilt testen op een racecircuit.

• Manier A is alsof je de auto zelf rijdt, elke bocht neemt, en de motor warm laat worden. Het is echt, maar het duurt lang.
• Manier B is alsof je een simpele formule gebruikt: "Hoe sneller je gaat, hoe verder je komt." Maar bij een scherpe bocht faalt deze formule.
• De BINN is een virtuele reality-bril die je hebt getraind met echte ritten. Je kunt nu in de bril duizenden bochten nemen in een seconde, en de bril weet precies hoe de auto zich gedraagt, zelfs in de moeilijkste bochten waar de simpele formule faalt.

Dit artikel laat zien dat we met deze nieuwe "virtuele bril" (BINN) veel beter en sneller kunnen voorspellen hoe biologische systemen zich gedragen, wat helpt bij het vinden van nieuwe medicijnen en het begrijpen van ziektes.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Forecasting and predicting stochastic agent-based model data with biologically-informed neural networks" van John T. Nardini, in het Nederlands.

Probleemstelling

Collectieve migratie is een fundamenteel biologisch proces (bijvoorbeeld bij wondheling, tumorontwikkeling en embryo-ontwikkeling). Stochastische agent-based modellen (ABM's) worden vaak gebruikt om deze processen te simuleren omdat ze de discrete en stochastische aard van biologische systemen goed nabootsen. Echter, ABM's zijn computatief intensief, wat het efficiënt verkennen van de parameterruimte en het voorspellen van modelgedrag bemoeilijkt.

Modelleers proberen vaak ABM-regels te "vergroven" (coarse-graining) naar continue differentiaalvergelijkingen (DE's), zoals gemiddelde-veld (mean-field) partiële differentiaalvergelijkingen (PDE's). Hoewel deze PDE's snel te simuleren zijn, hebben ze twee grote nadelen:

1. Ze kunnen onnauwkeurige of zelfs foute voorspellingen doen wanneer de aannames van het gemiddelde veld worden geschonden.
2. Ze kunnen wiskundig "ill-posed" (niet goed gesteld) worden bij bepaalde parameterwaarden (bijvoorbeeld wanneer de diffusiecoëfficiënt negatief wordt), waardoor ze in die gebieden onbruikbaar zijn.

Er is behoefte aan methoden die de nauwkeurigheid van ABM's combineren met de rekenefficiëntie van DE-modellen, zonder de beperkingen van traditionele gemiddelde-veld benaderingen.

Methodologie

De auteur introduceert een hybride aanpak die Biologisch-Informeerde Neuronale Netwerken (BINN's) combineert met PDE-simulaties. De kern van de methode is het leren van een interpreteerbare, data-gedreven PDE uit ABM-simulaties.

Het proces verloopt als volgt:

1. Data Generatie: Er worden ABM-simulaties uitgevoerd voor specifieke parameterwaarden. De output wordt samengevat als een spatiotemporale dichtheid van agenten.
2. BINN Training: Een BINN-model wordt getraind op deze data. Het BINN-model bestaat uit twee Multi-Layer Perceptrons (MLP's):
   • $T_{MLP}(x, t)$: Voorspelt de totale agentendichtheid.
   • $D_{MLP}(T)$: Voorspelt de dichtheidsafhankelijke diffusiecoëfficiënt.
   • De training minimaliseert een verliesfunctie die zowel de fit met de data als de voldoening aan de PDE-structuur ($\frac{\partial T}{\partial t} = \nabla \cdot (D(T) \nabla T)$) omvat.
3. BINN-geleide PDE Simulatie: Na training wordt de geleerde functie $D_{MLP}(T)$ gebruikt om de PDE numeriek te integreren. Dit fungeert als een "surrogaatmodel" voor de ABM.
4. Voorspelling bij nieuwe parameters (Interpolatie): Om ABM-data te voorspellen bij nieuwe, nog niet eerder bekeken parameterwaarden, wordt er gebruikgemaakt van multivariate interpolatie. De $D_{MLP}(T; p)$ termen die zijn geleerd voor een reeks bekende parameters worden geïnterpoleerd om een nieuwe diffusiefunctie $D_{interp}(T; p_{nieuw})$ te creëren. Deze wordt vervolgens gebruikt in de PDE-simulatie.

Drie casestudy-ABM's werden gebruikt om de methode te testen, die cellulaire interacties nabootsen:

• Pulling ABM: Agenten trekken hun buren mee.
• Adhesion ABM: Agenten plakken aan elkaar en blokkeren migratie.
• Pulling & Adhesion ABM: Een combinatie van beide mechanismen.

Belangrijkste Bijdragen

1. Ontwikkeling van BINN-geleide PDE's: De auteur toont aan dat BINN's kunnen worden getraind om interpreteerbare PDE-modellen te leren die de dynamiek van complexe, stochastische ABM's nauwkeurig weergeven, zelfs wanneer traditionele gemiddelde-veld afleidingen falen.
2. Oplossing voor Ill-posed Problemen: De methode lost het probleem op van ill-posed gemiddelde-veld PDE's (bijvoorbeeld bij hoge adhesie-waarden waar de diffusie negatief wordt in traditionele modellen). De BINN-geleide PDE blijft stabiel en nauwkeurig.
3. Efficiënte Parameterverkenning: Door het combineren van BINN-training met multivariate interpolatie, kunnen nieuwe ABM-uitkomsten worden voorspeld bij onbekende parameterwaarden zonder nieuwe, dure ABM-simulaties uit te voeren.
4. Vereenvoudiging van Complexiteit: Voor het complexe "Pulling & Adhesion" model, dat traditioneel een tweecompartiment PDE vereist, leert de BINN een nauwkeurig één-compartiment PDE-model dat de totale dichtheid voorspelt, wat de interpretatie en simulatie aanzienlijk vereenvoudigt.

Resultaten

De studie vergeleek vier modellen: gemiddelde-veld PDE, Artificiële Neuronale Netwerken (ANN), BINN, en BINN-geleide PDE.

• Voorspelling (Forecasting): BINN-geleide PDE's presteerden even goed als of beter dan gemiddelde-veld PDE's en aanzienlijk beter dan pure ANN-modellen in het voorspellen van toekomstige ABM-data.
  • Bij het Adhesion ABM faalde het gemiddelde-veld model volledig bij $p_{adh} > 0.75$ (ill-posed), terwijl de BINN-geleide PDE nauwkeurige voorspellingen bleef leveren tot $p_{adh} \approx 0.9$.
  • Bij het Pulling & Adhesion ABM leverde de BINN-geleide PDE een nauwkeurige één-compartiment oplossing, terwijl het gemiddelde-veld model een complexere, minder interpreteerbare tweecompartiment structuur vereiste.
• Voorspelling bij nieuwe parameters: De methode met multivariate interpolatie slaagde erin om nauwkeurige voorspellingen te doen voor ABM-data bij nieuwe parametercombinaties (binnen het bereik van de trainingsdata), met lage foutmarges (MSE).
• Rekentijd:
  • Het genereren van ABM-data duurt gemiddeld ~40 minuten.
  • Het trainen van een BINN duurt gemiddeld ~11,2 uur (de grootste bottleneck).
  • Echter, eenmaal getraind, is het simuleren van de BINN-geleide PDE extreem snel (~83 seconden), wat ongeveer 28 keer sneller is dan het uitvoeren van een nieuwe ABM-simulatie.
  • Dit maakt de methode zeer waardevol voor taken zoals parameterschatting (bijv. via Approximate Bayesian Computation), waar duizenden simulaties nodig zijn.

Significantie

Deze studie biedt een krachtig kader voor het overbruggen van de kloof tussen gedetailleerde, maar trage, stochastische agent-based modellen en snelle, maar soms onnauwkeurige, continue differentiaalvergelijkingen.

De belangrijkste implicaties zijn:

• Efficiëntie: Het stelt onderzoekers in staat om parameterruimtes veel efficiënter te verkennen dan met pure ABM's mogelijk is.
• Robuustheid: Het biedt een oplossing voor gebieden waar traditionele theoretische afleidingen (mean-field) falen of wiskundig instabiel worden.
• Interpreteerbaarheid: In tegenstelling tot "black-box" neurale netwerken, levert de BINN-geleide aanpak een expliciete PDE-structuur op die biologische inzichten biedt (bijv. hoe diffusie afhangt van dichtheid).
• Toekomstige Toepassingen: De methode opent de deur voor data-gedreven taken zoals het schatten van parameters uit experimentele data, wat tot nu toe te rekenintensief was voor ABM's. De auteur suggereert dat toekomstig werk gericht moet zijn op het versnellen van het BINN-trainingproces (bijv. via architectuur-optimalisatie) en het valideren van de methode op echte experimentele data.