🧬 biology

ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

Dit artikel introduceert ML-PWS, een methode die machine learning combineert met Path Weight Sampling om een rigoureuze ondergrens te schatten van informatietransmissiesnelheden uit experimentele tijdreeksgegevens zonder dat daarvoor een vooraf bepaald stochastisch model vereist is.

Oorspronkelijke auteurs: Manuel Reinhardt, Gašper Tkačik, Pieter Rein ten Wolde

Gepubliceerd 2026-08-11

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manuel Reinhardt, Gašper Tkačik, Pieter Rein ten Wolde

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert uit te vogelen hoeveel een geheime boodschap wordt doorgegeven tussen twee mensen, Alice en Bob, die met elkaar praten via een zeer ruisende walkie-talkie. In de wereld van de wetenschap wordt dit "informatieoverdracht" genoemd. Of het nu gaat om neuronen in een brein die signalen afvuren, een aandelenmarkt die reageert op nieuws, of een cel die haar omgeving waarneemt: wetenschappers willen weten: Hoe snel en hoe duidelijk komt het verhaal door? De standaardmanier om dit te meten wordt de "informatiesnelheid" genoemd. Het is alsof je telt hoeveel unieke woorden Alice per seconde kan zeggen die Bob daadwerkelijk begrijpt, waarbij de statische ruis en de misverstanden worden genegeerd.

Het probleem is dat echte signalen geen eenvoudige woorden zijn; het zijn complexe, draaiende paden van data die elke milliseconde veranderen. Het proberen te berekenen van de informatieoverdracht voor deze rommelige, hoogdimensionale paden is als het proberen te tellen van elk individueel zandkorreltje op een strand terwijl er een orkaan raast. Traditionele wiskundige methoden falen vaak omdat de data te ingewikkeld is, en ze ofwel te veel gokken, ofwel blijven ze steken in de ruis. Wetenschappers hebben gezocht naar een manier om deze "informatiesnelheid" direct uit de data zelf te meten, zonder vooraf de exacte regels van het spel te hoeven kennen.

Hier komt een nieuwe methode genaamd ML-PWS in beeld, ontwikkeld door onderzoekers Manuel Reinhardt, Gašper Tkačik en Pieter Rein ten Wolde. Zie hun aanpak als een slimme tweestaps magische truc. Eerst gebruiken ze een "generatief model" — een type kunstmatige intelligentie dat fungeert als een superintelligente student — om de rommelige data te bestuderen en te leren hoe het systeem zich gedraagt. Het is alsof de student urenlang heeft gekeken hoe Alice en Bob praten en vervolgens een perfecte simulatie van hun gespreksstijl heeft gebouwd. Maar hier komt de twist: alleen een simulatie hebben is niet genoeg om een precies getal te krijgen.

Dat is waar de tweede stap, genaamd Path Weight Sampling (PWS), het podium betreedt. Stel je voor dat de AI-student een kaart heeft gemaakt van alle mogelijke gesprekken. PWS is een rigoureuze wiskundige techniek die door deze kaart wandelt en controleert hoe waarschijnlijk elk mogelijk pad dat het gesprek had kunnen nemen, is. Door de geleerde "kaart" van de AI te combineren met deze zorgvuldige wiskundige wandeling, kunnen de onderzoekers een rigoureuze ondergrens berekenen op de informatieoverdracht. In gewone mensentaal betekent dit dat ze met absolute zekerheid kunnen zeggen: "De informatie stroomt met minstens deze snelheid." Ze bewezen dat dit werkt door het te testen op fictieve data waarvan ze het exacte antwoord al kenden, waarbij hun methode het doel perfect raakte, terwijl andere populaire methoden ofwel te laag gokten of het antwoord fout kregen. Ze hebben het zelfs toegepast op echte data van salamanderneuronen, waarmee ze lieten zien dat dit nieuwe instrument kan meten hoeveel informatie een groep hersencellen daadwerkelijk deelt, waarbij het onthulde dat wanneer cellen samenwerken, ze soms zichzelf herhalen, wat de totale informatie-snelheid verlaagt.

De Kern van het Idee: De Regels Leren om de Geheimen te Tellen

Het artikel pakt een lastig probleem aan: hoe meet je hoeveel informatie er door een systeem stroomt wanneer je de onderliggende regels niet kent? Normaal gesproken, om de "informatiesnelheid" te berekenen, moet je de exacte waarschijnlijkheid van elke mogbare uitkomst kennen. Als je een wiskundig model van het systeem hebt (zoals een reeks vergelijkingen die beschrijven hoe een neuron vuurt), kun je een techniek genaamd Path Weight Sampling (PWS) gebruiken om een exact antwoord te krijgen. Het is alsof je de spelregels van een bordspel hebt; je kunt de kansen op winnen perfect berekenen.

Maar in de echte wereld hebben we zelden de spelregels. We hebben alleen de "tijdreeksdata" — een opname van wat er is gebeurd. We zien de input (de stimulus) en de output (de respons), maar we kennen de verborgen wiskunde die hen verbindt niet. Eerdere methoden probeerden de regels te raden met benaderingen (zoals aannemen dat alles een eenvoudige klokvormige curve is) of door andere machine learning-trucs te gebruiken die vaak onbetrouwbare resultaten gaven, ofwel de informatie onderschatten of volledig falen wanneer de data te complex werd.

De Oplossing: AI als Detective, Wiskunde als Rechter

De auteurs stellen ML-PWS voor, een hybride methode die het beste van twee werelden combineert.

De Detective (Machine Learning): Eerst voeren ze de experimentele tijdreeksdata in een neuraal netwerk. Dit netwerk wordt getraind om een "generatief model" te zijn. Het onthoudt niet alleen de data; het leert de conditionele waarschijnlijkheid. In onze walkie-talkie analogie leert het: "Als Alice deze specifiek frase zegt, wat is de waarschijnlijkheid dat Bob die specifieke frase hoort?" Het netwerk leert de output te voorspellen op basis van de volledige geschiedenis van de input en voorgaande outputs. Het is alsof de AI de "stijl" van het gesprek zo goed leert dat het het volgende woord met hoge nauwkeurigheid kan voorspellen.
De Rechter (Path Weight Sampling): Zodra de AI deze stijl heeft geleerd, stoppen de onderzoekers daar niet. Ze gebruiken de voorspellingen van de AI als de "spelregels" voor de PWS-techniek. Omdat de AI de conditionele waarschijnlijkheid heeft geleerd (de waarschijnlijkheid van een output gegeven een input), kan de PWS-methode nu wiskundig "marginaliseren" over de inputs. Dit is een chique manier om te zeggen dat ze de totale waarschijnlijkheid van het optreden van de output kunnen berekenen, ongeacht wat de input was, door alle mogelijkheden op te tellen die de AI heeft voorspeld.

Waarom Dit een Groot Ding is: De Garantie van de "Ondergrens"

Het meest opwindende deel van dit artikel is de garantie. Veel machine learning-methoden voor het meten van informatie zijn "black boxes". Je voert ze uit, en ze geven je een getal, maar je weet niet of dat getal te hoog, te laag of gewoon gelukkig is.

De auteurs bewijzen wiskundig dat hun methode een rigoureuze ondergrens biedt. Dit betekent dat het getal dat ze berekenen altijd kleiner dan of gelijk aan de ware informatieoverdracht is. Het kan een beetje conservatief zijn (de waarheid onderschatten), maar het zal nooit liegen dat er meer informatie is dan er daadwerkelijk is. Dit is cruciaal voor de wetenschap omdat het onderzoekers een veilige, betrouwbare bodem geeft om op te staan. Als ze zeggen "de informatieoverdracht is minstens 5 bits per seconde", weten ze zeker dat het niet nul is.

Ze hebben dit getest op drie verschillende synthetische systemen (fictieve data gegenereerd door bekende wiskundige modellen) waarbij ze de "ground truth" (het echte antwoord) kenden.

De Test: Ze vergeleken ML-PWS met andere populaire methoden zoals de Gaussische benadering (die ervan uitgaat dat alles een eenvoudige curve is), DoE (Difference of Entropies) en variationele estimators zoals MINE en InfoNCE.
Het Resultaat: In bijna alle gevallen was ML-PWS het meest accuraat. Het bleef ongelooflijk dicht bij de ground truth.
- De Gaussische benadering faalde wanneer het systeem niet-lineair was (wanneer de relatie tussen input en output geen rechte lijn was).
- Variationele estimators (zoals MINE en InfoNCE) stuitten op een "plafond". Ze konden hoge informatieoverdrachten niet meten omdat hun wiskunde vastloopt wanneer de data te complex wordt of de trajecten te lang worden. Ze gaven in feite op en zeiden: "Het is hoogstens dit veel," zelfs toen het in werkelijkheid veel hoger was.
- DoE overschatte soms de informatie, waardoor het een getal gaf dat te hoog was en daarom onbetrouwbaar was.

Praktische Toepassing: Luisteren naar Neuronen

Om aan te tonen dat dit niet slechts een theoretisch experiment is, hebben de auteurs ML-PWS toegepast op echte biologische data: opnames van 50 retina ganglioncellen in de ogen van een salamander. Deze cellen keken naar een staaf die op en neer bewoog op een scherm.

De Opzet: Ze trainden een neuraal netwerk om de vuurpatronen van deze neuronen te voorspellen op basis van de beweging van de staaf.
De Bevinding: Ze berekenden de informatieoverdracht voor individuele neuronen en voor de hele groep die samenwerkt.
De Verrassing: Toen ze naar de groep keken, ontdekten ze dat de totale informatieoverdracht lager was dan de som van de individuele snelheden. Dit kwam doordat de neuronen "redundant" waren — ze zeiden allemaal hetzelfde. De groep voegde geen nieuwe informatie toe; ze herhaalden het alleen maar.
Kanaalcapaciteit: Ze gebruikten het model ook om de vraag te beantwoorden: "Welk soort bewegende staaf zou de meeste informatie kunnen dragen?" Door de input te optimaliseren (de beweging van de staaf), vonden ze een specifiek patroon dat aanzienlijk meer informatie kon dragen dan het patroon dat in het experiment werd gebruikt. Dit suggereert dat het visuele systeem van de salamander veel efficiënter zou kunnen zijn als de wereld op een andere manier bewoog.

De Kernboodschap

Dit artikel biedt niet alleen een nieuwe manier om te gokken; het biedt een nieuwe manier om te weten. Door een machine te leren de regels van een systeem te begrijpen en vervolgens rigoureuze wiskunde te gebruiken om de informatie te tellen op basis van die geleerde regels, hebben de auteurs een instrument gecreëerd dat zowel krachtig als eerlijk is. Het geeft toe wanneer het niet alles weet (door een ondergrens te bieden), maar garandeert dat wat het wel weet, solide is. Voor iedereen die probeert te begrijpen hoe informatie stroomt door complexe systemen — van hersenen tot aandelenmarkten en technische apparaten — biedt deze methode een betrouwbaar kompas in een zee van data.

Technische Samenvatting: ML-PWS: Het schatten van de wederzijdse informatie tussen experimentele tijdreeksen met behulp van neurale netwerken

Probleemstelling
Het kwantificeren van informatieoverdracht in systemen die worden gedreven door tijdsafhankelijke signalen is fundamenteel voor de analyse van natuurlijke en kunstmatige systemen, van biochemische signalering tot neurale codering. De standaardmaatstaf hiervoor is de informatieoverdrachtsnelheid, gedefinieerd als de asymptotische groeisnelheid van de pad-wederzijdse informatie (MI) tussen input- en outputtrajecten. Het direct berekenen van deze snelheid uit experimentele tijdreeksgegevens is echter uiterst moeilijk vanwege de hoge dimensionaliteit van trajectruimtes. Conventionele niet-parametrische methoden (bijv. histogrammen, kernel density estimation) falen in hoge dimensies, terwijl geavanceerde schatters zoals k-nearest-neighbor (KNN) lijden onder ongecontroleerde biases. Bestaande machine learning-benaderingen, zoals neurale variationele schatters (MINE, InfoNCE) of difference-of-entropies (DoE) schatters, bieden vaak zwakke grenzen (loose bounds), lijden aan verzadigingseffecten (bijv. de $\ln N$ plafondwaarde in InfoNCE), of bieden geen strikte grenzen wanneer de marginale verdelingen verkeerd gespecificeerd zijn. Bovendien vereist de Path Weight Sampling (PWS) techniek, die een exacte berekening van informatie snelheden voor stochastische modellen mogelijk maakt, een bekend mechanistisch model en kan deze niet direct worden toegepast op experimentele data waar een dergelijk model ontbreeft.

Methodologie: ML-PWS
De auteurs stellen ML-PWS voor, een hybride methode die machine learning combineert met het Path Weight Sampling (PWS) raamwerk om informatie snelheden direct te schatten uit experimentele tijdreeksgegevens zonder een vooraf bekend mechanistisch model. De methodologie verloopt in drie hoofdfasen:

Leren van de conditionele pad-waarschijnlijkheid: De methode gebruikt een autoregressief generatief model (specifiek een diep neuraal netwerk) dat getraind is op experimentele input-output paren $(s_{1:n}, x_{1:n})$ . Dit netwerk leert de conditionele pad-waarschijnlijkheid $Q(x_{1:n}|s_{1:n})$ te voorspellen door deze te factoriseren in een product van stap-voor-stap conditionele waarschijnlijkheden: $Q(x_{1:n}|s_{1:n}) = \prod_i Q(x_i | s_{1:i}, x_{1:i-1})$ . Het netwerk voorspelt het gemiddelde en de variantie van een Gaussische verdeling voor elke tijdstap, geconditioneerd op de volledige geschiedenis van inputs en outputs.
Exacte marginalisatie via PWS: In tegenstelling tot methoden die een apart netwerk trainen om de marginale verdeling $Q(x_{1:n})$ te benaderen, berekent ML-PWS deze grootheid door exacte marginalisatie over de bekende inputverdeling $P(s_{1:n})$ . De inputverdeling wordt door de experimentator gecontroleerd of gekarakteriseerd, waardoor de marginale verdeling wordt geschat als $Q(x_{1:n}) = \int ds_{1:n} P(s_{1:n}) Q(x_{1:n}|s_{1:n})$ . Deze integraal wordt efficiënt geëvalueerd met behulp van Sequential Monte Carlo (SMC) technieken (specifiek het RR-PWS schema), die een ensemble van inputtrajecten voortplanten en ze herwegen om de focus te leggen op gebieden met een hoge waarschijnlijkheid, waardoor de exponentiële inefficiëntie van brute-force sampling wordt vermeden.
Schatten van de ondergrens: De wederzijdse informatie wordt geschat als het verschil tussen de marginale entropie en de conditionele entropie, beide berekend als cross-entropie met betrekking tot het geleerde model $Q$ . De auteurs bewijzen dat omdat de marginale $Q(x_{1:n})$ exact afgeleid is van de conditionele $Q(x_{1:n}|s_{1:n})$ via de bekende $P(s_{1:n})$ , de resulterende schatter $\hat{I}_Q$ een strikte ondergrens vormt op de ware wederzijdse informatie $I(S; X)$ . De bias van deze grens is niet-negatief en verdwijnt naarmate het generatieve model $Q$ convergeert naar de ware conditionele verdeling.

Belangrijkste bijdragen en benchmarks
De paper valideert ML-PWS tegenover grondwaarheid-resultaten (verkregen door PWS direct toe te passen op bekende stochastische modellen) en tegenover alternatieve schatters (Gaussische benadering, DoE, MINE, InfoNCE, SMILE) over drie synthetische benchmarks:

Minimaal Nietlineair Kanaal (Voorbeeld II): In een systeem met een verzadigende sigmoïde nietlineariteit presteert ML-PWS aanzienlijk beter dan variationele grenzen (InfoNCE, MINE, SMILE), die de MI ernstig onderschatten in regimes met hoge informatie door beperkingen in de steekproefomvang. Het presteert ook beter dan de Gaussische benadering, die zwak wordt naarmate de nietlineariteit toeneemt, en de DoE-schatter, die de MI overschat door fouten in het leren van de marginale verdeling. ML-PWS blijft ononderscheidbaar van de grondwaarheid bij variërende signaal-ruisverhoudingen en sterkten van de nietlineariteit.
Variantie-gemoduleerd Twee-kanaals Output (Voorbeeld III): In een systeem waar het signaal volledig gecodeerd is in de output-covariantie (waardoor het gemiddelde ongecorreleerd blijft), falen Gaussische benaderingen volledig. Hier is de marginale verdeling een zware staart-mengverdeling van Gaussische verdelingen. ML-PWS convergeert naar de grondwaarheid naarmate de trainingsdata toenemen, terwijl DoE een plateau bereikt bij een overschatting omdat het aparte marginale netwerk de zware staart van de data niet kan vangen. Cruciaal is dat ML-PWS een geldige ondergrens biedt, zelfs wanneer het generatieve model verkeerd gespecificeerd is (bijv. door een diagonale covariantie aan te nemen), terwijl DoE in dergelijke gevallen faalt.
Toepassing op Neurale Data: De methode wordt toegepast op spike-train data van 50 retina ganglioncellen van een salamander die reageert op een bewegende staaf. De auteurs trainden zowel single-neuron als collectieve populatiemodellen. De generatieve modellen reproduceerden de experimentele spike trains accuraat (bereikten ~95% van de ruisplafondwaarde). De analyse toonde aan dat de informatie snelheid van de collectieve populatie significant lager is dan de som van de individuele snelheden door redundante codering. Bovendien, door de stimulus statistieken binnen het geleerde model te optimaliseren, schatten de auteurs een kanaalcapaciteit (38.0 bit/s) die aanzienlijk hoger is dan de snelheid bereikt met de experimentele stimulus, wat het nut van ML-PWS voor stimulusoptimalisatie aantoont.

Betekenis en Claims
De paper claimt dat ML-PWS een robuust, rigoureus alternatief biedt voor het schatten van informatie snelheden uit experimentele data waar mechanistische modellen niet beschikbaar zijn. De primaire betekenis ligt in het bieden van een strikte ondergrens op de wederzijdse informatie die niet onderhevig is aan de verzadigingslimieten van contrastieve schatters of de marginalisatie-fouten van difference-of-entropies methoden. Door gebruik te maken van de bekende inputverdeling om exacte marginalisatie via SMC uit te voeren, ontkoppelt ML-PWS de nauwkeurigheid van de grens van de moeilijkheid van het direct leren van de marginale verdeling. De auteurs merken op dat de methode bijzonder effectief is in hoog-dimensionale, nietlineaire regimes en kan worden uitgebreid om transfer-entropieën en causale entropieën te schatten. De code voor de implementatie is openbaar beschikbaar gemaakt.

De Kern van het Idee: De Regels Leren om de Geheimen te Tellen

De Oplossing: AI als Detective, Wiskunde als Rechter

Waarom Dit een Groot Ding is: De Garantie van de "Ondergrens"

Praktische Toepassing: Luisteren naar Neuronen

De Kernboodschap

Meer zoals dit