A scalable estimator of higher-order information in complex dynamical systems

Titel: Een schaalbare schatter voor hogere-orde informatie in complexe dynamische systemen

Auteurs: Alberto Liardi et al. (Imperial College London, UCL, University of Sussex)

---

1. Het Probleem

Het begrijpen van complexe systemen (zoals biologische netwerken, sociale dynamiek en fysische processen) vereist het kunnen karakteriseren van hoe deze systemen informatie distribueren en integreren. Traditionele methoden focussen vaak op paarsgewijze relaties (twee variabelen), maar veel essentiële eigenschappen van complexe systemen ontstaan uit hogere-orde interdependencies (interacties tussen drie of meer variabelen die niet tot paarsgewijze relaties kunnen worden herleid).

De huidige uitdagingen zijn:

• Schaalbaarheid: Bestaande methoden voor het kwantificeren van hogere-orde informatie (zoals Partial Information Decomposition - PID) zijn computationeel zeer duur en schalen slecht met de systeemgrootte (vaak exponentiële groei).
• Toepasbaarheid op tijdreeksen: Er zijn weinig maatstaven die specifiek zijn ontworpen voor multivariate tijdreeksdata en dynamische systemen.
• Scheiding van componenten: Bestaande maatstaven geven vaak alleen een balans tussen redundantie en synergie weer, zonder expliciet en onafhankelijk de bijdragen van hogere-orde informatie te identificeren.

2. Methodologie

De auteurs introduceren een nieuwe maatstaf genaamd M-information (en de bijbehorende W-information).

Theoretische Grondslag

• W-information (Union Information): Dit is een multivariate uitbreiding van het concept "union information". Het wordt gedefinieerd als de minimale wederzijdse informatie $I(X; Y)$ over alle kansverdelingen $Q$ die dezelfde paarsgewijze marginaalverdelingen hebben als de werkelijke verdeling $P$.
  • Formule: $W(X; Y) := \min_{Q \in \Delta_P} I_Q(X; Y)$
  • Waar $\Delta_P$ de verzameling is van verdelingen met dezelfde paarsgewijze marginals als $P$.
  • $W$ vertegenwoordigt de lager-orde informatie (informatie die volledig verklaard kan worden door paarsgewijze relaties).
• M-information (Higher-Order Information): Dit is het verschil tussen de totale wederzijdse informatie en de $W$-informatie.
  • Formule: $M(X; Y) := I(X; Y) - W(X; Y)$
  • $M$ vertegenwoordigt de hogere-orde informatie (informatie die alleen ontstaat door de gezamenlijke interactie van drie of meer variabelen).

Berekeningsalgoritme (Gaussische Systemen)

Hoewel het minimaliseren van Eq. (2) in het algemeen moeilijk is, tonen de auteurs aan dat voor gezamenlijk Gaussische verdelingen het probleem oplosbaar is via convexe optimalisatie:

1. Ze gebruiken een Cholesky-decompositie van de covariantiematrix $\Sigma$.
2. Ze parametriseren de zoekruimte $\Delta_P$ zodanig dat de paarsgewijze covarianties ($\Sigma_{YX}$) constant blijven, terwijl de interne structuur van de bronnen en doelen vrij kan variëren.
3. Het probleem wordt omgezet in een onbeperkte optimalisatie over reële getallen, wat efficiënt opgelost kan worden met gradient-based methoden (zoals Adam).
4. Bewijs: Ze bewijzen dat de doelstelling (wederzijdse informatie) een convexe functie is binnen dit domein, wat garandeert dat een uniek globaal minimum gevonden wordt.

Integratie met PID

De methode wordt geïntegreerd met het Integrated Information Decomposition (ΦID) raamwerk. Door $W$ te definiëren als de som van alle "lager-orde atomen" (redundantie en unieke informatie), kunnen ze een fijnmazige taxonomie van informatiestromen creëren (genaamd BROJA-ΦID).

3. Belangrijkste Bijdragen

1. Nieuwe Maatstaf: Introductie van $M$-informatie als een schaalbare, multivariate maatstaf voor hogere-orde afhankelijkheden.
2. Efficiëntie: Een algoritme dat $W$-informatie berekent via convexe optimalisatie, wat schaalbaar is voor grote systemen (in tegenstelling tot de super-exponentiële groei van traditionele PID-methoden).
3. Robuustheid: De methode is getest op synthetische data en blijkt robuust te zijn tegen ruis en geschikt voor niet-lineaire systemen (via Gaussische copula's).
4. Empirische Validatie: Toepassing op echte neurofysiologische data van makaken (bewustzijn) en muizen (visuele discriminatie).
5. Theoretische Unificatie: Koppeling van de nieuwe maatstaf aan bestaande informatie-decompositie frameworks voor een completer beeld van informatiedynamiek.

4. Resultaten

Synthetische Data

• Toy-systemen: De methode onderscheidt correct systemen met alleen paarsgewijze relaties (COPY, Transfer) van systemen met hogere-orde relaties (XOR-gate). Alleen het XOR-systeem toont significante $M$-informatie.
• VAR-modellen: In Vector Autoregressive modellen toont $M$-informatie zich gevoelig voor dynamische samenwerking die niet door ruis wordt gemedieerd. Het onderscheidt zich van bestaande maatstaven (zoals O-informatie en RSI) door beter te reageren op veranderingen in ruiscorrelatie en koppelingssterkte.
• Wilson-Cowan Model: $M$-informatie is het hoogst in het kritische regime (sustained periodic oscillations) van neuronale dynamiek, wat suggereert dat het kritieke gedrag kan indexeren. Het is ook robuust tegen injectie van ruis.

Empirische Data

• Makaken (Bewustzijn): Analyse van ECoG-data toont aan dat $M$-informatie consistent hoger is tijdens waakzaamheid dan tijdens slaap of sedatie (anesthesie).
  • Conclusie: Een verlaagd bewustzijn correleert met een vermindering van hogere-orde informatie, terwijl de lager-orde afhankelijkheden ($W$) statistisch niet significant veranderen. Dit bevestigt dat bewustzijn gedreven wordt door hogere-orde integratie.
• Muizen (Visuele Discriminatie): Analyse van Neuropixel LFP-data tijdens een taak toont aan dat:
  • $M$-informatie het hoogst is bij correcte perceptuele beslissingen en het laagst bij passieve observatie.
  • Er is een tijdsafhankelijk effect: initieel wordt prestatie ondersteund door gedistribueerde samenwerking (hoge $M$), maar na aanpassing aan de taak verschuift de berekening naar lager-orde elementen.
  • Verhoogde hogere-orde interacties worden gevonden tussen neocortex, middenhersenen en basale ganglia tijdens correcte prestaties.

5. Betekenis en Conclusie

De paper presenteert een doorbraak in de analyse van complexe systemen door een schaalbare en robuuste estimator voor hogere-orde informatie te bieden.

• Wetenschappelijke Impact: Het overbrugt de kloof tussen theoretische informatie-theorie en praktische toepasbaarheid op grote, high-dimensional datasets (zoals neuroimaging).
• Toepassingsgebied: De methode is niet beperkt tot neurowetenschappen; het is toepasbaar op elk complex dynamisch systeem waar collectieve berekening en emergentie een rol spelen.
• Toekomstperspectief: De auteurs suggereren dat $M$-informatie gebruikt kan worden als een objectieve functie voor het trainen van deep learning systemen en dat verdere onderzoek nodig is om de methode uit te breiden naar niet-Gaussische verdelingen zonder de Gaussische copula-aannames.

Kortom, $M$-informatie biedt een krachtig instrument om te begrijpen hoe collectieve, niet-lineaire dynamiek in complexe systemen ontstaat en hoe deze gerelateerd is aan functies zoals bewustzijn en leren.