Higher-order Common Information

Technische Samenvatting: Hogere-orde Gemeenschappelijke Informatie

Probleemstelling
Het karakteriseren van de informatie die gedeeld wordt binnen een collectie van $n$ willekeurige variabelen ($X_1, \dots, X_n$) blijft een significante uitdaging voor $n > 2$. Hoewel Shannons wederzijdse informatie $I(X_1; X_2)$ effectief de paargewijze afhankelijkheid kwantificeert, bestaat er geen enkele canonieke uitbreiding voor interacties van hogere orde. Bestaande benaderingen vertrouwen vaak op paargewijze samenvattingen (bijv. de minimale paargewijze wederzijdse informatie), wat misleidend kan zijn omdat ze niet bepalen of dezelfde eenheid informatie gelijktijdig in alle variabelen aanwezig is.

Andere gevestigde begrippen van gemeenschappelijke informatie, zoals Wyners gemeenschappelijke informatie ($C_W$) en Gács–Körners gemeenschappelijke informatie ($C_{GK}$), hebben beperkingen. $C_W$ kwantificeert de willekeur die nodig is om een gezamenlijke verdeling te simuleren via een latente variabele, wat vaak waarden oplevert die groter zijn dan de wederzijdse informatie. $C_{GK}$ vangt alleen deterministische gemeenschappelijke delen op, die zelfs nul kunnen zijn wanneer variabelen statistisch afhankelijk zijn. Bovendien kunnen veel bestaande maten voor continue variabelen (zoals entropie-gebaseerde gemeenschappelijke willekeur) divergeren, en PID-maten (Partial Information Decomposition) vereisen vaak een externe doelvariabele of restrictieve modelveronderstellingen (zoals gezamenlijke Gaussianiteit). Er is behoefte aan een maatstaf die de intrinsieke, gedeelde structuur onder $n$ variabelen vastlegt zonder referentie naar een externe doelvariabele, die lokaal aanwezig is in elke variabele, en die betekenisvol blijft voor zowel discrete als continue verdelingen.

Methodologie
Het artikel introduceert Hogere-orde Gemeenschappelijke Informatie (HCI), aangeduid als $R(X_1, \dots, X_n)$. De kernmethodologie is een iteratieve informatie-bottleneck constructie gebaseerd op geneste Markov-restricties.

1. Iteratieve Constructie: De definitie begint met het vaststellen van een referentievariabele $X_i$ en een ordening van de overige variabelen. Een hulpvariabele $T$ wordt geconstrueerd via een reeks stadia. In elk stadium $\ell$ wordt een nieuwe hulpvariabele $T_{\ell+1}$ afgeleid van de vorige hulpvariabele $T_\ell$ zodanig dat:

   • Markov-restrictie: $T_{\ell+1} - T_\ell - X$ geldt (waarbij $X$ de verzameling van alle variabelen is).
   • Informatie-overeenkomst Restrictie: De wederzijdse informatie wordt behouden tussen de huidige hulpvariabele en de volgende variabele in de sequentie: $I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$.
   • Optimalisatie: De constructie minimaliseert de wederzijdse informatie tussen de nieuwe hulpvariabele en de gehele verzameling variabelen $X$, waardoor private informatie effectief wordt weggefilterd terwijl gedeelde informatie behouden blijft.

2. Definitie van HCI: De uiteindelijke HCI wordt gedefinieerd door te minimaliseren over alle mogelijke referentie variabelen $X_i$ en te maximaliseren over alle permutaties van de overige variabelen en alle geldige terminale hulpvariabelen. Formeel:
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   Dit zorgt ervoor dat de maatstaf invariant is voor de keuze van de referentie en de maximale snelheid vastlegt waarmee een enkele gecomprimeerde representatie simultaan informatie over alle variabelen kan behouden.

3. Benadering voor Algemene Bronnen: Voor willekeurige verdelingen waarvoor geen gesloten vorm beschikbaar is, stelt het artikel een praktische numerieke procedure voor. Dit houdt in dat er gedegradeerde hulpvariabelen worden geconstrueerd door ruis toe te voegen (bijv. Gaussische ruis) om de informatie-overeenkomst restricties empirisch te voldoen. Dit levert een berekenbare ondergrens op voor de HCI.

Belangrijkste Bijdragen en Resultaten

• Gesloten Vorm Expressies:

  • Gaussianische Bronnen: Voor gezamenlijk Gaussianische variabelen met correlatiecoëfficiënten $\rho_{jk}$, leidt het artikel een gesloten vorm expressie af die gebruikmaakt van de orderstatistieken van de absolute correlaties. Specifiek hangt de HCI voor een referentie $i$ af van het product van de kleinste correlaties in de verzameling.
  • Bernoulli Bronnen: Voor binaire bronnen gegenereerd door een gemeenschappelijke bron $U$ die gecorrumpeerd is door onafhankelijke ruis ($X_j = U \oplus N_j$), wordt een gesloten vorm expressie afgeleid. Opvallend genoeg is voor deze bronnen de Gács–Körner gemeenschappelijke informatie nul, terwijl de voorgestelde HCI strikt positief is voor alle eindige $n$, wat de capaciteit aantoont om statistische (niet-deterministische) gedeelde structuur te vangen.
  • Algemene Discrete Bronnen: Voor variabelen geconstrueerd uit onafhankelijke componenten wordt aangetoond dat de HCI gelijk is aan de entropie van de intersectie van de componentverzamelingen.

• Theoretische Eigenschappen:

  • Grenzen: Het artikel stelt vast dat $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ en $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$.
  • Consistentie: Voor $n=2$ reduceert $R(X_1, X_2)$ exact naar de standaard wederzijdse informatie $I(X_1; X_2)$.
  • Niet-toenemend: Het toevoegen van meer variabelen aan de verzameling kan de HCI niet verhogen; $R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$.
  • Verdwijnen: Als een enkel paar variabelen onafhankelijk is, verdwijnt de HCI.

• Empirische Toepassing (EEG-data):
  De auteurs hebben de numerieke benaderingsmethode toegepast op een real-world dataset bestaande uit 64-kanaals scalp EEG-opnames tijdens een auditieve aandachtstaak. Ze analyseerden de relatie tussen EEG-signalen (van temporale elektroden) en de enveloppen van target en distractor spraakstromen.

  • Bevindingen: De studie toonde aan dat de derde-orde gemeenschappelijke informatie ($R_3$) significante informatie bevat over neurale spraak-tracking responsen die niet verklaard wordt door het minimum van de paargewijze wederzijdse informatie ($R_2$).
  • Statistische Significantie: Regressieanalyses toonden aan dat $R_3$ een significante variantie verklaarde in neurale tracking responsen bovenop wat werd gevangen door $R_2$, wat de aanwezigheid van hogere-orde afhankelijkheden bevestigt in de neurale respons op spraak.

Significantie
Het artikel beweert dat HCI een fundamenteel lokale maatstaf biedt voor gedeelde structuur die intrinsiek is aan de collectie van variabelen, verschillend van benaderingen die vertrouwen op externe targets of latente variabele simulatie. Door de karakterisering van redundantie strikter te maken vergeleken met bestaande grenzen (specifiek strikt lager te zijn dan de paargewijze wederzijdse informatie en Wyners gemeenschappelijke informatie in veel gevallen), onthult HCI gedeelde structuren die bestaande maten missen. Het vermogen om gesloten vorm oplossingen af te leiden voor Gaussianische en Bernoulli bronnen, gecombineerd met een praktische schattingsprocedure voor algemene data, biedt een nieuw instrument om inherente multivariate afhankelijkheden in complexe systemen te ontdekken, zoals aangetoond door de analyse van neurale data.