Higher-order Common Information

Sintesi Tecnica: Informazione Comune di Ordine Superiore

Enunciato del Problema
Caratterizzare l'informazione condivisa all'interno di una collezione di $n$ variabili casuali ($X_1, \dots, X_n$) rimane una sfida significativa per $n > 2$. Sebbene l'informazione mutua di Shannon $I(X_1; X_2)$ quantifichi efficacemente la dipendenza a coppie, non esiste un'unica estensione canonica per le interazioni di ordine superiore. Gli approcci esistenti spesso si affidano a riassunti a coppie (ad esempio, il minimo dell'informazione mutua a coppie), che possono essere fuorvianti poiché non determinano se lo stesso pezzo di informazione sia presente simultaneamente in tutte le variabili.

Altre nozioni stabilite di informazione comune, come l'informazione comune di Wyner ($C_W$) e l'informazione comune di Gács–Körner ($C_{GK}$), presentano dei limiti. $C_W$ quantifica la casualità necessaria per simulare una distribuzione congiunta tramite una variabile latente, ottenendo spesso valori superiori all'informazione mutua. $C_{GK}$ cattura solo le parti comuni deterministiche, che possono essere nulle anche quando le variabili sono statisticamente dipendenti. Inoltre, molte misure esistenti per variabili continue (come l'entropia della casualità comune) possono divergere, e le misure di Decomposizione dell'Informazione Parziale (PID) spesso richiedono una variabile target esterna o assunzioni di modello restrittive (ad esempio, la gaussianità congiunta). È necessaria una misura che catturi la struttura condivisa intrinseca tra $n$ variabili senza riferimento a un target esterno, che sia localmente presente in ciascuna variabile e che rimanga significativa sia per le distribuzioni discrete che per quelle continue.

Metodologia
Il documento introduce l'Informazione Comune di Ordine Superiore (HCI), denotata come $R(X_1, \dots, X_n)$. La metodologia centrale è una costruzione di collo di bottiglia dell'informazione (information-bottleneck) iterativa basata su vincoli di Markov annidati.

1. Costruzione Iterativa: La definizione inizia fissando una variabile di riferimento $X_i$ e un ordinamento delle restanti variabili. Una variabile ausiliaria $T$ viene costruita attraverso una sequenza di stadi. In ogni stadio $\ell$, una nuova ausiliaria $T_{\ell+1}$ è derivata dalla precedente $T_\ell$ tale che:

   • Vincolo di Markov: $T_{\ell+1} - T_\ell - X$ vale (dove $X$ è l'insieme di tutte le variabili).
   • Vincolo di Corrispondenza dell'Informazione: L'informazione mutua è preservata tra l'ausiliaria corrente e la successiva variabile nella sequenza: $I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$.
   • Ottimizzazione: La costruzione minimizza l'informazione mutua tra la nuova ausiliaria e l'intero insieme di variabili $X$, eliminando efficacemente l'informazione privata pur mantenendo l'informazione condivisa.

2. Definizione di HCI: L'HCI finale è definita minimizzando su tutte le possibili variabili di riferimento $X_i$ e massimizzando su tutte le permutazioni delle variabili rimanenti e tutti i validi ausiliari terminali. Formalmente:
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   Ciò garantisce che la misura sia invariante rispetto alla scelta della variabile di riferimento e catturi il tasso massimo con cui una singola rappresentazione compressa può preservare simultaneamente l'informazione su tutte le variabili.

3. Approssimazione per Sorgenti Generali: Per distribuzioni arbitrarie in cui non sono disponibili soluzioni in forma chiusa, il documento propone una procedura numerica pratica. Ciò comporta la costruzione di variabili ausiliarie degradate aggiungendo rumore (ad esempio, rumore Gaussiano) per soddisfare empiricamente i vincoli di corrispondenza dell'informazione. Questo fornisce un limite inferiore computabile dell'HCI.

Contributi Chiave e Risultati

• Espressioni in Forma Chiusa:

  • Sorgenti Gaussiane: Per variabili congiuntamente Gaussiane con coefficienti di correlazione $\rho_{jk}$, il documento deriva un'espressione in forma chiusa che coinvolge le statistiche d'ordine dei coefficienti di correlazione assoluti. Specificamente, per una riferimento $i$, l'HCI dipende dal prodotto delle correlazioni più piccole nell'insieme.
  • Sorgenti di Bernoulli: Per sorgenti binarie generate da una sorgente comune $U$ corrotta da rumore indipendente ($X_j = U \oplus N_j$), viene derivata un'espressione in forma chiusa. Notevolmente, per queste sorgenti, l'informazione comune di Gács–Körner è zero, mentre la proposta HCI è strettamente positiva per ogni $n$ finito, dimostrando la sua capacità di catturare la struttura condivisa statistica (non deterministica).
  • Sorgenti Discrete Generali: Per variabili costruite da componenti indipendenti, si mostra che l'HCI è uguale all'entropia dell'intersezione dei set di componenti.

• Proprietà Teoriche:

  • Limiti (Bounds): Il documento stabilisce che $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ e $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$.
  • Consistenza: Per $n=2$, $R(X_1, X_2)$ si riduce esattamente all'informazione mutua standard $I(X_1; X_2)$.
  • Non crescente: Aggiungere più variabili all'insieme non può aumentare l'HCI; $R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$.
  • Scomparsa: Se una coppia qualsiasi di variabili è indipendente, l'HCI svanisce.

• Applicazione Empirica (Dati EEG):
  Gli autori hanno applicato il metodo di approssimazione numerica a un dataset reale composto da registrazioni EEG scalari a 64 canali durante un compito di attenzione uditiva. Hanno analizzato la relazione tra i segnali EEG (dai elettrodi temporali) e gli inviluppi dei flussi di parlato target e distruttore.

  • Risultati: Lo studio ha dimostrato che l'informazione comune di terzo ordine ($R_3$) contiene una quantità significativa di informazione sulle risposte di tracciamento neurale del parlato che non è spiegata dal minimo delle informazioni mute a coppie ($R_2$).
  • Significatività Statistica: Le analisi di regressione hanno mostrato che $R_3$ spiegava una varianza significativa nelle risposte di tracciamento neurale oltre a quanto catturato da $R_2$, confermando la presenza di dipendenze di ordine superiore nella risposta neurale al parlato.

Significatività
Il documento sostiene che l'HCI fornisca una misura fondamentalmente locale della struttura condivisa che è intrinseca alla collezione di variabili, distinta dagli approcci che si basano su target esterni o sulla simulazione di variabili latenti. Stringendo rigorosamente la caratterizzazione della ridondanza rispetto ai limiti esistenti (specificamente essendo strettamente inferiore all'informazione mutua a coppie e all'informazione comune di Wyner in molti casi), l'HCI rivela una struttura condivisa che le misure esistenti perdono. La capacità di derivare soluzioni in forma chiusa per sorgenti Gaussiane e di Bernoulli, combinata con una procedura di stima pratica per dati generali, offre un nuovo strumento per scoprire dipendenze multivariate intrinseche in sistemi complessi, come dimostrato dall'analisi dei dati neurali.