Quantifying information stored in synaptic connections rather than in firing activities of neural networks

1. Enunciazione del Problema

Sebbene la teoria dell'informazione sia stata a lungo utilizzata per quantificare le informazioni codificate nelle attività di scarica dei neuroni (sia biologici che artificiali), esiste un significativo divario teorico riguardo alla quantificazione delle informazioni immagazzinate direttamente nella distribuzione delle connessioni sinaptiche (pesi).

• Limitazioni attuali: Gli approcci esistenti forniscono o limiti superiori lassi (ad esempio, tramite iniezione di rumore nell'apprendimento automatico) o si basano sull'inferenza indiretta della codifica sinaptica attraverso i modelli di scarica neurale (ad esempio, dividendo la capacità totale di archiviazione per il numero di sinapsi nelle reti di Hopfield).
• La sfida centrale: A differenza della scarica neurale, che ha una mappatura esplicita ai dati, i pesi sinaptici emergono implicitamente dal processo di apprendimento. Ciò rende la derivazione di un'espressione in forma chiusa per l'informazione mutua tra modelli di dati e distribuzioni di pesi matematicamente opaca.
• Obiettivo: Sviluppare un quadro teorico che quantifichi analiticamente l'informazione mutua di Shannon (MI) tra modelli di dati e insiemi di connessioni sinaptiche, superando la prospettiva delle "attività di scarica" per abbracciare una prospettiva di "connettività".

2. Metodologia

Gli autori propongono un quadro basato su reti Hebbiane densamente connesse che eseguono compiti di memoria autoassociativa.

• Configurazione del modello:

  • Dati: $N$ modelli di dati indipendenti, $d$-dimensionali $\{x_1, ..., x_N\}$, sono modellati come distribuzioni log-normali multivariate. Questa scelta riflette le statistiche a coda pesante osservate nelle popolazioni neuronali biologiche.
  • Rete: Una rete completamente connessa in cui i pesi sinaptici $w_{ij}$ sono determinati dalla regola di apprendimento Hebbiana:
    $$w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$$
  • Obiettivo: Calcolare l'Informazione Mutua $MI(w; x_l)$ tra un insieme di pesi sinaptici $w$ e un specifico modello di dati $x_l$.

• Derivazione analitica:

  • Approssimazione: Poiché la somma di variabili log-normali non possiede una distribuzione in forma chiusa, gli autori impiegano l'approssimazione di Fenton-Wilkinson. Questo metodo approssima la somma di variabili log-normali indipendenti come una singola variabile log-normale, adattando i primi due momenti (media e varianza).
  • Singola connessione: Derivano la distribuzione di probabilità $p(w_{ij})$ e la distribuzione condizionata $p(w_{ij}|x_l)$ (che è una versione spostata della somma escludendo il modello $l$).
  • Insiemi: Il quadro è esteso dalle singole connessioni alle coppie e ad arbitrarie $n$-tuple di connessioni. La distribuzione congiunta del logaritmo dei pesi è approssimata come una Gaussiana multivariata.
  • Formule: Gli autori derivano espressioni analitiche in forma chiusa per l'Informazione Mutua per:
    1. Singole connessioni ($MI(w_{ij}; x_l)$).
    2. Coppie di connessioni ($MI((w_{ij}, w_{mn}); x_l)$).
    3. Insiemi arbitrari di dimensione $n$ ($MI(w; x_l)$).
  • Insight chiave: La MI dipende esclusivamente dai parametri statistici (medie e covarianze) dei modelli di dati coinvolti nel specifico insieme sinaptico, rendendo il risultato invariante al contesto rispetto alla dimensione totale della rete.

3. Contributi Chiave

1. Primo quadro analitico per l'informazione sinaptica: Il documento fornisce le prime approssimazioni analitiche in forma chiusa per l'informazione mutua di Shannon tra dati e insiemi di pesi sinaptici, evitando la necessità di simulare le dinamiche neurali.
2. Validazione della codifica distribuita: I risultati confermano matematicamente che l'informazione è distribuita attraverso la rete; all'aumentare del numero di modelli memorizzati, l'informazione immagazzinata in una singola connessione diminuisce.
3. Scoperta della sinergia: Il quadro rivela che le connessioni sinaptiche esibiscono interazioni sinergiche. L'informazione codificata da un insieme di sinapsi è maggiore della somma delle informazioni codificate dalle singole sinapsi ($E[MI_{insieme}] > n \times E[MI_{singola}]$).
4. Nuove leggi di scala per la capacità: Analizzando la relazione tra dimensione della rete, dimensione dell'insieme e modelli memorizzati, gli autori derivano una nuova legge di scala per la capacità delle reti Hebbiane, che differisce dai tradizionali limiti delle reti di Hopfield.

4. Risultati Chiave

Gli autori hanno validato la loro teoria attraverso tre serie di simulazioni con diverse strutture di covarianza (scambiabili, stocastiche e casuali).

• Effetto del numero di modelli di dati ($N$):

  • L'informazione codificata da una singola connessione (o da un insieme) su un modello specifico diminuisce all'aumentare del numero totale di modelli memorizzati ($N$).
  • Scala: $MI \sim N^{-1.0 \text{ to } -1.2}$. Ciò conferma che i nuovi modelli diluiscono la capacità informativa delle connessioni esistenti, sostenendo il principio della codifica distribuita.

• Effetto della dimensione dell'insieme ($n$):

  • L'informazione totale codificata da un insieme di $n$ connessioni aumenta all'aumentare di $n$.
  • Scala: $MI \sim n^{1.1}$.
  • Sinergia: Crucialmente, la media dell'informazione per connessione ($MI/n$) aumenta all'aumentare della dimensione dell'insieme. Ciò indica che le connessioni lavorano insieme in modo sinergico; il tutto è maggiore della somma delle parti. Questa sinergia è stata osservata fino ad almeno il ventesimo ordine di interazione.

• Scala della capacità della rete:

  • Relazionando la dimensione dell'insieme $n$ alla dimensione della rete $d$ (dove $n \approx d^2/2$) e assumendo requisiti informativi lineari per componente del modello, gli autori hanno derivato la capacità totale di archiviazione $P$ (numero di modelli) rispetto alla dimensione della rete $d$:
    $$P \sim d^{1.2}$$
  • Ciò suggerisce una capacità di archiviazione superlineare per le reti Hebbiane dense, che è superiore ai limiti lineari ($P \sim d$) o sublineari ($P \sim 0.14d$) spesso citati per le reti di Hopfield basati sulle dinamiche di recupero. Gli autori sostengono che ciò rappresenta la capacità di archiviazione (limite superiore), mentre la capacità di recupero è inferiore a causa della perdita di informazioni durante la fase di lettura.

5. Significato e Implicazioni

• Cambiamento teorico: Lo studio sposta il paradigma dall'analisi della codifica neurale tramite "picchi" all'analisi tramite "pesi", offrendo una prospettiva complementare su come l'apprendimento e la memoria siano fisicamente istanziati.
• Rilevanza biologica: I risultati supportano il principio biologico secondo cui la memoria non è localizzata in specifiche "cellule della nonna" o sinapsi, ma è distribuita e sinergica attraverso insiemi neurali.
• Applicazioni nell'apprendimento automatico:
  • Potatura (Pruning): Suggerisce che la potatura delle reti neurali basata esclusivamente sul contenuto informativo isolato di un singolo peso è fuorviante, poiché il contributo del peso è dipendente dal contesto e sinergico.
  • Interpretabilità: Il quadro offre uno strumento per quantificare l'immagazzinamento delle informazioni in specifici motivi circuitali, potenzialmente rendendo i modelli di deep learning "scatole nere" più interpretabili.
  • Progettazione dell'architettura: Implica che la disposizione strutturale delle connessioni (motivi) gioca un ruolo critico nell'efficienza dell'immagazzinamento delle informazioni.
• Robustezza: Gli autori dimostrano che le loro conclusioni (codifica distribuita, sinergia, scala della capacità) sono robuste agli errori di approssimazione introdotti dal metodo di Fenton-Wilkinson, poiché si basano su tendenze qualitative piuttosto che su valori numerici precisi.

In sintesi, questo documento stabilisce una solida fondazione matematica per comprendere l'immagazzinamento delle informazioni nella connettività sinaptica, rivelando che le reti neurali immagazzinano informazioni in modo più efficiente attraverso interazioni sinergiche e distribuite rispetto a quanto precedentemente compreso attraverso la sola lente delle frequenze di scarica.