Sintesi Tecnica: Rappresentazioni Univoche nelle Reti Neurali

Definizione del Problema

Le rappresentazioni convenzionali (ad esempio, stringhe di bit, lettere) sono intrinsecamente ambigue; il loro significato dipende interamente da un decoder o una convenzione esterna. Una singola stringa di bit può codificare un JPEG o un MP3 a seconda dello schema di decodifica. Al contrario, l'esperienza conscia è postulata essere fondamentalmente diversa: uno stato neurale corrispondente alla percezione di un quadrato rosso non può simultaneamente codificare la percezione di un triangolo verde. Questa natura intrinseca della coscienza suggerisce che le rappresentazioni consce debbano essere univoche, ovvero il contenuto deve essere determinato esclusivamente dallo stato neurale stesso, non da un'interpretazione esterna.

Il documento affronta la questione se le reti neurali possano codificare il contenuto rappresentazionale in modo univoco attraverso la loro struttura relazionale interna. Nello specifico, investiga se il contenuto di un neurone (ad esempio, la classe di cifre che rappresenta o la posizione spaziale di un input che codifica) possa essere determinato unicamente dai suoi schemi di connettività rispetto ad altri neuroni, senza la conoscenza della procedura di addestramento o dell'etichettatura esterna.

Metodologia

Quadro Teorico

Gli autori formalizzano l'ambiguità rappresentazionale utilizzando la teoria dell'informazione. L'ambiguità è definita come l'entropia condizionale $H(I|R)$, dove $I$ rappresenta le possibili interpretazioni e $R$ è la rappresentazione.

• Alta Ambiguità: Distribuzione uniforme sulle interpretazioni (informazione minima sul contenuto).
• Bassa Ambiguità: Probabilità concentrata (alta confidenza nel contenuto).
  L'ipotesi è che la struttura relazionale (la rete di relazioni interne) all'interno di una rete possa vincolare le possibili interpretazioni, riducendo così $H(I|R)$.

Configurazione Sperimentale

Sono stati condotti due esperimenti primari utilizzando reti neurali completamente connesse addestrate sul compito di classificazione delle cifre MNIST (architettura 784-50-50-10). Sono stati confrontati tre paradigmi di addestramento:

1. Non addestrata: Inizializzazione casuale (controllo).
2. Backpropagation Standard: Addestramento standard.
3. Addestramento con Dropout: Backpropagation con dropout del 20% negli strati nascosti.

Esperimento 1: Decodifica dell'Identità della Classe del Neurone di Output

• Compito: Determinare quale classe di cifra (0–9) rappresenta un neurone di output basandosi esclusivamente sulla sua connettività.
• Procedura: I neuroni nello strato di output sono stati permutati casualmente per rimuovere l'informazione posizionale. La struttura relazionale è stata estratta tramite la matrice di Gram delle similitudini del coseno tra i vettori di peso dei neuroni.
• Metodi di Decodifica:
  1. Corrispondenza Geometrica: Una matrice di Gram di riferimento (mediata da reti con ordinamento noto) è stata confrontata con le reti di test. È stata selezionata la permutazione che minimizzava la distanza di Frobenius.
  2. Decoder Appreso: Un decoder basato su transformer (senza codifiche posizionali per garantire l'invarianza alla permutazione) è stato addestrato a predire l'identità della classe dalla struttura relazionale.
• Ablazione: È stato testato se i vicinati locali (similitudine di un neurone target rispetto a tutti gli altri) siano sufficienti o se sia richiesta l'intera geometria globale.
• Scaling: È stato variato il numero di neuroni di output (da 2 a 10) per testare se l'aumento della complessità relazionale riduca l'ambiguità.
• Cross-Architettura: È stata testata la trasferibilità attraverso diverse architetture di strati nascosti (50-50, 25-25, 100).

Esperimento 2: Decodifica della Posizione Spaziale del Neurone di Input

• Compito: Decodificare la distanza euclidea di un neurone di input dalla posizione centrale dell'immagine.
• Procedura: Simile all'Esperimento 1, ma applicata ai pesi dello strato di input ($784 \times 50$). A causa dell'elevato numero di permutazioni ($784!$), è stato utilizzato solo il decoder appreso (compito di regressione).
• Metrica: Punteggio $R^2$ per la predizione della distanza spaziale.

Quantificazione dell'Ambiguità

Gli autori hanno calcolato i Punteggi di Riduzione dell'Ambiguità (ARS) per quantificare la riduzione dell'entropia condizionale rispetto all'entropia massima.

• Per la classificazione: Derivato dall'accuratezza utilizzando l'ineguaglianza di Fano.
• Per la regressione: Derivato da $R^2$ assumendo residui gaussiani.
  Un ARS di 1.0 indica una disambiguazione completa ($H(I|R, C) = 0$).

Risultati Chiave

1. Decodifica dell'Identità della Classe del Neurone di Output

• Reti Non Addestrate: L'accuratezza della decodifica era al livello del caso (10%), validando che i pesi casuali non contengono struttura recuperabile.
• Backpropagation Standard: Ha raggiunto il 25% di accuratezza con il decoder appreso e il 38% con la corrispondenza geometrica. Sebbene superiore al caso, la geometria relazionale mostrava una significativa ambiguità (molteplici permutazioni producevano distanze simili rispetto al riferimento).
• Addestramento con Dropout: Ha raggiunto il 100% di accuratezza con la corrispondenza geometrica (varianza zero) e il 75% con il decoder appreso. La vera permutazione era chiaramente separata da tutte le alternative errate nello spazio geometrico.
• Ortogonalità alla Performance: Nonostante queste drastiche differenze nell'ambiguità rappresentazionale, l'accuratezza di classificazione MNIST sottostante era quasi identica in tutti i paradigmi di addestramento.

2. Necessità Strutturale e Complessità

• Globale vs Locale: Rimuovendo il contesto geometrico globale (fornendo solo i vettori di similitudine locale), si è verificato un calo sostanziale dell'accuratezza della decodifica, indicando che il contenuto di un neurone è determinato dalla sua posizione all'interno dell'intera geometria relazionale, non solo dai vicini locali.
• Complessità Relazionale: L'accuratezza è cresciuta monotonicamente con il numero di neuroni utilizzati per calcolare la struttura relazionale. Con 2 neuroni, la performance era al livello del caso (50%); con 10 neuroni, ha raggiunto il 100%. Ciò dimostra che geometrie relazionali più ricche forniscono maggiori vincoli sulle interpretazioni.

3. Invarianza e Generalizzazione

• Invarianza dell'Architettura: La corrispondenza geometrica ha ottenuto una forte accuratezza di decodifica attraverso diverse architetture di strati nascosti (ad esempio, decodificare una rete 25-25 usando un riferimento 50-50), suggerendo che la codifica relazionale del contenuto è ampiamente invariante rispetto all'architettura.
• Discriminazione del Dataset: Un classificatore binario poteva distinguere tra reti addestrate su MNIST e Fashion-MNIST con un'accuratezza quasi perfetta (99,8% per il dropout) basandosi esclusivamente sulla struttura relazionale.

4. Posizione del Neurone di Input

• Contrariamente ai risultati dello strato di output, la backpropagation standard ha prodotto un'accuratezza di decodifica spaziale superiore ($R^2 = 0,844$) rispetto all'addestramento con dropout ($R^2 = 0,695$).
• Tuttavia, in entrambi i casi, l'intera struttura relazionale ha superato significativamente l'informazione del vicinato locale.
• I Punteggi di Riduzione dell'Ambiguità (ARS) per le posizioni di input variavano da 0,419 a 0,654, indicando una disambiguazione sostanziale ma non perfetta.

Significato e Rivendicazioni

Il documento sostiene di fornire un metodo quantitativo per misurare l'ambiguità rappresentazionale nei sistemi neurali. I suoi contributi primari sono:

1. Operazionalizzare l'Univocità: Dimostra che le reti neurali possono codificare informazioni in un modo che è univoco rispetto alla struttura relazionale. Per le reti addestrate con dropout, la geometria relazionale da sola specifica completamente il contenuto rappresentazionale, raggiungendo un ARS di 1,0.
2. Ortogonalità tra Ambiguità e Performance: Lo studio mostra che l'ambiguità rappresentazionale è una dimensione della rappresentazione neurale che può variare indipendentemente dalla performance del compito comportamentale. Una rete può eseguire un compito perfettamente pur codificando l'informazione in modo ambiguo (backprop standard) o univoco (dropout).
3. Allineamento Teorico: I risultati supportano le spiegazioni teoriche della coscienza (come il Rappresentazionalismo Stretto e la Teoria dell'Informazione Integrata) che postulano che gli stati consci debbano essere univoci. Il documento argomenta che se la coscienza superviene sugli stati cerebrali, tali stati devono determinare il loro contenuto in modo univoco. Il risultato sperimentale che la struttura relazionale può fissare il contenuto senza decodifica esterna si allinea con la natura "intrinseca" dell'esperienza fenomenica.
4. Determinismo Strutturale: Il lavoro suggerisce che il contenuto non è semplicemente assegnato per convenzione, ma può essere determinato strutturalmente dalle relazioni interne del sistema. Il decoder utilizzato negli esperimenti non impone un significato, ma scopre schemi relazionali coerenti inerenti alle istanze della rete.

Gli autori rimangono modesti nelle loro rivendicazioni, dichiarando esplicitamente di non asserire che le reti MNIST siano consce. Propongono invece che il loro quadro offra una condizione necessaria (sebbene non sufficiente) per l'esperienza fenomenica: la capacità di un substrato neurale di codificare il contenuto in modo univoco attraverso la propria struttura interna.