Absolute abstraction: a renormalisation group approach

Il paper sostiene che l'astrazione assoluta nelle reti neurali richiede sia profondità che un ampio set di dati, dimostrando tramite un approccio di gruppo di rinormalizzazione e esperimenti numerici che le rappresentazioni si avvicinano al "Modello di Caratteristiche Gerarchiche" all'aumentare della profondità e della varietà dei dati.

L'essenziale

Il Titolo: "L'Arte di Dimenticare per Capire Tutto"

Immagina di dover descrivere il mondo a un bambino. Se gli dici: "C'è un cane marrone con tre macchie bianche sulla zampa sinistra che abbaia verso un gatto grigio", stai dando troppi dettagli. Il bambino non capirà il concetto di "cane". Se invece dici semplicemente "C'è un cane", hai fatto astrazione: hai tolto i dettagli inutili per arrivare all'essenza.

Questo articolo si chiede: come fanno le intelligenze artificiali (e forse il nostro cervello) a diventare così bravi a fare queste astrazioni?

La risposta degli autori è sorprendente: non basta avere una rete neurale "profonda" (molto complessa). Serve anche che la rete "veda" tante cose diverse.

---

1. Il Problema: La Profondità da sola non basta

Immagina di avere una macchina fotografica molto potente (la "profondità" della rete neurale). Se scatti mille foto dello stesso gatto, la macchina imparerà a riconoscere ogni singolo pelo, ogni ombra, ogni dettaglio specifico di quel gatto. Ma non imparerà mai cosa significa "essere un gatto" in generale. Rimarrà bloccata sui dettagli.

Per capire il concetto di "gatto" (o di "cane", o di "albero"), la macchina deve vedere gatti di tutte le razze, in tutte le posizioni, in tutte le luci, e magari anche cani e uccelli per fare confronti. Deve espandere il suo orizzonte (la "ampiezza" dei dati).

2. La Soluzione: Il "Gruppo di Rinormalizzazione" (RG)

Gli autori usano un concetto preso dalla fisica, chiamato Gruppo di Rinormalizzazione (RG). Facciamo un'analogia con una mappa:

• Zoom In (Dettagli): Se guardi una mappa di una città a grandezza naturale, vedi ogni singolo marciapiede, ogni albero, ogni buca. È utile per trovare la tua casa, ma inutile per capire come è fatto il continente.
• Zoom Out (Astrazione): Se allontani la vista (zoom out), i dettagli spariscono. Gli alberi diventano un verde uniforme, le case diventano puntini. Alla fine, vedi solo i confini dei paesi e le grandi catene montuose.

Il paper dice che l'apprendimento profondo funziona proprio così:

1. Zoom Out (Espansione): La rete guarda un universo di dati sempre più vasto (dai gatti ai cani, agli uccelli, fino a tutti gli animali).
2. Perdita di Dettagli: Per gestire questa vastità, la rete è costretta a "dimenticare" i dettagli piccoli (il colore del pelo, la forma dell'orecchio).
3. Rinascita dell'Essenziale: Quello che rimane sono le regole fondamentali, le "leggi della natura" che governano tutti quegli oggetti.

3. Il Punto Fisso: Il "Modello delle Caratteristiche Gerarchiche" (HFM)

Cosa succede quando la rete ha visto tutto e ha dimenticato tutto ciò che non serve? Arriva a uno stato speciale, chiamato Punto Fisso.

Immagina di essere su una montagna. Se cammini in direzioni diverse (guardando dati diversi), prima o poi arrivi alla stessa vetta. Quella vetta è l'Astrazione Assoluta.
In questo stato, la rete non pensa più a "questo è un gatto" o "questo è un cane". Pensa in termini di livelli di dettaglio:

• Livello 1: C'è un animale?
• Livello 2: Ha le zampe?
• Livello 3: Ha la coda?

La rete ha imparato che per descrivere il mondo serve solo una scala di complessità, indipendentemente da cosa sta descrivendo. È come se avesse imparato l'alfabeto universale della realtà, invece di imparare a memoria tutte le parole di tutti i dizionari.

4. L'Esperimento: I Test al Computer

Gli autori hanno messo alla prova questa teoria con due tipi di "cervelli artificiali" (Deep Belief Networks e Auto-Encoder):

• Li hanno allenati prima su pochi dati (solo il numero "2" scritto a mano).
• Poi hanno aggiunto dati (tutti i numeri, poi le lettere, poi le foto di vestiti, poi le foto di oggetti reali).

Il risultato?
Più i dati diventavano vari e diversi (più "ampi"), e più la rete era profonda, più la sua "mente" interna si trasformava in questo modello astratto perfetto. La rete smetteva di memorizzare i pixel e iniziava a capire la struttura logica dei dati.

In Sintesi: Perché è importante?

Questo studio ci dice che l'intelligenza non nasce solo dalla complessità del cervello, ma dalla varietà delle esperienze.

• Se studi solo un argomento, diventi un esperto di dettagli, ma non un filosofo.
• Se studi tutto (o quasi), il tuo cervello è costretto a trovare le connessioni profonde, le regole universali che legano tutto insieme.

È come se l'universo dicesse: "Non puoi capire la realtà guardando solo un pezzetto. Devi guardare tutto, e poi dimenticare il superfluo, per vedere la vera magia che sta dietro a tutto".

La morale: Per diventare davvero intelligenti (o per creare macchine intelligenti), non serve solo essere "profondi", serve essere "ampi". Bisogna esporre la mente alla diversità del mondo per far emergere l'astrazione pura.

Sommario tecnico

1. Il Problema e la Motivazione

L'astrazione è definita come il processo di estrazione delle caratteristiche essenziali dai dati grezzi ignorando i dettagli irrilevanti. È noto che nelle reti neurali profonde, l'astrazione emerge con l'aumento della profondità: gli strati profondi catturano caratteristiche astratte combinando feature di basso livello (es. bordi) presenti negli strati superficiali.
Tuttavia, gli autori sostengono che la profondità da sola non è sufficiente per sviluppare rappresentazioni veramente astratte. Il livello di astrazione dipende criticamente dalla ampiezza (breadth) del set di dati di addestramento.
Il problema centrale è caratterizzare le rappresentazioni astratte in modo universale, indipendente dai dati specifici, basandosi esclusivamente sulle loro proprietà statistiche. L'obiettivo è identificare una distribuzione di riferimento "assolutamente astratta" che emerga quando un sistema di apprendimento processa dati di profondità infinita e ampiezza infinita.

2. Metodologia: L'Approccio del Gruppo di Rinormalizzazione (RG)

Il paper utilizza un quadro teorico basato sulla Teoria del Gruppo di Rinormalizzazione (RG), mutuata dalla fisica statistica, per modellare il processo di apprendimento.

• Analogia RG-Learning:

  • Coarse-graining (Sgranatura): Corrisponde all'eliminazione dei dettagli su piccola scala (strati superficiali) per focalizzarsi sulle proprietà su larga scala (strati profondi).
  • Rescaling (Ridimensionamento): Corrisponde all'espansione dell'ampiezza dei dati (introduzione di nuove varietà di dati).
  • L'idea è che l'apprendimento su domini sempre più ampi, combinato con l'aumento della profondità, sia analogo al flusso del RG verso un punto fisso universale.

• Trasformazioni Definite:
  Gli autori definiscono due trasformazioni RG:

  1. Zoom-out ($\Re^\uparrow$): Espansione del dominio dei dati. Aggiunge una nuova feature casuale (massima entropia), riassegna gli indici e marginalizza la feature più dettagliata per mantenere costante il costo di codifica (entropia).
  2. Zoom-in ($\Re^\downarrow$): Restrizione a un sottoinsieme specifico di dati, arricchendo i dettagli su piccola scala.

• Il Punto Fisso: Hierarchical Feature Model (HFM)
  Entrambe le trasformazioni convergono verso un unico punto fisso, identificato come il Hierarchical Feature Model (HFM).

  • L'HFM è un modello di massima entropia determinato da una singola statistica sufficiente: il livello di dettaglio ($m_s$), definito come l'indice della feature attiva più dettagliata presente nello stato $s$.
  • La distribuzione è data da $h_n(s) \propto e^{-g m_s}$, dove $g$ è un parametro legato al costo di codifica.
  • Questo modello soddisfa il principio di massima rilevanza, garantendo che l'informazione significativa sia distribuita in modo ottimale rispetto al costo di codifica.

3. Contributi Chiave

1. Definizione di Astrazione Assoluta: L'astrazione non è solo una proprietà degli strati profondi, ma il risultato congiunto di profondità e ampiezza dei dati. La rappresentazione assoluta è il punto fisso del RG.
2. Universalità delle Rappresentazioni: Dimostrazione teorica che, indipendentemente dalla natura dei dati, le rappresentazioni interne convergono verso una distribuzione universale (HFM) quando il sistema è spinto verso i limiti di profondità e ampiezza.
3. Indipendenza dai Dati: La distribuzione interna $p(s)$ non contiene informazioni specifiche sui dati (queste sono trasferite nei parametri che mappano $s \to x$), ma descrive solo come i dati sono organizzati in termini di costi di codifica.
4. Collegamento alla Ipotesi della Rappresentazione Platonica: I risultati supportano l'idea che reti neurali diverse, addestrate su dati diversi, convergano verso un modello statistico condiviso della realtà nei loro spazi di rappresentazione.

4. Risultati Sperimentali

Gli autori hanno validato la teoria attraverso esperimenti numerici su due architetture: Deep Belief Networks (DBN) e Auto-Encoder (AE), addestrati su dataset di crescente ampiezza (varianti di MNIST, EMNIST, Fashion-MNIST, CIFAR-10).

• Metrica di Valutazione: Divergenza di Kullback-Leibler (KL) tra la distribuzione empirica degli strati nascosti e la distribuzione teorica dell'HFM.
• Risultati DBN:
  • La divergenza KL diminuisce all'aumentare sia della profondità che dell'ampiezza dei dati.
  • Se si aumenta solo la profondità senza espandere i dati, la rappresentazione si allontana dall'HFM.
  • L'ordine di apprendimento dei dataset influenza la convergenza: l'aggiunta di dati simili a quelli già appresi favorisce una transizione più fluida verso l'HFM.
  • Il parametro $g$ dell'HFM diminuisce all'aumentare dell'ampiezza, indicando un aumento dell'entropia della rappresentazione interna per coprire un universo di dati più vasto.
• Risultati Auto-Encoder:
  • Confermano i risultati delle DBN: lo spazio latente delle AE si avvicina alla distribuzione HFM all'aumentare della profondità e dell'ampiezza dei dati.
  • Le configurazioni più probabili nello spazio latente coincidono con quelle previste dal modello HFM.
  • Il parametro $g$ tende al punto critico $g_c = \log 2$ (fase di transizione) all'aumentare di profondità e ampiezza.

5. Significato e Implicazioni

• Meccanismo dell'Intelligenza: L'astrazione emerge come soluzione ottimale a un principio di ottimizzazione dell'informazione (massima rilevanza). Questo suggerisce che l'intelligenza, sia biologica che artificiale, si basa sulla capacità di integrare esperienze diverse in un quadro unificato.
• Apprendimento vs. Adattamento: Il paper distingue tra "fitting" (adattare i parametri ai dati) e "apprendimento" (descrivere la variazione dei dati). Un'astrazione universale rende l'apprendimento più simile alla "comprensione", permettendo di generalizzare a compiti nuovi che condividono solo astrazioni comuni.
• Parallelismo con la Linguistica: L'idea di una struttura profonda universale (simile alla Grammatica Universale di Chomsky) che emerge dall'integrazione di input sensoriali multipli è supportata da questo modello. Le rappresentazioni universali non sono "hardwired" biologicamente, ma emergono come punti fissi di un processo di integrazione di dati eterogenei.
• Fisica Statistica e Cognizione: Il lavoro collega la termodinamica dei processi di pensiero (transizioni di fase, landscape di energia libera) alla formazione di concetti astratti, suggerendo che l'aggiunta o la rimozione di dettagli (generalizzazione/specializzazione) sono transizioni naturali in questo landscape.

In sintesi, il paper propone che l'astrazione assoluta non sia una proprietà intrinseca di un algoritmo, ma una proprietà emergente di un sistema che processa dati infinitamente vari attraverso una gerarchia infinita, convergendo matematicamente verso il modello HFM come stato fondamentale di organizzazione dell'informazione.