Sintesi Tecnica: Il controllo della dimensionalità quando la modularità aiuta l'apprendimento continuo

Definizione del problema

L'apprendimento continuo affronta il fondamentale "dilemma stabilità-plasticità": un sistema deve acquisire nuova conoscenza (plasticità) preservando al contempo le rappresentazioni precedentemente apprese (stabilità). Questa tensione è esacerbata quando i task condividono una struttura, creando il rischio di interferenza, dove l'apprendimento di nuovi compiti interrompe la conoscenza precedente. Sebbene le architetture modulari siano spesso proposte per mitigare l'interferenza isolando i calcoli specifici per ogni task, rimane poco chiaro quando tali bias strutturali siano funzionalmente benefici rispetto a quando siano ridondanti. Nello specifico, il paper investiga se l'utilità della modularità dipenda dal regime rappresentativo — le proprietà geometriche delle rappresentazioni apprese, in particolare la loro dimensionalità effettiva.

Metodologia

Paradigma Sperimentale

Lo studio utilizza un paradigma sequenziale di trasferimento-interferenza A–B–A (ispirato a Holton et al., 2026).

• Fase A1: La rete apprende il Task A (mappatura di segnali vegetali su posizioni del quadrante basata su una regola stagionale).
• Fase B: La rete apprende il Task B su nuovi stimoli. Il Task B condivide la stessa struttura formale di A ma varia nella somiglianza della regola: Identica (stessa regola), Vicina (piccolo spostamento angolare), o Lontana (grande spostamento angolare).
• Fase A2: La rete viene testata nuovamente sul Task A per misurare la ritenzione e l'interferenza.

Architetture

Sono state confrontate due architetture ricorrenti:

1. Baseline a Rete Singola: Una singola popolazione ricorrente elabora tutti gli input con un readout condiviso.
2. Rete Modulare Partizionata per Task: Gli input sono instradati verso moduli ricorrenti distinti ($M_A$ per il Task A, $M_B$ per il Task B) in base all'identità del task. Gli output dei moduli vengono concatenati ed elaborati da un readout condiviso. Ciò impone una separazione strutturale nell'elaborazione ricorrente, pur mantenendo l'accoppiamento a livello di output.

Controllo dei Regimi Rappresentativi

Per manipolare la dimensionalità effettiva delle rappresentazioni apprese senza cambiare la capacità della rete, gli autori hanno variato la scala del peso di inizializzazione ($\gamma$).

• Regime ad Alta Dimensionalità ("Lazy"): Valori elevati di $\gamma$ mantengono le rappresentazioni vicine all'inizializzazione, risultando in un'alta dimensionalità effettiva e codici meno specializzati.
• Regime a Bassa Dimensionalità ("Rich"): Piccoli valori di $\gamma$ costringono le rappresentazioni in manifold a bassa dimensionalità, inducendo codici strutturati e specializzati.
• Metrica: La dimensionalità effettiva è stata quantificata come il numero di componenti principali necessari per spiegare il 99% della varianza negli stati nascosti.

Analisi

Le prestazioni sono state misurate tramite accuratezza angolare, trasferimento (miglioramento sul Task B basato sul Task A) e interferenza (spostamento del comportamento del Task A verso le regole del Task B). La geometria rappresentativa è stata analizzata tramite l'Analisi delle Componenti Principali (PCA) per calcolare la dimensionalità effettiva, gli angoli principali tra gli spazi sottostanti (subspaces) specifici per task e visualizzazioni 3D delle traiettorie dei task.

Risultati Chiave

1. La modularità è condizionata dalla dimensionalità

Il beneficio di un'architettura modulare non è universale ma è regolato dal regime rappresentativo:

• Regime ad Alta Dimensionalità ("Lazy"): Sia le reti singole che quelle modulari hanno raggiunto livelli comparabili di accuratezza, trasferimento e interferenza. La separazione strutturale esplicita della rete modulare non ha fornito alcun vantaggio significativo, poiché lo spazio ad alta dimensionalità permetteva alla rete singola di codificare i task con una pressione geometrica limitata.
• Regime a Bassa Dimensionalità ("Rich"): La modularità è diventata decisiva. La rete modulare ha mantenuto un'elevata accuratezza nel Task A e una bassa interferenza in tutte le condizioni di somiglianza. Al contrario, la rete singola ha subito un'interferenza significativa, particolarmente nella condizione "Lontana", poiché ha faticato a riorganizzare il proprio spazio rappresentativo ristretto senza sovrascrivere la conoscenza precedente.

2. Emergenza di una Geometria Dipendente dalla Somiglianza

Nel regime a bassa dimensionalità, la rete modulare ha sviluppato un'organizzazione granulare e composizionale degli spazi sottostanti rappresentativi che la rete singola non è riuscita a raggiungere:

• Task Simili (Identici): Le rappresentazioni sono rimaste strettamente allineate (subspaces sovrapposti).
• Task Moderatamente Dissimili (Vicini): Le rappresentazioni occupavano angoli intermedi (separazione parziale).
• Task Dissimili (Lontani): Le rappresentazioni sono diventate fortemente ortogonali (subspaces separati).
  La rete singola ha mostrato una dipendenza meno strutturata e più debole dalla somiglianza dei task, con gli spazi sottostanti che rimanevano più intrecciati indipendentemente dalla distanza tra i task.

3. Robustezza dei Risultati

Studi di ablazione variando la dimensione dei moduli e l'instradamento degli input hanno confermato che questi effetti sono robusti a variazioni architettoniche moderate. Il risultato centrale — ovvero che la dimensionalità funge da gate per l'impatto funzionale della modularità — è rimasto costante attraverso le diverse configurazioni.

Contributi Chiave

1. Identificazione di una Variabile di Controllo (Gating): Il paper identifica il regime rappresentativo indotto dall'inizializzazione (co-variante con la dimensionalità) come il fattore chiave che determina quando la modularità strutturale diventa funzionalmente vantaggiosa nell'apprendimento continuo.
2. Caratterizzazione della Geometria Composizionale: Dimostra che, nei regimi vincolati (a bassa dimensionalità), le reti modulari sviluppano naturalmente un'organizzazione geometrica dipendente dalla somiglianza (sovrapposizione $\to$ parziale $\to$ ortogonalità) che supporta il riutilizzo compositivo minimizzando al contempo l'interferenza.
3. Riformulazione degli Obiettivi dell'Apprendimento Continuo: I risultati supportano una visione dell'apprendimento continuo non come una scelta binaria tra "condivisione" e "separazione", ma come un'allocazione adattiva di spazi sottostanti rappresentativi, dove la geometria ottimale dipende dalla somiglianza tra i task.

Significato e Rivendicazioni

Il paper sostiene che la dimensionalità rappresentativa controlla quando la modularità aiuta. I bias strutturali (come la modularità) rimodellano il comportamento di apprendimento e la geometria interna solo quando lo spazio rappresentativo è sufficientemente vincolato da rendere la geometria un fattore determinante. Nei regimi "lazy" ad alta dimensionalità, la rete possiede abbastanza gradi di libertà per risolvere i task senza necessitare di una separazione strutturale esplicita. Tuttavia, nei regimi "rich" a bassa dimensionalità, la rete è costretta a organizzare i calcoli in spazi sottostanti distinti, momento in cui la modularità architettonica fornisce un vantaggio cruciale nella gestione del compromesso stabilità-plasticità.

Gli autori concludono che un apprendimento continuo compositivo robusto richiede meccanismi in grado di regolare dinamicamente sia la dimensionalità rappresentativa che l'organizzazione degli spazi sottostanti in risposta alle mutevoli strutture dei task, piuttosto che affidarsi esclusivamente a una separazione architettonica fissa.

Nota: Il paper dichiara esplicitamente i propri limiti, tra cui l'uso della PCA come proxy della dimensionalità intrinseca e la restrizione a sequenze di task brevi e controllate, riconoscendo che ulteriori ricerche sono necessarie per determinare se questi effetti si estendano a benchmark di apprendimento continuo più lunghi ed eterogenei.