Riepilogo Tecnico: Apprendimento di Strutture Latenti Compositive con Reti Vettoriali

Enunciato del Problema

Le moderne reti profonde si basano tipicamente su un substrato di parametri densi condivisi per implementare calcoli diversificati. Attraverso la retropropagazione dell'errore, caratteristiche, abilità e comportamenti distinti diventano codificati in direzioni sovrapposte delle stesse matrici di pesi, un fenomeno che gli autori definiscono intreccio dei pesi (weight entanglement). In questo regime, i miglioramenti per un comportamento influenzano spesso involontariamente gli altri perché i gradienti sono aggregati all'output e propagati attraverso tutti i livelli. Di conseguenza, le reti standard mancano di "responsività indirizzabile" nello spazio dei pesi: non memorizzano naturalmente i componenti appresi come oggetti persistenti e riutilizzabili che possano essere isolati, ricombinati o aggiornati indipendentemente. Sebbene i metodi di interpretabilità post-hoc possano talvolta identificare circuiti funzionali, l'architettura stessa non impone una decomposizione in unità riutilizzabili. Questa limitazione ostacola la generalizzazione compositiva, in cui un sistema deve ricombinare fattori familiari in configurazioni nuove senza riaddestramento. Gli approcci esistenti, come Mixture-of-Experts o modelli centrati sugli oggetti, introducono instradamento o modularità, ma spesso operano tramite instradamento feedforward su moduli densi o non rendono esplicita la responsabilità per campione nello spazio dei pesi stesso.

Metodologia: La Rete Vettoriale (VN)

L'architettura della Rete Vettoriale (VN) affronta queste limitazioni sostituendo le matrici di pesi fisse e dense con una libreria di atomi di peso di rango 1 riutilizzabili. Il meccanismo centrale prevede un processo in due fasi: inferenza rapida per comporre trasformazioni specifiche per l'input e apprendimento lento per aggiornare il dizionario sottostante.

1. Architettura e Atomi di Rango 1

Ogni livello $l$ in una VN è parametrizzato non da una singola matrice $W$, ma da un dizionario di $K_l$ atomi di peso di rango 1. Ogni atomo $i$ è definito da una coppia di vettori di codice appresi: un vettore di input $s_{l,i}$ e un vettore di output $u_{l,i}$. Insieme, formano un operatore di rango 1:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
Per un dato input $x_l$, la rete inferisce un insieme sparso di coefficienti $g_l$ (dove $g_{l,i}$ scala il contributo dell'atomo $i$). La matrice di pesi effettiva e specifica per l'input $W^*_l(x_l)$ è sintetizzata come una combinazione lineare di questi atomi:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
Ciò permette alla rete di comporre una trasformazione su misura per ogni campione utilizzando un piccolo sottoinsieme del dizionario condiviso, piuttosto che applicare una matrice fissa monolitica.

2. Inferenza Rapida tramite Minimizzazione dell'Energia

Per ogni campione, la VN esegue un'inferenza rapida per determinare i coefficienti sparsi $g_l$. Ciò è ottenuto minimizzando una funzione di energia locale al livello $E_l$ che bilancia tre termini:

1. Ricostruzione dell'Input: Minimizzazione dell'errore tra l'input $x_l$ e la ricostruzione $S_l g_l$ (dove $S_l$ contiene i vettori di codice lato input).
2. Coerenza Top-Down: Minimizzazione dell'errore tra l'obiettivo top-down $h_{l,target}$ (fornito dal livello superiore) e il messaggio di interfaccia $U_l g_l$ (dove $U_l$ contiene i vettori di codice lato output).
3. Sparsità: Una penalità $\ell_1$ $\lambda_l \|g_l\|_1$ per imporre un insieme attivo sparso.

L'inferenza procede tramite passaggi iterativi verso l'alto e verso il basso (simili a un assestamento encoder-decoder) utilizzando passi di gradiente prossimale (stile ISTA/FISTA). Il processo converge a un punto fisso sparso in cui sono attivi solo pochi atomi. Il livello superiore può inoltre imporre un vincolo rigido top-$k$.

3. Apprendimento Lento: Aggiornamenti Atomico-Hebb

Una volta che l'inferenza rapida converge, l'apprendimento lento aggiorna gli atomi di peso. Crucialmente, gli aggiornamenti sono applicati solo agli atomi con coefficienti non nulli ($g^*_{l,i} \neq 0$). La regola di aggiornamento, denominata Atomico-Hebb, è un aggiornamento residuo locale scalato dalla responsabilità inferita:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
dove $r^x_l$ e $r^h_l$ sono i residui di ricostruzione e top-down, rispettivamente. L'analisi teorica (tramite il Teorema di Danskin) dimostra che questi aggiornamenti locali sono esattamente equivalenti ai gradienti impliciti dell'energia libera globale, nonostante il processo di inferenza sia trattato come una scatola nera. Ciò garantisce che l'assegnazione del credito sia localizzata agli specifici atomi di peso responsabili della spiegazione corrente, prevenendo l'intreccio diffuso dei pesi osservato nella retropropagazione standard.

Contributi Chiave

1. Atomi di Peso di Rango 1 come Mattoni: Gli autori propongono un'architettura ricorrente gerarchica in cui i livelli sono composti da atomi di rango 1 riutilizzabili, rendendo le funzioni della rete indirizzabili, ispezionabili e componibili.
2. Pesi Effettivi Definiti dall'Inferenza: La matrice di pesi effettiva per un campione non è fissa, ma è inferita tramite minimizzazione dell'energia su coefficienti sparsi. Ciò separa la selezione rapida dei componenti dall'apprendimento lento del dizionario.
3. Regola di Apprendimento Atomico-Hebb: Una regola di apprendimento che aggiorna solo gli atomi di peso selezionati utilizzando segnali residui locali scalati dai coefficienti inferiti. Ciò limita la sovrapposizione tra aggiornamenti non correlati e preserva la riutilizzabilità dei componenti appresi.
4. Limitazione Strutturale della Sovrapposizione degli Aggiornamenti dei Pesi: Limitando gli aggiornamenti all'insieme attivo sparso, l'architettura limita strutturalmente l'intreccio dei pesi, garantendo che l'apprendimento di un comportamento non degradi necessariamente gli altri.

Risultati Sperimentali

Gli autori valutano la VN su quattro benchmark che coprono segnali 1D, decodifica spaziale 2D, dinamiche N-corpi e MNIST compositivo. In tutti i casi, i modelli sono addestrati in-distribution (ID) e testati su casi out-of-distribution (OOD) che coinvolgono combinazioni nuove di fattori familiari.

• Composizione Spaziale: In un compito che richiede la ricostruzione di picchi gaussiani in posizioni non viste, le CNN standard e i VAE hanno mostrato un errore OOD significativo. La VN ha mantenuto un errore uniformemente basso su tutto il dominio spaziale, superando sia le baseline dense che i decoder fattorizzati a mano.
• Composizione di Funzioni: Su compiti di ricostruzione di segnali 1D e previsione mascherata che coinvolgono somme e composizioni nidificate di funzioni seno, coseno, polinomiali e gaussiane, la VN ha dimostrato una stabilità superiore. Mentre forti modelli sequenziali (Transformers, Mamba) hanno funzionato bene su ID e ricostruzioni OOD semplici, si sono degradati significativamente su compiti di previsione mascherata che richiedevano il recupero di strutture riutilizzabili. La VN ha ottenuto il vantaggio più chiaro in questi test più rigorosi.
• Dinamiche N-Corpi: In un benchmark di fisica che coinvolge campi di forza misti (gravità, resistenza, Lorentz, molla) e numeri variabili di corpi, la VN ha mantenuto un errore basso sotto complessi shift OOD (forze multiple, corpi ridotti). Le baseline come MLP, GNN e Transformers hanno mostrato grandi aumenti di errore quando le forze venivano combinate o il numero di corpi cambiava, mentre la VN è rimasta robusta.
• Composizione di Immagini: Su compiti di ricostruzione di cifre MNIST e trasformazione dinamica (Rotazione/Traslazione/Scala), la VN ha superato significativamente gli autoencoder in impostazioni OOD che coinvolgono miscele additive, proiezioni max e composizioni di trasformazioni complesse. Il vantaggio è stato di circa un ordine di grandezza nelle condizioni OOD più forti.

In tutti i benchmark, la VN ha eguagliato le forti baseline sulle prestazioni ID, ma ha ottenuto un errore OOD sostanzialmente inferiore (spesso di un ordine di grandezza) quando i fattori familiari dovevano essere ricombinati in modi nuovi.

Significato e Affermazioni

Il documento sostiene che le Reti Vettoriali rendono la generalizzazione compositiva una proprietà strutturale dell'architettura e del processo di inferenza, piuttosto che un prodotto fragile derivante dall'adattamento di molti comportamenti a un substrato denso condiviso.

• Responsività Esplicita nello Spazio dei Pesi: A differenza delle reti standard in cui la responsabilità è implicita e intrecciata, la VN inferisce esplicitamente quali atomi di peso sono responsabili di un campione prima di aggiornarli. Questa divisione "ricombinazione rapida / archiviazione lenta" localizza la plasticità.
• Composizione a Livello di Meccanismo: I risultati suggeriscono che la VN impara componenti riutilizzabili a livello di meccanismo (ad esempio, leggi di forza specifiche o fattori spaziali) che possono essere ricombinati per spiegare input nuovi, piuttosto che semplicemente interpolare all'interno della distribuzione di addestramento.
• Efficienza e Scalabilità: Gli autori suggeriscono che, una volta appresa una libreria di fattori latenti, nuovi input possono essere gestiti tramite ricomposizione, offrendo una via naturale verso una migliore efficienza dei dati, in particolare nella "coda lunga" delle combinazioni non viste.
• Limitazioni: Il documento riconosce che l'implementazione attuale si basa su un'inferenza sparsa ricorrente, che è più lenta di un singolo passaggio feedforward. Gli autori notano che questa inferenza potrebbe potenzialmente essere approssimata da aggiornamenti feedforward appresi in lavori futuri, ma la forma attuale dà priorità all'interpretabilità e alla modularità.

In sintesi, la Rete Vettoriale propone un passaggio dall'instradamento dello stato (come nei Transformers) alla responsabilità nello spazio dei pesi, dove il calcolo inferisce prima una responsabilità sparsa su componenti di peso riutilizzabili, e l'apprendimento agisce quindi selettivamente su tale struttura inferita. Questo approccio mira a risolvere il problema dell'intreccio dei pesi e a abilitare una generalizzazione robusta a nuove composizioni di fattori familiari.