Sintesi Tecnica: La Composizionalità Emerge in un Regime Stretto di Profondità e Connettività

Definizione del Problema

I moderni modelli di fondazione (LLM, VLM, modelli di diffusione) esibiscono capacità elevate, ma soffrono di una generalizzazione fragile, in particolare nella comprensione compositiva. Piccole perturbazioni irrilevanti per il compito possono innescare bruschi cambiamenti comportamentali, suggerendo una mancanza di una robusta struttura compositiva interna. Sebbene gli algoritmi evolutivi (ad esempio, NEAT su Picbreeder) possano scoprire "Rappresentazioni Fattorizzate Unificate" (UFR) — ovvero primitive unificate, riutilizzabili e semanticamente stabili — l'ottimizzazione standard basata sul gradiente (SGD) converge tipicamente verso "Rappresentazioni Fratturate Entangled" (FER). Nelle FER, i concetti sono distribuiti su neuroni sovrapposti e le caratteristiche sono polisemantiche, fallendo nel l'allinearsi con significati stabili e interpretabili.

La domanda centrale affrontata è: La monosemanticità e la composizionalità possono emergere durante la standard backpropagation basata sul gradiente e, se sì, sotto quali specifiche condizioni architettoniche? Gli autori ipotizzano che questa emergenza non sia un esito predefinito della scala o del basso loss, ma sia governata da un problema di raggiungibilità strutturale definito dall'interazione tra profondità e connettività della rete.

Metodologia

1. Suite di Valutazione: EMC2-Bench

Per quantificare la composizionalità, gli autori introducono la EMC2-Bench, una suite di valutazione basata sulla perturbazione.

• Metrica: Il "Punteggio Compositivo" è definito come la frazione di parametri non nulli che, quando perturbati da rumore ($\delta$), preservano l'identità semantica globale dell'immagine generata.
• Procedura: Per ogni peso non nullo $w$, viene creata una copia perturbata $w' = w + \delta$. La rete genera un'immagine, che viene valutata da un giudice Vision-Language Model (VLM) (Qwen3-VL-4B-Thinking) per determinare se il contenuto semantico (ad esempio, "teschio") rimane intatto.
• Baseline: Il benchmark confronta MLP densi addestrati tramite SGD contro soluzioni evolutive (CPPN di Picbreeder) e varie strategie di pruning.

2. Interventi Strutturali

• Pruning basato sulla Similarità (SP): Per recuperare la connettività compositiva, gli autori propongono un algoritmo iterativo di pruning-retraining.
  • Meccanismo: All'interno di ogni strato, vengono estratti i feature map per neurone. I neuroni con alta similarità del coseno vengono identificati come ridondanti. Un neurone da ogni coppia ridondante viene selezionato casualmente per la rimozione, e i suoi pesi in entrata/uscita vengono azzerati.
  • Obiettivo: Questo costringe la rete ad allocare neuroni distinti a distinti fattori semantici, collassando le soluzioni entangled in circuiti sparsi e riutilizzabili.
• Predittore di Profondità Euristico: Riconoscendo che la profondità ottimale dipende dal target, gli autori propongono l'uso del rapporto di compressione PNG dell'immagine target come proxy per la complessità dell'immagine. Viene osservata una relazione lineare tra la complessità dell'immagine e la profondità empiricamente ottimale, permettendo una previsione leggera del "punto ideale" (sweet spot) della profondità senza una ricerca esaustiva.

3. Framework Teorico

Il documento fornisce una giustificazione teorica basata su:

• Sparsezza Compositiva: Basandosi sull'ipotesi del manifold, gli autori sostengono che le soluzioni compositive si fattorizzano attraverso un Grafo Aciclico Diretto (DAG) con arità locale limitata.
• Argomento del Rapporto di Volume: Definiscono il "rapporto di volume compositivo" $\rho(W, L)$ come la probabilità che una configurazione casuale di parametri finisca in un bacino compositivo. Dimostrano che $\rho$ è fortemente concentrato in un punto specifico $(W_{min}, L^*)$ e decade esponenzialmente man mano che la larghezza ($W$) o la profondità ($L$) deviano da questo punto.
• Limiti di Interferenza delle Caratteristiche: Utilizzando il limite di Welch, dimostrano che la sparsezza compositiva riduce il limite geometrico inferiore dell'interferenza delle caratteristiche, rendendo le caratteristiche monosemantiche (ortogonali) geometricamente fattibili solo quando il numero di primitive $r$ è minore o uguale alla dimensione $d$.

Risultati Chiave

1. Il Regime Stretto di Profondità–Connettività

La composizionalità non emerge universalmente; appare solo in un regime specifico:

• Connettività: La composizionalità dipende pesantemente da quali connessioni rimangono, non solo dal livello di sparsezza. I metodi di pruning standard (Lottery Ticket Hypothesis, Wanda, LLM-Pruner) falliscono nel recuperare strutture compositive (punteggiando 0 su EMC2-Bench). Solo il Pruning basato sulla Similarità (SP) produce punteggi non nulli, indicando che l'organizzazione delle connessioni è critica.
• Profondità: La composizionalità mostra una relazione non monotona con la profondità. Per target specifici (ad esempio, teschio, farfalla, mela), il punteggio compositivo raggiunge un picco a una specifica profondità e scende rapidamente se la rete viene resa più superficiale o più profonda. Questa profondità ottimale è specifica per il target.

2. Ottimizzazione ed Emergenza

• Sensibilità dell'Ottimizzatore: Anche con l'architettura corretta, l'ottimizzatore conta. Muon (un ottimizzatore che utilizza iterazioni Newton-Schulz) raggiunge un loss di addestramento inferiore e punteggi compositivi più alti rispetto ad Adam. Ciò suggerisce che sono necessari minimi migliori (più piatti, più stabili) per raggiungere il bacino compositivo.
• Fragilità delle FER: Quando le condizioni di profondità o connettività vengono violate, il gradiente converge silenziosamente verso soluzioni fratturate. Piccole perturbazioni ai pesi in queste soluzioni causano derive semantiche, mentre le soluzioni compositive rimangono robuste.

3. Generalizzazione a Target Sconosciuti

Il metodo si trasferisce a immagini in cui la soluzione compositiva sottostante è sconosciuta (ad esempio, scene naturali, immagini multi-oggetto). SP, combinato con il predittore di profondità euristico, riesce a recuperare feature intermedie monosemantiche e variazioni di output significative sotto il peso del weight sweeping, sebbene l'effetto sia più debole per scene multi-oggetto complesse.

Significato e Rivendicazioni

Il documento sostiene che la generalizzazione richiede vincoli architettonici che rendano le soluzioni compositive accessibili all'addestramento basato sul gradiente.

• Confutazione delle Soluzioni basate solo sulla Scala: Gli autori sostengono che la scalabilità da sola (aumento di larghezza o profondità) tende a produrre soluzioni fratturate perché la misura relativa del manifold compositivo si restringe man mano che lo spazio dei parametri cresce (Argomento del Rapporto di Volume).
• Insight Meccanicistico: Il lavoro colma il divario tra l'esistenza di implementazioni compatte e modulari (dimostrate dagli algoritmi evolutivi) e il fallimento della backpropagation vanilla nel trovarle. Postula che SGD sia influenzato verso i bacini compositivi solo quando l'architettura è "giusta" (sweet spot stretto di profondità-connettività) e l'ottimizzatore è capace di trovare minimi piatti.
• Implicazioni Pratiche: L'introduzione di SP e del predittore di profondità offre una via per indurre una struttura compositiva in MLP standard senza cambiare l'obiettivo di addestramento, semplicemente vincolando l'architettura e la strategia di pruning.

Gli autori rimangono modesti, notando che sebbene il framework spieghi bene la composizionalità di un singolo oggetto, la composizionalità spaziale nelle scene multi-oggetto rimane un confine aperto a causa dell'aumento esponenziale delle primitive ($P$) richieste, che fa collassare il rapporto di volume $\rho$. Non pretendono di aver risolto il ragionamento compositivo generale per tutti i compiti di visione-linguaggio, ma hanno identificato un regime strutturale specifico dove esso è empiricamente e teoricamente raggiungibile.