🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

Il lavoro dimostra che, per la maggior parte delle funzioni di attivazione comuni (come ReLU $^2$ , SwiGLU o GeGLU), un MLP con skip connection non può essere assorbito in un MLP senza connessioni residue della stessa larghezza, poiché le due architetture rappresentano classi di funzioni genericamente distinte.

Autori originali: Antonij Mijoski, Marko Karbevski

Pubblicato 2026-04-28

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Antonij Mijoski, Marko Karbevski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Mistero del "Ponte di Salvataggio": Un'MLP può fare tutto da sola?

Immaginate di dover costruire un sistema di tubature complicatissimo per trasportare l'acqua in una città. In ingegneria (e nell'Intelligenza Artificiale), abbiamo due modi per progettare questo sistema:

Il Sistema Diretto (MLP "senza skip"): L'acqua entra in una serie di filtri e pompe. Ogni filtro cambia l'acqua, la trasforma, la purifica. Se un filtro è troppo potente o sbaglia, l'acqua può finire completamente stravolta o bloccata.
Il Sistema con "Ponte di Salvataggio" (MLP con "Skip Connection"): Accanto a ogni filtro, costruiamo un tubo parallelo che lascia passare l'acqua così com'è. Il risultato finale è: Acqua filtrata + Acqua originale. Questo "ponte" aiuta l'acqua a fluire senza intoppi, anche se i filtri sono molto complessi.

La domanda scientifica del paper è questa: Possiamo costruire un sistema di soli filtri (senza ponti) che faccia esattamente lo stesso lavoro del sistema con i ponti, mantenendo la stessa dimensione del sistema?

In altre parole: il "ponte di salvataggio" è un vero e proprio superpotere che aggiunge capacità, o è solo un trucco matematico che potremmo replicare con dei filtri più intelligenti?

La Risposta: Il Ponte è un Superpotere (e non è un trucco!)

Gli autori hanno analizzato diverse "personalità" di questi filtri (le cosiddette funzioni di attivazione) e hanno scoperto che, nella quasi totalità dei casi, il ponte è indispensabile.

Ecco i tre scenari principali che hanno scoperto:

1. I Filtri "Moderni" (SwiGLU, GeGLU, ecc.) – L'Impossibilità Assoluta

Questi sono i filtri usati dai modelli più famosi oggi, come LLaMA o Gemma. Gli autori hanno dimostrato che per questi filtri è matematicamente impossibile eliminare il ponte.

L'analogia: Immaginate di avere un filtro che trasforma il colore dell'acqua in base alla sua temperatura. Se provate a costruire un sistema senza il tubo parallelo, non riuscirete mai a replicare l'effetto "colore + acqua originale". Il ponte aggiunge una dimensione che i filtri, da soli, non possono generare. È come cercare di sommare un numero intero a un numero decimale e sperare che il risultato sia ancora solo un numero decimale. Non funziona.

2. I Filtri "Classici" (ReLU, GELU) – Il Caso della Sorte

Questi sono i filtri più vecchi e semplici. Qui la situazione è più strana: in teoria, potresti eliminare il ponte, ma solo se i tuoi filtri sono configurati in un modo incredibilmente specifico e improbabile.

L'analogia: È come dire che potresti costruire un ponte senza usare i pilastri, ma solo se riesci a bilanciare ogni singolo mattone con una precisione millimetrica e miracolosa. Se lanci i mattoni a caso (come succede quando l'IA impara da sola), la probabilità che si verifichi questa configurazione magica è zero. Quindi, anche se è teoricamente possibile, nella pratica il ponte rimane fondamentale.

3. Il Problema della Profondità – L'Effetto Valanga

Il paper dice anche che se costruiamo una rete molto profonda (molti strati uno sopra l'altro), la differenza diventa ancora più netta. Senza i ponti, l'informazione si perde o si distorce così tanto che la rete "impazzisce".

L'analogia: Immaginate una partita al telefono ("Telefono Senza Fili"). Se ogni persona deve anche cambiare il messaggio (filtro), dopo 10 persone il messaggio originale è sparito. Il ponte di salvataggio è come se ogni persona potesse sussurrare il messaggio originale accanto a quello modificato, permettendo alla verità di sopravvivere attraverso la catena.

In Conclusione: Perché è importante?

Questo studio ci dice che le Skip Connections (i ponti) non servono solo a "facilitare l'apprendimento" (rendere il lavoro più facile per l'algoritmo), ma cambiano cosa l'IA è capace di pensare.

Senza quei ponti, l'IA sarebbe come un musicista che può solo suonare note modificate, ma non può mai mantenere il ritmo originale. Il ponte permette all'IA di combinare la "nuova conoscenza" con la "conoscenza precedente", rendendola molto più potente di quanto sarebbe con i soli filtri.

Riassunto Tecnico: Un MLP può assorbire la propria skip connection?

1. Il Problema (Problem Statement)

Il paper indaga la natura rappresentativa delle skip connections (connessioni residue) nelle reti neurali MLP (Multi-Layer Perceptron). La domanda fondamentale è: una funzione definita da un MLP con skip connection può essere espressa esattamente da un MLP senza skip connection (residual-free) della stessa larghezza?

Matematicamente, il problema consiste nel determinare se, dato un MLP con skip connection $x + \text{MLP}_2(x)$ , esista un MLP $\text{MLP}_1(x)$ di pari larghezza tale che:
$\text{MLP}_1(x) = x + \text{MLP}_2(x)$
Se tale assorbimento è possibile, la skip connection è rappresentativamente ridondante; se è impossibile, la skip connection espande lo spazio delle funzioni accessibili dalla rete.

2. Metodologia

Gli autori utilizzano un approccio combinatorio, algebrico e geometrico, distinguendo tra due grandi classi di funzioni di attivazione:

Attivazioni Gated (es. SwiGLU, GeGLU): Utilizzate nei modelli SOTA come LLaMA e Gemma. Queste funzioni utilizzano un meccanismo di "gate" che moltiplica l'output.
Attivazioni Ungated (es. ReLU, GELU): Funzioni standard dove l'attivazione è applicata direttamente ai neuroni.
Attivazioni Omogenee (es. ReLU², ReGLU): Funzioni che soddisfano $\sigma(\lambda z) = \lambda^k \sigma(z)$ .

La metodologia si basa sulla decomposizione in parità (separazione della funzione in componenti pari e dispari) e sull'analisi della linearizzazione (studio del comportamento della funzione vicino all'origine tramite serie di Taylor).

3. Contributi Chiave e Risultati

Il paper fornisce una classificazione completa dell'assorbimento:

A. Impossibilità Assoluta (Attivazioni Moderne e Gated)

Attivazioni Gated (SwiGLU, GeGLU): Gli autori dimostrano che l'assorbimento è impossibile. Attraverso un argomento di linearizzazione, mostrano che l'output di un MLP gated è di ordine $O(\|x\|^2)$ vicino all'origine. Poiché la skip connection è di ordine $O(x)$ , l'uguaglianza può reggersi solo se la skip connection è nulla ( $M=0$ ), il che contraddice l'ipotesi.
Attivazioni Omogenee ( $k \neq 1$ ): Per funzioni come ReLU², l'assorbimento è impossibile per un argomento di grado: una funzione di grado $k$ sommata a una lineare non può essere trasformata in una pura funzione di grado $k$ .
Estensione alla Profondità: Questi risultati di impossibilità si estendono a reti di profondità arbitraria: una composizione di $L$ blocchi residui non può essere replicata da $L$ blocchi senza skip connection.

B. Assorbimento Condizionale (ReLU e GELU)
Per le attivazioni non-gated, la situazione è più complessa. Gli autori scoprono che l'assorbimento è possibile solo in casi estremamente specifici.

Condizione di Sottomatrice: Per ReLU e GELU, l'assorbimento avviene se e solo se esiste un insieme di indici $S$ (con dimensione almeno pari alla dimensione dell'output $d$ ) tale che:
$W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$
In termini semplici, una parte dei pesi deve essere configurata in modo da "annullare" l'identità della skip connection tramite una combinazione lineare negativa.

C. Disgiunzione Generica (Generic Disjointness)
Il risultato più significativo per la teoria dell'apprendimento è che la condizione sopra citata è non-generica. Poiché impone vincoli algebrici precisi sui pesi, la probabilità che una rete casuale soddisfi questa condizione è zero (misura di Lebesgue nulla).

Conclusione: Le classi di funzioni rappresentate da MLP con skip connection e MLP senza skip connection sono genericamente disgiunte.

4. Significato e Implicazioni (Significance)

Potere Rappresentativo: Il lavoro dimostra formalmente che le skip connection non servono solo a facilitare l'ottimizzazione (smoothing del loss landscape), ma cambiano effettivamente ciò che la rete può imparare. Esse permettono alla rete di accedere a regioni dello spazio delle funzioni che un MLP standard della stessa larghezza non potrebbe mai raggiungere.
Architetture SOTA: Poiché i modelli più avanzati (LLaMA, DeepSeek, ecc.) utilizzano attivazioni gated (SwiGLU/GeGLU), il paper conferma che la loro struttura residua è fondamentale e non può essere eliminata o semplificata senza perdita di capacità espressiva.
Limiti di Compressione: Suggerisce che tentare di comprimere o convertire modelli residui in modelli "feed-forward" puri (senza skip) richiederà necessariamente un aumento della larghezza della rete o accetterà un errore di approssimazione, poiché non esiste un'equivalenza algebrica generica.

In sintesi: Il paper stabilisce che le skip connection sono un componente strutturale essenziale che espande la capacità computazionale delle reti neurali moderne, rendendo le architetture residue intrinsecamente più potenti di quelle senza residui.