⚡ electrical engineering

Vertical Fusion: Condensing Internal Representations for Robust ViT Classification

Questo articolo introduce VFusion, un metodo che aggrega le rappresentazioni intermedie all'interno dei Vision Transformer per recuperare i campioni classificati erroneamente e aumentare significativamente la robustezza e l'accuratezza, offrendo un'alternativa efficiente ai tradizionali approcci di ensemble orizzontale.

Autori originali: Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Francesco Di Salvo, Shyam Nandan Rai, Hamed Damirchi, Ignacio Meza De la Jara, Sebastian Doerrich, Marco Lents, Christian Ledig

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico super intelligente chiamato Vision Transformer (ViT). È come una gigantesca biblioteca a più piani (o "livelli"), dove ogni piano legge un'immagine e scrive un piccolo rapporto su ciò che vede. Di solito, quando chiediamo a questo robot di identificare un gatto o un'auto, ascoltiamo solo il rapporto scritto all'ultimo piano. Trattiamo tutti i piani sottostanti come una scatola nera, ignorando i loro appunti.

Ma cosa succede se l'ultimo piano sbaglia? E se tutti gli altri piani avessero già saputo la risposta?

Questa è la grande domanda che questo articolo si pone. I ricercatori hanno scoperto che i "piani intermedi" del robot sono incredibilmente utili. Infatti, hanno scoperto che nel 18% - 76% dei casi in cui l'ultimo piano sbaglia, uno dei piani inferiori aveva ragione! Lo chiamano "recuperabilità". È come avere una squadra di detective dove il capo detective (l'ultimo livello) a volte perde l'indizio, ma un detective junior (un livello intermedio) lo ha annotato nel suo taccuino.

Il Grande Equivoco: Non si tratta di "Disaccordo"

Potresti pensare: "Oh, quindi i livelli stanno discutendo tra loro, ed è per questo che sono bravi?". Il paper dice no, non è così.

Di solito, quando combiniamo opinioni diverse (come in un progetto di gruppo), speriamo che ognuno abbia una prospettiva differente. Ma qui, i livelli non sono in disaccordo. Invece, stanno tutti guardando la stessa "verità", ma con quantità di rumore leggermente diverse. Il paper mostra che i livelli agiscono come sonde ridondanti e stabili. Stanno tutti cercando di dirti la stessa cosa, ma alcuni sono solo un po' più chiari di altri. La magia non sta nel loro litigare; sta nel fatto che tutti tengono insieme i pezzi dello stesso puzzle.

La Soluzione: VFusion (Il "Frullatore Verticale")

Poiché l'ultimo piano non è perfetto e i piani inferiori vengono ignorati, gli autori hanno costruito un nuovo strumento chiamato VFusion.

Pensa a VFusion come a un frullatore intelligente che non si limita a prendere il rapporto dell'ultimo piano. Invece, raccoglie gli appunti di ogni piano (o di una selezione intelligente di essi), li mescola insieme e utilizza un filtro speciale per eliminare il "rumore" e mantenere solo il segnale chiaro e condiviso. Crea un unico "token globale" super denso che combina il meglio di tutti i livelli.

I risultati sono incredibili:

VFusion supera il miglior singolo livello di circa l'1,9% in media.
Colma il 45% del divario tra il miglior singolo livello e un "oracolo teorico" (un punteggio perfetto dove ottieni un punto se qualunque livello ha ragione).
Funziona ancora meglio quando le immagini sono difficili, come nei dettagli a grana fine (ad esempio, distinguere tra diverse marche di auto o uccelli) o quando le immagini sono sfocate o distorte.

Ciò che hanno Escluso

Il paper è molto chiaro su ciò che non funziona bene quanto VFusion:

Scegliere semplicemente il "miglior" livello: Non puoi semplicemente indovinare quale piano sia il più intelligente e usare solo quello.
La media semplice: Prendere semplicemente la media delle risposte di tutti i livelli (come un semplice voto) non funziona bene quanto la miscelazione intelligente di VFusion.
Ensemble Orizzontali: Il paper nota che, sebbene tu possa addestrare 10 robot diversi e lasciarli votare (un team "orizzontale"), questo è super costoso e lento. VFusion ottiene risultati simili o migliori usando un solo robot guardando dentro di esso (un approccio "verticale"). Questo è enorme per campi come l'imaging medico, dove potresti avere disponibile solo un modello pre-addestrato.

Quanto sono sicuri?

Gli autori non hanno solo tirato a indovinare; hanno testato tutto su 16 dataset diversi (che vanno dai semplici numeri alle complesse analisi di fiori e auto) e 5 dataset con complicati spostamenti "out-of-distribution" (dove le immagini appaiono diverse da quelle su cui il robot è stato addestrato).

Hanno misurato che i livelli intermedi recuperano dal 18% al 76% degli errori.
Hanno dimostrato che VFusion supera costantemente altri metodi in diverse dimensioni del modello (Small, Base, Large) e diversi stili di addestramento (Supervised, Self-Supervised, CLIP).
Hanno persino controllato se funziona su compiti "fine-grained" (come distinguere tra 100 tipi di uccelli) e hanno scoperto che VFusion eccelle lì, migliorando l'accuratezza fino al 7,2% su alcuni dataset difficili.

Il Punto Chiave

Il paper suggerisce che abbiamo ignorato una miniera d'oro di informazioni all'interno dei nostri modelli di IA. Usando VFusion, possiamo trasformare un singolo cervello robotico congelato in un classificatore super accurato senza dover addestrare un intero esercito di robot. È un modo leggero ed efficiente per spremere ogni ultima goccia di intelligenza dai livelli che già possediamo.

E la parte migliore? Il codice è disponibile, e i risultati reggono attraverso diversi tipi di immagini e diverse dimensioni dei modelli. Si scopre che l'intera biblioteca è più intelligente del solo bibliotecario all'ultimo piano.

Sintesi Tecnica: Vertical Fusion (VFusion) per la Classificazione Robusta di ViT

1. Definizione del Problema

I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte nella computer vision, eppure vengono impiegati prevalentemente come estrattori di feature "black-box" dove viene utilizzata solo la rappresentazione dell'ultimo strato per i task a valle. Questa convenzione si basa sull'assunto implicito che l'ultimo strato condensi in modo ottimale tutte le informazioni rilevanti per il task. Tuttavia, osservazioni recenti suggeriscono che gli strati intermedi spesso codificano informazioni complementari, in particolare riguardo alla robustezza ai cambiamenti di distribuzione e alla difficoltà dei campioni.

Le attuali strategie di ensemble (ensembling orizzontale) migliorano le prestazioni combinando le predizioni di molteplici modelli indipendenti, ma comportano elevati costi computazionali e ignorano il segnale "verticale" disponibile all'interno della gerarchia interna di un singolo modello. Inoltre, sebbene gli strati intermedi nelle reti neurali convoluzionali (CNN) abbiano mostrato utilità nel correggere gli errori, la loro applicazione nei ViT è meno compresa a causa del profilo rappresentativo più uniforme e dell'alta ridondanza inerente alle architetture ViT. La questione centrale affrontata è se gli strati intermedi dei ViT contengano segnali recuperabili capaci di correggere i fallimenti dell'ultimo strato e, in caso affermativo, come aggregare efficacemente tali segnali senza fare affidamento sulla diversità predittiva (disaccordo) tra gli strati.

2. Metodologia

2.1. Analisi della Recuperabilità

Gli autori quantificano innanzitutto la recuperabilità degli strati intermedi, definita come la capacità delle sonde intermedie di classificare correttamente i campioni classificati erroneamente da una sonda dell'ultimo strato. Su 16 dataset eterogenei, hanno scoperto che le sonde intermedie recuperano dal 18% al 76% degli errori dell'ultimo strato.

Crucialmente, l'analisi rivela che questo guadagno non è guidato dalla diversità predittiva (ovvero, strati che commettono tipi diversi di errori). Al contrario, deriva da una corrispondenza tra ridondanza e correttezza: gli strati interni agiscono come sonde stabili e leggermente perturbate di un segnale discriminativo condiviso. L'alta recuperabilità correla con un'alta "entropia di correzione" (capacità di correzione distribuita attraverso la profondità) ma negativamente con il disaccordo geometrico (distanza del coseno tra i logit dei campioni classificati erroneamente). Ciò implica che gli stroli sono correlati ma non identici, offrendo una traccia ridondante ma informativa della decisione corretta.

2.2. Architettura VFusion

Per sfruttare questa ridondanza, gli autori propongono VFusion, una strategia di aggregazione verticale che sintetizza le feature attraverso la gerarchia interna del ViT in un unico token globale robusto. Il framework è composto da tre componenti:

Selezione degli Strati: Un sottoinsieme di strati $S$ viene selezionato dal backbone congelato. Le strategie includono olistica (tutti gli strati), metà finale (last-half) e a salti (strided). Gli autori raccomandano la strategia olistica per preservare la completa traccia informativa.
Fusione degli Strati: Le rappresentazioni degli strati selezionati (specificamente i token [CLS]) vengono concatenate in un vettore $v$ . Un encoder di fusione apprendibile $E$ (un multi-layer perceptron) mappa questo vettore ad alta dimensionalità in uno spazio latente a bassa dimensionalità $z$ . Questo encoder agisce come un filtro di soppressione del rumore, scartando i residui irrilevanti per il task ( $r^{(\ell)}$ ) per isolare il segnale comune rilevante per il task ( $s^{(\ell)}$ ).
Addestramento Supervisionato: L'encoder di fusione e un leggero head di classificazione vengono addestrati congiuntamente sul backbone congelato. L'obiettivo di addestramento combina la standard loss di cross-entropy ( $L_{CE}$ ) con un regolarizzatore di ortogonalizzazione ( $L_{orth}$ ). Questo regolarizzatore penalizza le dipendenze lineari nelle dimensioni latenti, incoraggiando il modello a imparare componenti complementari e decorrelate della rappresentazione fusa.

3. Contributi Chiave

Quantificazione della Recuperabilità: Il paper introduce e misura il concetto di recuperabilità nei ViT, dimostrando che gli strati intermedi possono correggere tra il 18% e il 76% delle classificazioni errate dell'ultimo strato su 16 dataset.
Identificazione del Meccanismo: Stabilisce empiricamente che i segnali correttivi derivano da una corrispondenza tra ridondanza e correttezza (segnali stabili e condivisi) piuttosto che dalla diversità predittiva, sfidando l'assunto che i guadagni di ensemble richiedano il disaccordo tra modelli indipendenti.
Proposta di VFusion: Un metodo di aggregazione verticale leggero e principato che sintetizza le feature della gerarchia interna in un singolo token globale, superando gli stabiliti baseline di aggregazione (ad es., Super Learner, Neural Logit Controller, Mixture of Experts) sia in contesti in-distribution (ID) che out-of-distribution (OOD).
Generalizzazione ed Efficienza: Il metodo si generalizza attraverso diverse dimensioni di modello (ViT-S, B, L), famiglie di backbone (Supervised IN21k, Self-supervised DINOv2, Multimodale CLIP) e regimi di pre-training. Ottiene questi guadagni con un overhead computazionale minimo rispetto all'ensembling orizzontale.
Linee Guida Empiriche: Lo studio fornisce linee guida per la selezione degli strati, mostrando che la selezione olistica (contigua) produce le migliori prestazioni, mentre la sottocampionatura a salti (strided) è meno efficace.

4. Risultati Sperimentali

Prestazioni In-Distribution: Su 16 benchmark di classificazione, VFusion ha raggiunto un'accuratezza media del 91,4%, superando la migliore sonda di singolo strato del 1,9% e il più forte baseline (Super Learner) dell'1,7%. Notevolmente, VFusion ha colmato il 45% del gap di accuratezza tra il miglior singolo strato e l'oracle teorico (dove un campione è corretto se qualsiasi strato lo predice correttamente).
Robustezza Out-of-Distribution: Sotto spostamenti di covariata e di sottopopolazione (5 dataset), VFusion ha raggiunto la più alta accuratezza media (84,6%), superando il miglior singolo strato fino all'1,3% in task fine-grained come C-100C e IN-200C.
Studi di Ablazione:
- Selezione degli Strati: La selezione olistica ha performato meglio; limitarsi alla metà finale ha causato un calo minore (0,3%), mentre la selezione a salti ha causato un calo maggiore (0,9%).
- Generalizzazione del Backbone: I guadagni sono stati coerenti attraverso le scale ViT-S, B e L e i diversi paradigmi di pre-training. I maggiori miglioramenti sono stati osservati con i backbone auto-supervisionati (DINOv2) e multimodali (CLIP).
- Orizzontale vs Verticale: Sebbene la fusione orizzontale tra diversi backbone (HFusion) abbia prodotto i risultati assoluti migliori, VFusion (fusione verticale all'interno di un singolo backbone) è rimasta competitiva, superando i metodi di aggregazione a livello di logit come Super Learner dello 0,5% in media.

5. Significato e Rivendicazioni

Il paper sostiene che la ridondanza latente nei ViT sia un asset benefico piuttosto che un limite. Trattando la gerarchia interna come una serie di sonde stabili e ridondanti, VFusion condensa efficacemente questa informazione per formare un token globale che spesso supera la capacità predittiva di qualsiasi singolo strato.

Gli autori sottolineano che VFusion offre un'alternativa robusta ed efficiente ai metodi di ensembling orizzontale. A differenza dell'ensembling orizzontale, che richiede l'accesso a molteplici modelli pre-addestrati diversi (spesso non disponibili in domini specializzati come l'imaging medico) e comporta elevati costi computazionali, VFusion opera all'interno di un singolo backbone congelato. Fornisce un modo principato per massimizzare l'utilità dei modelli pre-addestrati "off-the-shelf" senza richiedere modifiche architettoniche o un esteso fine-tuning del backbone.

Il lavoro conclude che il "segnale verticale" all'interno di un singolo ViT è sostanziale e che l'aggregazione di queste rappresentazioni tramite compressione a livello di feature è una strategia superiore rispetto alla semplice selezione dello strato o alla media dei logit, particolarmente per task di immagini fine-grained o degradate.