Technische Samenvatting: Vertical Fusion (VFusion) voor Robuuste ViT-Classificatie

1. Probleemstelling

Vision Transformers (ViTs) hebben een staat-van-de-kunst prestatie bereikt in computer vision, maar ze worden voornamelijk ingezet als black-box feature extractors waarbij alleen de representatie van de laatste laag wordt benut voor downstream taken. Deze conventie rust op de impliciete aanname dat de laatste laag alle taakrelevante informatie optimaal condenseert. Echter, recente observaties suggereren dat tussenliggende lagen vaak complementaire informatie coderen, met name met betrekking tot robuustheid tegen distributieverschuivingen en de moeilijkheidsgraad van samples.

Huidige ensemble-strategieën (horizontale ensembling) verbeteren de prestaties door voorspellingen van meerdere onafhankelijke modellen te combineren, maar brengen hoge computationele kosten met zich mee en negeren het "verticale" signaal dat beschikbaar is binnen de interne hiërarchie van een enkele model. Bovendien is het nut van tussenliggende lagen in Convolutional Neural Networks (CNN's) voor het corrigeren van fouten aangetoond, maar hun toepassing in ViT's is minder goed begrepen vanwege het meer uniforme representatieprofiel en de hoge redundantie die inherent is aan ViT-architecturen. De centrale vraag die wordt geadresseerd is of tussenliggende ViT-lagen over herstelbare signalen beschikken die in staat zijn om fouten van de laatste laag te corrigeren, en zo ja, hoe deze signalen effectief geaggregeerd kunnen worden zonder te vertrouwen op predictieve diversiteit (disagreement) tussen lagen.

2. Methodologie

2.1. Herstelbaarheid-analyse (Recoverability Analysis)

De auteurs kwantificeren eerst de herstelbaarheid van tussenliggende lagen, gedefinieerd als het vermogen van tussenliggende probes om samples correct te classificeren die foutief zijn geclassificeerd door de laatste-laag-probe. Over 16 diverse datasets heen vonden zij dat tussenliggende probes 18% tot 76% van de fouten van de laatste laag herstellen.

Cruciaal is dat de analyse onthult dat deze winst niet wordt gedreven door predictieve diversiteit (d.w.z. lagen die verschillende soorten fouten maken). In plaats daarvan komt het voort uit een redundantie-correctheid correspondentie: interne lagen fungeren als stabiele, licht geperturbeerde probes van een gedeeld discriminerend signaal. Hoge herstelbaarheid correleert met een hoge "correctie-entropie" (verdeelde correctiecapaciteit over de diepte) maar negatief met geometrische disovereenkomst (cosinusafstand tussen de logits van misgeclassificeerde samples). Dit impliceert dat lagen gecorreleerd maar niet identiek zijn, wat een redundante maar informatieve trace biedt van de correcte beslissingsgrens.

2.2. VFusion Architectuur

Om deze redundantie te exploiteren, stellen de auteurs VFusion voor, een verticale aggregatiestrategie die features synthetiseert over de interne ViT-hiërarchie tot een robuuste globale token. Het framework bestaat uit drie componenten:

1. Laagselectie: Een subset van lagen $S$ wordt geselecteerd uit de bevroren backbone. Strategieën omvatten holistisch (alle lagen), laatste-helft, en gestapeld (strided). De auteurs bevelen de holistische strategie aan om de volledige informatieve trace te behouden.
2. Laagfusie: Geselecteerde laagrepresentaties (specifiek de [CLS] tokens) worden geconcateneerd tot een vector $v$. Een leerbare fusie-encoder $E$ (een multi-layer perceptron) brengt deze hoogdimensionale vector in kaart naar een laagdimensionale latente ruimte $z$. Deze encoder fungeert als een ruisonderdrukkingsfilter, die taakirrelevant residu ($r^{(\ell)}$) wegwerpt om het gedeelde taakrelevante signaal ($s^{(\ell)}$) te isoleren.
3. Gesuperviseerde Training: De fusie-encoder en een lichtgewicht classifier head worden gezamenlijk getraind op de bevroren backbone. De trainingsdoelstelling combineert een standaard cross-entropy loss ($L_{CE}$) met een orthogonalisatie-regularisator ($L_{orth}$). Deze regularisator straft lineaire afhankelijkheden in de latente dimensies af, waardoor het model wordt aangemoedigd om complementaire, gedecorreleerde componenten van de gefuseerde representatie te leren.

3. Belangrijkste Bijdragen

• Kwantificering van Herstelbaarheid: Het artikel introduceert en meet het concept van herstelbaarheid in ViT's, en demonstreert dat tussenliggende lagen tussen de 18% en 76% van de misclassificaties van de laatste laag kunnen corrigeren over 16 datasets.
• Identificatie van het Mechanisme: Het stelt empirisch vast dat corrigerende signalen voortkomen uit een redundantie-correctheid correspondentie (stabiele, gedeelde signalen) in plaats van predictieve diversiteit, wat de aanname uitdaagt dat ensemble-winsten onafhankelijke model-disagreement vereisen.
• VFusion Voorstel: Een lichtgewicht, principieel verticale aggregatiemethode die interne hiërarchie-features synthetiseert tot een enkele globale token, die gevestigde aggregatie-baselines (bijv. Super Learner, Neural Logit Controller, Mixture of Experts) overtreft in zowel in-distributie (ID) als out-of-distribution (OOD) settings.
• Generalisatie en Efficiëntie: De methode generaliseert over modelgroottes (ViT-S, B, L), backbone-families (gesuperviseerde IN21k, zelfgesuperviseerde DINOv2, multimodale CLIP) en pre-training regimes. Het behaalt deze winsten met minimale computationele overhead vergeleken met horizontale ensembling.
• Empirische Richtlijnen: De studie biedt richtlijnen voor laagselectie, waarbij wordt aangetoond dat holistische (aaneengesloten) laagselectie de beste prestaties levert, terwijl gestapelde (strided) subsampling minder effectief is.

4. Experimentele Resultaten

• In-Distributie Prestaties: Op 16 classificatie-benchmarks behaalde VFusion een gemiddelde nauwkeurigheid van 91,4%, waarmee het de beste individuele laag-probe met 1,9% en de sterkste baseline (Super Learner) met 1,7% verslaat. Opvallend genoeg sloot VFusion 45% van de nauwkeurigheidskloof tussen de beste individuele laag en de theoretische oracle (waarbij een sample correct is als elke laag het correct voorspelt).
• Out-of-Distribution Robuustheid: Onder covariante en subpopulatie verschuivingen (5 datasets) behaalde VFusion de hoogste gemiddelde nauwkeurigheid (84,6%), waarbij het de beste enkele laag met wel 1,3% versloeg op fijnmazige taken zoals C-100C en IN-200C.
• Ablatie-studies:
  • Laagselectie: Holistische selectie presteerde het best; het beperken tot de laatste helft veroorzaakte een kleine daling (0,3%), terwijl gestapelde (strided) selectie een grotere daling veroorzaakte (0,9%).
  • Backbone Generalisatie: De winsten waren consistent over de ViT-S, B en L schalen en verschillende pre-training paradigma's. De grootste verbeteringen werden waargenomen bij zelfgesuperviseerde (DINOv2) en multimodale (CLIP) backbones.
  • Horizontaal vs. Verticaal: Hoewel horizontale fusie over verschillende backbones (HFusion) de absoluut beste resultaten opleverde, bleef VFusion (verticale fusie binnen een enkele backbone) competitief en overtrof het logit-niveau aggregatiemethoden zoals Super Learner met gemiddeld 0,5%.

5. Betekenis en Claims

Het artikel claimt dat latente redundantie in ViT's een gunstig bezit is in plaats van een beperking. Door de interne hiërarchie te behandelen als een reeks stabiele, redundante probes, condenseert VFusion deze informatie effectief om een globale token te vormen die vaak de voorspellende capaciteit van een enkele laag overtreft.

De auteurs benadrukken dat VFusion een robuust en efficiënt alternatief biedt voor horizontale ensemble-methoden. In tegenstelling tot horizontale ensembling, dat toegang vereist tot meerdere diverse, vooraf getrainde modellen (vaak niet beschikbaar in gespecialiseerde domeinen zoals medische beeldvorming) en hoge computationele kosten met zich meebrengt, opereert VFusion binnen een enkele bevroren backbone. Het biedt een principiële manier om het nut van off-the-shelf pre-trained modellen te maximaliseren zonder architecturale wijzigingen of uitgebreide fine-tuning van de backbone te vereisen.

Het werk concludeert dat het "verticale signaal" binnen een enkele ViT substantieel is en dat het aggregeren van deze representaties via feature-level compressie een superieure strategie is ten opzichte van eenvoudige laagselectie of logit-averaging, met name voor fijnmazige en gedegradeerde beeldtaken.