Technische Samenvatting: Architectuur-agnostische Lipschitz-constante Bayesiaanse Header voor Vision Transformers

Probleemstelling

Labelruis blijft een kritieke bottleneck voor de generalisatie van toezichtgeleerde diepe leermodellen. Hoewel standaard robuuste trainingsmethoden (bijvoorbeeld correctie van de verliesfunctie, aanpassingslagen voor ruis, co-teaching) vaak effectief zijn tegen willekeurige en symmetrische labelruis, falen ze wanneer de fouten semantisch nabije classificatiefouten (SPCE) zijn. SPCE's treden op wanneer labels op een gestructureerde manier worden aangetast, zoals bij ruis afhankelijk van de klasse of fouten die geconcentreerd zijn nabij beslissingsgrenzen. In deze scenario's bieden bestaande mitigerende methoden weinig bescherming, wat leidt tot aanzienlijke degradatie van de modelprestaties en instabiliteit in de optimalisatie. Bovendien vereisen huidige Bayesiaanse benaderingen vaak een volledig Bayesiaanse behandeling van alle gewichten, wat computatief onhaalbaar is voor grote voorgeöefende backbones zoals Vision Transformers (ViT), of ze missen mechanismen om de versterking van ruis door onbegrensde gewichtsverdelingen te voorkomen.

Methodologie

De auteurs stellen LipB-ViT (bi-Lipschitz-geconstraineerde Bayesiaanse Vision Transformer) voor, die een architectuur-agnostische Lipschitz-constante Bayesiaanse header integreert op voorgeöefende ViT-backbones (specifiek ViT-small-16).

Kernarchitectuur

• Bayesiaanse Header: De classificatiekop van een voorgeöefende ViT wordt vervangen door twee gestapelde Bayesiaanse lineaire lagen, gescheiden door een ReLU-activering. De gewichten worden behandeld als stochastische variabelen die volledig gefactoriseerde Gaussische variatie-posteriors $q_\phi(W)$ volgen.
• Harde Spectrale Normalisatie: In tegenstelling tot standaard Bayesiaanse lagen of zachte regularisatiebenaderingen, dwingt deze methode spectrale normalisatie (SN) af op de volledige variatieverdeling. Zowel het gemiddelde ($\mu$) als de log-variatie ($\rho$) van de gewichten worden herschaald met dezelfde factor, afgeleid van machtsiteraties. Dit waarborgt een globale bovengrens voor de Lipschitz-constante van de header, waardoor realisaties van gewichten met hoge normen tijdens Monte Carlo (MC)-bemonstering worden voorkomen die ruis zouden kunnen versterken.
• Bi-Lipschitz-beperking: Waar de header strikt een bovengrens voor de Lipschitz-constante oplegt, wordt de ondergrens impliciet geboden door de voorgeöefende ViT-backbone (die wordt verondersteld niet te collapse) en de structuur van de verborgen laag. Dit bevordert afstandsbehoudende afbeeldingen waarbij de MC-variatie de afstand tot het trainingsdata-manifold volgt in plaats van willekeurig te worden versterkt.
• Trainingsdoel: Het model wordt getraind door de negatieve Evidence Lower Bound (ELBO) te minimaliseren, die een cross-entropy dataterm combineert met een Kullback-Leibler (KL)-divergentie regularisator.

Strategieën voor Ruisbehandeling en Detectie

• Adaptieve Co-Teaching: De auteurs implementeren een adaptieve co-teaching-strategie waarbij twee netwerken "schone" samples uitwisselen. In tegenstelling tot standaard co-teaching met een vaste ruisrate, gebruikt deze aanpak een adaptieve vergeetrate die per mini-batch wordt bepaald op basis van de onenigheid tussen de twee peer-netwerken.
• Fusie van Verdachte Scores: Om onjuiste labels te identificeren, fuseert de methode twee signalen:
  1. Nabijheid in kenruimte: Een k-Nearest Neighbor (kNN) verdachte score gebaseerd op een voorgeöefende ResNet-50 kenmerkextractor.
  2. Voorspellende onzekerheid: Een onzekerheidsscore afgeleid van de variantie van 50 MC-samples van de LipB-ViT.
     Deze worden gecombineerd via een adaptief arithmetisch-gemiddelde fusieschema, gekalibreerd met behulp van de verwachte misclassificatie-rate en de bimodaliteitscoëfficiënt van Sarle om optimale drempels te bepalen.

Nieuwe Metrieken

• Mislukingsgraad-metriek: Een nieuwe metriek kwantificeert de onzekerheid in het trainingsdataset veroorzaakt door labelruis. Het past een Gaussisch responsmodel aan op herhaalde metingen om "zachte nauwkeurigheid" en "zachte zekerheid" te schatten, waardoor een schatting van labelruisniveaus over verschillende datasets mogelijk wordt.
• Datasetkwaliteitsanalyse: De gestabiliseerde zekerheidsschattingen dienen als basis voor een pijplijn die gezamenlijk datasetkwaliteit en labelruis beoordeelt.

Belangrijkste Bijdragen

1. LipB-Header: Introductie van een architectuur-agnostische header die harde spectrale normalisatie toepast op zowel het gemiddelde als de log-variatie van variatie-gewichten, waardoor een globale Lipschitz-grens wordt afgedwongen.
2. Nieuwe Datakwaliteitsmetriek: Een metriek om onzekerheid veroorzaakt door labelruis te kwantificeren, waardoor de schatting van labelruishoeveelheden over verschillende datasets mogelijk wordt.
3. Verbeterde Labelidentificatie: Een methode om onjuiste labels te identificeren die state-of-the-art kNN-gebaseerde identificatiemethoden met meer dan 7% overtreft, met een recall van >0,93 bij 15% semantisch verkeerd geclassificeerde labels.
4. Uitgebreide Evaluatie: Een grondige empirische analyse van LipB-ViT op vier open-source datasets (medische MRI, histopathologie en industriële defectdetectie) onder zowel gestructureerde (adversariële) als ongestructureerde ruis.

Resultaten

• Robuustheid tegen SPCE: Onder 15% semantisch nabije classificatiefouten leden standaard ViT's aan een gemiddelde nauwkeurigheidsdaling van ~8,1%. De LipB-ViT met adaptieve co-teaching reduceerde deze daling tot ~3,8%, met een eindscore van 91,1% nauwkeurigheid vergeleken met 90,5% voor de standaard ViT. Daarentegen veroorzaakte willekeurige ruis slechts een daling van ~1,5% voor alle modellen.
• Calibratie van Onzekerheid: De LipB-ViT toonde superieure stabiliteit in onzekerheidsschattingen. Hoewel de nauwkeurigheidsdalingen vergelijkbaar waren tussen Bayesiaanse varianten, reduceerde de Lipschitz-regularisatie de standaardafwijking van onzekerheid tussen zaden en tussen datasets onder corruptie aanzienlijk.
• Labeldetectie: De adaptieve arithmetisch-gemiddelde fusiemethode presteerde consequent beter dan standalone kNN- en onzekerheidsmethoden. Voor SPCE bereikte de fusiemethode een AUC-ROC van 0,94 en een AUC-PR van 0,55, wat significant beter is dan de standalone kNN (AUC-PR 0,51) en onzekerheidsbenaderingen (AUC-PR 0,28).
• Robuustheid bij Inferentie: Onder ongestructureerde ruis (Gaussisch, shot, onscherpte, enz.) en adversariële aanvallen (FGSM, PGD) behield LipB-ViT een nauwkeurigheid die vergelijkbaar was met standaard ViT's, maar met aanzienlijk lagere variantie in zekerheids- en onzekerheidsschattingen.

Betekenis en Claims

Het artikel stelt dat LipB-ViT een plug-and-play oplossing biedt voor het verbeteren van de betrouwbaarheid van voorgeöefende Vision Transformers in toepassingen met hoge risico's waar de betrouwbaarheid van annotatie variabel is. Door spectrale grenzen af te dwingen op de variatie-gewichten, mitigeert de methode ruisversterking en produceert het gekalibreerde voorspellende onzekerheid zonder dat de computatief kostbare hertraining van de volledige backbone nodig is.

De auteurs benadrukken dat, hoewel de methode computatiekosten met zich meebrengt door Monte Carlo-bemonstering en machtsiteraties, het consistente hyperparameters biedt over diverse domeinen (medisch en industrieel). De gestabiliseerde zekerheidsschattingen maken een nieuwe pijplijn mogelijk voor het kwantificeren van datasetkwaliteit en het detecteren van verkeerd gelabelde data, waarmee de "garbage-in, garbage-out"-faalmodus wordt aangepakt. Het werk suggereert dat, hoewel er momenteel beperkingen zijn met betrekking tot schaalbaarheid naar enorme datasets (vanwege het geheugenvoetafdruk voor singuliere vectoren) en de complexiteit van real-world multi-modale annotatiefouten, de aanpak een belangrijke stap voorwaarts is naar robuuste, onzekerheidsbewuste visiesystemen die gestructureerde labelruis kunnen hanteren.