Suppressing Non-Semantic Noise in Masked Image Modeling Representations

Probleemstelling

Masked Image Modeling (MIM) is een dominante self-supervised leerparadigma voor visuele modellen (zoals MAE, DINOv2, iBOT). Hoewel deze modellen sterke prestaties leveren, hebben recente studies aangetoond dat de geleerde representaties ongewenste artefacten en ruis bevatten.

De kernproblematiek die in dit paper wordt onderzocht, is dat MIM-objectieven de modellen ertoe aanzetten om niet-semantische informatie (voornamelijk positionele ruis) te coderen in plaats van puur semantische inhoud. Omdat het MIM-doelwit vereist dat het model zowel de inhoud als de locatie van gemaskerde patches voorspelt, "leert" het model vaak om shortcuts te nemen door de positie van de patches te gebruiken in plaats van de daadwerkelijke visuele inhoud. Dit leidt tot representaties die gevoelig zijn voor positionele bias (bijv. links/rechts of boven/onder), wat de prestaties negatief beïnvloedt bij inferentie in zero-shot taken, zoals segmentatie en classificatie.

Methodologie

Het paper introduceert een model-onafhankelijke aanpak om deze ruis te diagnosticeren en te onderdrukken zonder het model opnieuw te hoeven trainen.

1. Analyse met Principal Component Analysis (PCA)
De auteurs analyseren de patch-embeddings van state-of-the-art modellen. Ze stellen vast dat de leidende hoofdcomponenten (Principal Components) van MIM-modellen sterke positionele bias vertonen. In tegenstelling tot niet-MIM-modellen (zoals DINO of DeiT3), coderen deze componenten de positie van de patch in de afbeelding in plaats van de semantische inhoud.

2. Semantic Invariance Score (SI-score)
Om de hoeveelheid niet-semantische ruis kwantitatief te meten, introduceren ze een nieuwe Semantic Invariance Score.

• Principe: Een component wordt als "semantisch invariant" beschouwd als deze dezelfde reactie geeft op zowel echte afbeeldingen (met semantische inhoud) als synthetische ruisafbeeldingen (zonder semantische inhoud).
• Implementatie: Ze genereren synthetische afbeeldingen (gecombineerd uit roze ruis, gemoduleerde witte ruis en gradiëntvelden) die statistisch lijken op natuurlijke afbeeldingen maar geen betekenisvolle objecten bevatten.
• Berekening: Ze vergelijken de activeringsverdelingen van een component over echte en synthetische data. Als de verdelingen sterk overeenkomen (hoge SI-score), bevat de component voornamelijk ruis die onafhankelijk is van de inhoud.

3. Semantically Orthogonal Artifact Projection (SOAP)
Op basis van de SI-score stellen ze SOAP voor, een post-hoc denoising-methode.

• Werking: SOAP projecteert de patch-embeddings orthogonaal op de componenten die als niet-semantisch (hoog invariant) zijn geïdentificeerd.
• Techniek: Het gebruikt een Gram-Schmidt-projectie in de PCA-basis. Een schalingsfunctie (gebaseerd op een Fermi-raam) filtert de componenten zodat alleen de meest semantisch invarianten (de ruis) worden onderdrukt, terwijl de nuttige semantische informatie behouden blijft.
• Voordeel: SOAP vereist geen training, is model-onafhankelijk en kan worden toegevoegd als een enkele lineaire laag aan elk vooraf getraind SSL-model.

Belangrijkste Bijdragen

1. Diepgaande Analyse: Het paper toont aan dat MIM-objectieven uniek vertekende representaties creëren die overmatig gericht zijn op het coderen van positionele ruis, een fenomeen dat bijna afwezig is in pure contrastieve leermodellen.
2. Nieuwe Metriek: Introductie van de Semantic Invariance Score, een diagnosehulpmiddel om de trade-off tussen semantische en positionele ruis in SSL-representaties te kwantificeren.
3. SOAP Methode: Een eenvoudige, trainingsvrije methode om deze ruis te onderdrukken, wat leidt tot consistente verbeteringen in zero-shot prestaties voor alle geteste MIM-modellen.

Resultaten

De auteurs evalueren SOAP op diverse zero-shot taken en modellen (MAE, DINOv2, DINOv3, iBOT, CAPI, I-JEPA):

• Salient Segmentation (TokenCut): Na toepassing van SOAP vertonen alle MIM-modellen aanzienlijke verbeteringen in Intersection over Union (IoU) en F-measure op datasets zoals ECSSD, DUTS en DUT-OMRON. Sommige MIM-modellen presteren na SOAP zelfs beter dan het contrastieve model DINO, dat van nature minder positionele ruis heeft.
• kNN Segmentatie (ADE20k): Er zijn consistente verbeteringen in mean IoU en pixel-accuracy voor alle MIM-modellen.
• kNN Classificatie (ImageNet): Hoewel de verbetering hier kleiner is (omdat classificatie minder afhankelijk is van lokale semantiek dan segmentatie), zijn er nog steeds positieve resultaten, met name bij modellen zoals MAE en CAPI.
• Vergelijking met RASA: SOAP presteert beter dan de bestaande methode RASA (die positionele cues leert te onderdrukken), omdat SOAP de ruis direct onderdrukt zonder extra training van lineaire lagen.

Betekenis en Conclusie

Dit onderzoek onthult een fundamentele trade-off in Masked Image Modeling: het vermogen om de pretext-taak (reconstructie) goed te doen, gaat ten koste van de semantische zuiverheid van de representaties door het coderen van positionele shortcuts.

De betekenis van dit werk ligt in:

1. Diagnose: Het biedt een duidelijk mechanisme om te begrijpen waarom MIM-modellen soms slechter presteren in zero-shot scenario's dan verwacht.
2. Oplossing: SOAP biedt een praktische, goedkope (geen training) en effectieve oplossing om deze beperkingen te omzeilen.
3. Toekomstige Richting: Het benadrukt dat toekomstige self-supervised modellen of pre-processing methoden rekening moeten houden met het verwijderen van positionele ruis om robuustere en semantisch zuiverdere visuele representaties te bouwen.

Kortom, het paper bewijst dat het "schoonmaken" van de ruis die inherent is aan MIM-objectieven, direct leidt tot betere, meer generalizeerbare visuele modellen.