Processing and acquisition traces in visual encoders: What does CLIP know about your camera?

1. Probleemstelling

Traditioneel onderzoek naar de robuustheid van visuele encoders (zoals ResNet, ViT, CLIP) richt zich voornamelijk op de impact van ernstige beeldcorrupties of transformaties die de semantische inhoud van een afbeelding verstoren (bijv. ruis, extreme compressie, of adversariale aanvallen). Deze studies gaan er vaak van uit dat training plaatsvindt op "schone" data en testen op data met een distributieshift.

De auteurs van dit paper stellen echter een ander perspectief voor:

• Onopgemerkte metadata: Zelfs subtiele, voor het menselijk oog onwaarneembare parameters gerelateerd aan beeldverwerking (zoals JPEG-compressie, scherpte, herschaalingsinterpolatie) en beeldacquisitie (zoals cameramodel, ISO-snelheid, diafragma) worden systematisch gecodeerd in de leerrepresentaties van foundation-modellen.
• Invloed op semantiek: Deze metadata-traces kunnen de semantische voorspellingen van het model beïnvloeden, soms zelfs domineren boven de daadwerkelijke objectinhoud. Dit leidt tot bias in downstream taken zoals classificatie en beeldretrieval.
• De kernvraag: Hoe beïnvloeden deze metadata-labels de representatieruimte van visuele encoders, en beïnvloeden ze de kwaliteit van semantische voorspellingen?

2. Methodologie

Data en Datasets

De auteurs analyseren 47 verschillende visuele encoders (Supervised, Self-Supervised, en Contrastive Vision-Language). Ze gebruiken de volgende datasets:

• ImageNet & iNaturalist: Voor het analyseren van beeldverwerkingsparameters. Omdat deze parameters kunstmatig kunnen worden toegepast, worden alle afbeeldingen in de train- en testsets onderworpen aan willekeurige variaties in JPEG-kwaliteit, scherpte, herschaling en interpolatie.
• FlickrExif: Een nieuw verzameld dataset van ~356.000 Flickr-afbeeldingen met Exif-metadata, gebruikt voor het analyseren van acquisitieparameters (cameramodel, ISO, diafragma, etc.).
• PairCams: Een handmatig verzameld dataset van 730 paren afbeeldingen (totaal 1.460), waarbij elk paar hetzelfde object toont, maar gefotografeerd is met een smartphone versus een traditionele camera. Dit elimineert semantische confounders.

Experimentele Opzet

1. Metadata-predictie: Er wordt een lineaire classifier getraind op de ingesloten embeddings (zonder fijnafstemming van de encoder zelf) om de metadata-labels (bijv. "JPEG-kwaliteit 95" of "iPhone 13") te voorspellen. Een prestatie boven het willekeurige niveau bevestigt dat de encoder deze informatie opslaat.
2. Semantische impact: Om te testen of deze metadata de semantische taken verstoort, gebruiken ze een k-NN-classifier voor semantische labelvoorspelling onder verschillende scenario's:
   • All-same: Train- en testdata hebben dezelfde metadata (baseline).
   • All-diff: Train- en testdata hebben verschillende metadata.
   • Pos-same / Neg-same: Semantisch positieve of negatieve voorbeelden in de trainset delen dezelfde metadata als de testafbeelding.
   • Uniform: Metadata is willekeurig verdeeld.
3. Retrieval-taak: Met het PairCams-dataset wordt getest of een model het juiste "near-duplicate" (zelfde object, andere camera) kan vinden, of dat het wordt afgeleid door het cameramodel van de negatieve voorbeelden.

3. Belangrijkste Bevindingen en Resultaten

1. Metadata wordt gecodeerd in embeddings

• Hoge nauwkeurigheid: Het is mogelijk om verwerkings- en acquisitieparameters met aanzienlijk hogere nauwkeurigheid dan willekeur te voorspellen uit de embeddings.
• Modelverschillen: Contrastive Vision-Language (CVL) modellen (zoals CLIP en SigLIP) zijn het meest gevoelig en coderen deze metadata het sterkst. Supervised (SUP) modellen tonen ook een duidelijk signaal, maar Self-Supervised Learning (SSL) modellen (zoals DINOv2) presteren het slechtst op deze taak.
• Oorzaak: De auteurs suggereren dat het gebrek aan zware geometrische en fotometrische augmentaties tijdens het pre-training van CVL-modellen (in vergelijking met SSL) de oorzaak is van deze gevoeligheid. Experimenten met augmentaties bevestigen dat deze de metadata-codering aanzienlijk vermindert.

2. Impact op Downstream Taken

• Semantische afleiding: Wanneer er een correlatie is tussen semantische labels en metadata (bijv. bepaalde objecten worden vaak met een specifieke camera of compressie gefotografeerd), worden de voorspellingen van het model beïnvloed door de metadata in plaats van de inhoud.
• Retrieval-fouten: In retrieval-taken (zoals Fig. 1 en Fig. 10 in het paper) faalt het model vaak om het juiste beeld te vinden als de negatieve voorbeelden een ander cameramodel hebben dan de query, zelfs als het positieve voorbeeld visueel identiek is. De afstand in de representatieruimte wordt bepaald door zowel semantiek als metadata.
• CVL is het kwetsbaarst: CVL-modellen vertonen de grootste prestatiedalingen wanneer metadata-labels niet overeenkomen tussen train- en testdata, of wanneer ze als "ruis" fungeren.

3. Visualisatie

• t-SNE visualisaties tonen dat bij CVL-modellen (zoals CLIP) afbeeldingen van hetzelfde cameramodel (bijv. smartphone vs. niet-smartphone) sterk geclusterd zijn in de representatieruimte, terwijl dit bij SUP-modellen (zoals ViT) veel minder het geval is.

4. Bijdragen en Significatie

Technische Bijdragen:

• Ontdekking van "Traces": Het paper bewijst dat foundation-modellen niet alleen semantische informatie, maar ook technische metadata (camera-instellingen, compressie) opslaan in hun embeddings.
• Nieuwe Evaluatie: Het introduceert een nieuw perspectief op robuustheid dat zich richt op subtiele, vaak onzichtbare parameters in plaats van alleen op zichtbare corrupties.
• Datasets: Publicatie van FlickrExif en PairCams om onderzoek naar acquisitie-bias te faciliteren.
• Analyse van Architecturen: Het onderscheidt duidelijk tussen de gevoeligheid van CVL, SUP en SSL modellen, en koppelt dit aan hun trainingsstrategie (augmentaties).

Significatie en Implicaties:

• Betrouwbaarheid: De resultaten vormen een zorgwekkend punt voor de betrouwbaarheid van AI-modellen in kritieke toepassingen (zoals gezondheidszorg, surveillance, autonoom rijden), waar metadata-bias tot onvoorspelbare en foutieve beslissingen kan leiden.
• Adversariaal Risico: Het feit dat metadata zo sterk gecodeerd is, maakt modellen kwetsbaar voor aanvallen waarbij metadata manipulatie wordt gebruikt om het model te misleiden zonder de visuele inhoud te veranderen.
• Toekomstig Onderzoek: Het paper suggereert dat het gebruik van zwaardere augmentaties tijdens training een mogelijke mitigatiestrategie is, maar dat dit een fundamenteel onderzoekspunt blijft voor het ontwerp van robuuste foundation-modellen.

Conclusie:
Het paper concludeert dat "wat CLIP weet over je camera" niet triviaal is; deze informatie is diep verweven in de representaties van het model. Dit kan leiden tot bias waarbij de herkomst van een afbeelding (camera, compressie) belangrijker wordt dan de inhoud zelf, wat de generalisatie en eerlijkheid van visuele AI-systemen in gevaar brengt.