Processing and acquisition traces in visual encoders: What does CLIP know about your camera?

1. Il Problema

La ricerca si concentra sulla robustezza e sulle caratteristiche nascoste dei codificatori visivi (visual encoders) moderni, in particolare i modelli fondazionali (Foundation Models) come CLIP, DINOv2 e le reti supervisionate.
Mentre la letteratura precedente ha analizzato la robustezza dei modelli rispetto a trasformazioni visive severe o corruzioni evidenti (es. rumore, distorsioni geometriche), questo studio indaga parametri di acquisizione (es. modello della fotocamera, impostazioni ISO, apertura) e di elaborazione (es. compressione JPEG, sharpening, ridimensionamento) che sono spesso impercettibili all'occhio umano.
Il problema centrale è che questi metadati, sebbene invisibili semanticamente, potrebbero essere sistematicamente codificati negli spazi di rappresentazione degli encoder, influenzando negativamente le prestazioni dei compiti a valle (come la classificazione o il recupero di immagini) e introducendo bias che non dipendono dal contenuto semantico dell'immagine.

2. Metodologia

Gli autori hanno analizzato 47 codificatori visivi diversi, suddivisi in tre categorie principali in base al loro schema di addestramento:

• Supervisionati (SUP): Addestrati per la classificazione su ImageNet (es. ResNet, ConvNeXt, ViT).
• Auto-supervisionati (SSL): Addestrati con apprendimento contrastivo (es. DINO, DINOv2, MoCo v3).
• Contrastivi Vision-Language (CVL): Addestrati per l'allineamento tra visione e linguaggio (es. CLIP, OpenCLIP, SigLIP).

Dataset e Parametri:

• Elaborazione (Processing): Sono stati applicati artificialmente parametri come compressione JPEG (6 livelli), sharpening (3 livelli), ridimensionamento (3 livelli) e interpolazione (4 tipi) su dataset come ImageNet e iNaturalist.
• Acquisizione (Acquisition): Sono stati utilizzati dataset reali con metadati EXIF, tra cui FlickrExif (356k immagini) e PairCams (730 coppie di immagini dello stesso soggetto scattate con smartphone e fotocamere tradizionali). I parametri analizzati includono produttore, modello, smartphone vs non-smartphone, esposizione, apertura, ISO e lunghezza focale.

Esperimenti:

1. Predizione dei Metadati: È stato addestrato un classificatore lineare semplice sugli embedding (frozen) degli encoder per prevedere i metadati di acquisizione ed elaborazione. Se l'accuratezza supera il caso casuale, ciò prova che l'encoder codifica queste informazioni.
2. Mascheramento Semantico: Per isolare l'effetto dei metadati dal contenuto semantico, il 95% dell'immagine è stato mascherato (center-masking) prima dell'estrazione delle feature.
3. Impatto sui Compiti a Valle: È stato valutato come la correlazione o anti-correlazione tra etichette semantiche e metadati influenzi l'accuratezza della classificazione (usando un classificatore k-NN) e il recupero di immagini near-duplicate.

3. Contributi Chiave

1. Tracce Identificabili: Dimostrazione che i parametri di acquisizione ed elaborazione lasciano "tracce" identificabili negli spazi di rappresentazione di molti modelli, permettendo di prevederli con un'accuratezza significativamente superiore al caso.
2. Dominio dei Metadati sulla Semantica: Scoperta che queste tracce possono sovrastare il contenuto semantico. In scenari specifici (corner cases), le predizioni del modello sono guidate dal tipo di fotocamera o dalla compressione JPEG piuttosto che dall'oggetto reale nell'immagine.
3. Sensibilità dei Modelli CVL: Identificazione dei modelli Contrastivi Vision-Language (CVL) come i più sensibili a queste influenze. I modelli SSL, grazie alle pesanti augmentation geometriche e fotometriche durante l'addestramento, risultano meno influenzati.
4. Analisi delle Cause: Ipotesi e verifica (tramite addestramento ex-novo) che la mancanza di augmentation aggressive nei modelli CVL è una delle cause principali della loro capacità di conservare queste informazioni di metadati.

4. Risultati Principali

• Predizione dei Metadati:

  • I modelli CVL (es. CLIP basato su ConvNeXt) raggiungono accurazioni superiori all'80% nella previsione della compressione JPEG, dello sharpening e del ridimensionamento su ImageNet.
  • Anche con il 95% di mascheramento dell'immagine (rimuovendo quasi tutto il contenuto semantico), i modelli CVL riescono ancora a prevedere il tipo di fotocamera (smartphone vs non-smartphone) con un'accuratezza tra il 59% e il 70%, contro un massimo del 58% per i modelli non-CVL.
  • I modelli SSL mostrano le prestazioni peggiori nella predizione dei metadati, suggerendo che le augmentation durante l'addestramento "distruggono" queste tracce.

• Impatto sulla Classificazione Semantica:

  • Quando le etichette semantiche e i metadati sono correlati (es. tutte le immagini di una certa classe hanno lo stesso livello di compressione), le prestazioni crollano drasticamente se il modello di test presenta una combinazione diversa.
  • I modelli CVL mostrano la massima sensibilità: la distanza nello spazio di rappresentazione diventa una funzione sia della semantica che dei metadati.

• Recupero di Immagini (Retrieval):

  • Nel compito di recupero near-duplicate, se le immagini negative (distrattori) provengono dallo stesso tipo di fotocamera della query, i modelli CVL falliscono nel recuperare l'immagine positiva corretta (stesso oggetto, fotocamera diversa), mostrando un calo di recall@1 anche da valori quasi perfetti a sotto lo 0.85.

5. Significato e Implicazioni

• Affidabilità dei Modelli: I risultati sollevano preoccupazioni sulla generalizzazione e l'affidabilità dei modelli fondazionali in scenari reali, dove le distribuzioni di metadati possono variare o essere manipolate.
• Rischi di Sicurezza: La presenza di queste tracce apre la porta ad attacchi avversariali basati sui metadati, dove un attaccante potrebbe manipolare la compressione o il modello della fotocamera per ingannare deliberatamente il sistema (es. in ambito medico, sorveglianza o veicoli autonomi).
• Opportunità: Paradossalmente, questa capacità di rilevare metadati può essere sfruttata per compiti come la rilevazione di Deepfake o immagini sintetiche, dove le incongruenze nei metadati di acquisizione o elaborazione sono indicatori chiave di manipolazione.
• Direzione Futura: Lo studio suggerisce che le strategie di addestramento per i modelli CVL dovrebbero incorporare augmentation più aggressive o tecniche di debiasing specifiche per i metadati per garantire che le rappresentazioni siano puramente semantiche.

In sintesi, il paper rivela che i modelli visivi moderni, specialmente quelli basati su apprendimento contrastivo, "vedono" e memorizzano dettagli tecnici sulle immagini che l'occhio umano ignora, e che questi dettagli possono distorcere significativamente il comportamento del modello in compiti critici.