Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

Riepilogo Tecnico: Spiegazioni a Livello di Oggetto per Modelli di Geolocalizzazione di Immagini

Enunciato del Problema
I modelli di geolocalizzazione delle immagini, che prevedono la posizione di scatto di un'immagine basandosi sul contenuto visivo, hanno raggiunto elevate prestazioni utilizzando l'apprendimento profondo. Tuttavia, comprendere le specifiche evidenze visive che guidano queste previsioni rimane una sfida. Mentre gli umani si affidano a indizi concreti e a livello di oggetto (ad esempio, cartelli stradali, vegetazione, dettagli architettonici) in giochi come GeoGuessr, i metodi di attribuzione standard (ad esempio, Grad-CAM) producono tipicamente mappe di calore diffuse e sovrapposte. Queste mappe evidenziano regioni ampie piuttosto che entità visive coerenti, rendendo difficile collegare le decisioni del modello a oggetti specifici e interpretabili o a pattern percepibili. Questo divario limita la capacità di interpretare, fidarsi e analizzare i modelli di geolocalizzazione a un livello di granularità concettuale.

Metodologia
Gli autori propongono una pipeline di analisi incentrata sugli oggetti per scomporre le mappe di attribuzione in elementi discreti simili a oggetti e valutarne la rilevanza predittiva. La metodologia consta di tre fasi principali:

1. Addestramento del Modello e Attribuzione: Una Rete Neurale Convoluzionale (ResNet50) viene addestrata per la classificazione dei paesi. Vengono generate mappe di attribuzione utilizzando metodi basati sul gradiente e basati sul punteggio (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) per identificare le regioni salienti che influenzano la previsione. Queste mappe vengono soggettate per conservare il top-$p$ percentile di pixel, creando "regioni guidate dall'attribuzione".
2. Estrazione degli Oggetti: All'interno di queste regioni salienti, un modello di segmentazione (in particolare varianti del Segment Anything Model: MobileSAM, SAM2 e SAM3) viene utilizzato per estrarre elementi visivi discreti. Questi elementi non ricevono etichette semantiche ma sono trattati come unità percepibili (ad esempio, un'auto, un cartello).
   • Punteggio: Ogni segmento candidato viene valutato in base alla sua sovrapposizione con pixel ad alta salienza, al suo valore medio di attribuzione e al valore di attribuzione al suo centro geometrico.
   • Filtraggio: I segmenti al di sotto di una soglia di rilevanza vengono scartati. I segmenti sovrapposti vengono filtrati utilizzando un criterio di Intersezione sull'Unione (IoU) basato sulla contenenza per rimuovere i quasi-duplicati preservando al contempo i piccoli dettagli.
   • Output: I segmenti rimanenti vengono convertiti in riquadri di delimitazione rettangolari con un leggero riempimento per preservare il contesto.
3. Valutazione della Fedeltà: La rilevanza predittiva di questi elementi estratti viene testata rispetto a regioni selezionate casualmente di copertura simile utilizzando due metriche XAI standard:
   • Test di Cancellazione: Le immagini ritagliate estratte vengono oscurate nell'immagine originale. Un calo significativo dell'accuratezza di classificazione indica che le regioni rimosse contenevano informazioni critiche.
   • Test di Inserimento: Vengono conservate solo le immagini ritagliate estratte mentre il resto dell'immagine viene mascherato. Un'alta accuratezza mantenuta indica che i ritagli contengono informazioni predittive sufficienti.

Contributi Chiave

• Pipeline Centrata sugli Oggetti: Il documento introduce un framework post-hoc che colma il divario tra mappe di attribuzione a livello di pixel diffuse e evidenze visive localizzate e simili a oggetti, senza richiedere concetti predefiniti o modificare il classificatore sottostante.
• Validazione Quantitativa: Lo studio fornisce una valutazione rigorosa che dimostra come i ritagli guidati dall'attribuzione conservino costantemente più informazioni predittive rispetto ai ritagli casuali di dimensioni simili.
• Analisi della Segmentazione: Il lavoro indaga l'impatto della qualità della segmentazione sull'interpretabilità, dimostrando che la scelta del modello di segmentazione (ad esempio, SAM3 rispetto a SAM2) influenza significativamente la copertura e l'efficacia degli indizi estratti.

Risultati
Gli esperimenti sono stati condotti su un benchmark composto da immagini provenienti da tre paesi: Francia, India e Giappone (utilizzando il dataset OSV-5M).

• Rilevanza Predittiva: In tutte le configurazioni testate, i ritagli guidati dall'attribuzione hanno superato i baseline casuali. Nei test di cancellazione, oscurare queste regioni ha causato un calo maggiore dell'accuratezza, e nei test di inserimento, hanno conservato significativamente più informazioni predittive.
• Confronto dei Metodi:
  • Metodi di Attribuzione: Grad-CAM++ e altri metodi basati sul gradiente hanno fornito mappe di salienza efficaci per guidare l'estrazione.
  • Modelli di Segmentazione: SAM3, che genera un numero maggiore di segmenti, ha ottenuto risultati più forti in entrambi i setting di ablazione rispetto a SAM2 e MobileSAM. Gli autori notano che SAM2 ha performato male nei test di cancellazione, probabilmente a causa della generazione di troppi pochi segmenti, risultando in una copertura spaziale insufficiente per rimuovere informazioni significative.
• Risultati Qualitativi: Gli elementi estratti includevano pattern visivi diversi come veicoli, muri, cartelli stradali e segnaletica stradale. Tuttavia, gli autori riconoscono delle limitazioni, notando che alcuni elementi estratti si sovrappongono, corrispondono solo a parti di strutture più grandi o rimangono amorfi a causa dei vincoli di segmentazione.

Significato e Affermazioni
Il documento afferma che le mappe di attribuzione nei modelli di geolocalizzazione contengono evidenze localizzate che possono essere significativamente scomposte in regioni visive percepibili. Ciò suggerisce che le previsioni del modello possono essere tracciate fino a indizi specifici a livello di oggetto, simili a quelli utilizzati dagli umani. Gli autori collocano questo lavoro come un passo verso l'interpretabilità a livello di oggetto e le spiegazioni basate sui concetti nella geolocalizzazione delle immagini.

Gli autori mantengono una posizione modesta riguardo alla portata dei loro risultati. Riconoscono che gli elementi estratti sono approssimativi e potrebbero essere sovra-segmentati. Inoltre, la valutazione è limitata a un setting di tre paesi senza baseline aggiuntive. Viene proposto un lavoro futuro per estendere il framework a benchmark più ampi e a grana fine e per incorporare una valutazione umana per verificare l'allineamento con il ragionamento umano nelle attività di geolocalizzazione.