What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Immagina di stare all'angolo di una strada in una metropoli, guardando una fila familiare di case, un tipo specifico di albero e il modo in cui la luce colpisce l'asfalto. Per un essere umano, questi dettagli potrebbero sembrare generici, eppure contengono il segreto di dove ti trovi esattamente. Per i computer, invece, distinguere tra due quartieri che appaiono quasi identici è una sfida profonda. Questo è il cuore della geolocalizzazione visiva, un campo dell'intelligenza artificiale che cerca di capire dove è stata scattata una fotografia guardando semplicemente i suoi pixel. Sebbene i sistemi moderni siano diventati molto bravi nell'identificare località ampie, come distinguere tra un'isola tropicale e una montagna innevata, spesso inciampano quando viene chiesto loro di individuare distretti specifici all'interno della stessa area metropolitana. La domanda che i ricercatori si pongono da tempo è se questi sistemi informatici possano imparare a vedere le sottili differenze tra luoghi vicini e, in caso affermativo, cosa stiano imparando esattamente a vedere.

Un team di ricercatori dell'Università della Southern California si è posto l'obiettivo di rispondere a questo quesito studiando le strade di Los Angeles. Hanno raccolto quasi novemila immagini da Street View provenienti da otto regioni distinte, che spaziano dal denso nucleo urbano di Downtown alle atmosfere costiere di Santa Monica e ai sobborghi alberati di Pasadena. Queste aree condividono lo stesso clima, la stessa architettura generale e spesso gli stessi tipi di auto e alberi, rendendole un test perfetto per la discriminazione fine. I ricercatori hanno utilizzato un potente modello pre-addestrato chiamato CLIP, che aveva già imparato ad associare immagini e descrizioni testuali da una vasta quantità di dati presenti su Internet. Volevano sapere se questo modello, nel suo stato originale, fosse già in grado di distinguere questi quartieri o se avesse bisogno di essere riaddestrato per vedere i dettagli più fini. Più importante ancora, se il modello fosse migliorato nel compito dopo l'addestramento, volevano capire quali nuovi indizi visivi stesse utilizzando. Stava semplicemente memorizzando le forme degli edifici o stava imparando qualcosa di più complesso su come la scena è organizzata?

I ricercatori hanno testato il modello in diversi modi, partendo da un approccio "zero-shot", in cui hanno chiesto al computer di indovinare la posizione senza alcun addestramento specifico sui dati di Los Angeles. In questo stato non addestrato, il modello era corretto solo circa il 39 percento delle volte, appena migliore di un caso casuale tra le otto opzioni. Quando hanno cercato di migliorare il modello insegnandogli semplicemente a leggere l'output del suo sistema visivo esistente — senza cambiare il modo in cui vedeva il mondo — le prestazioni sono rimaste quasi invariate. Tuttavia, quando hanno permesso al modello di regolare effettivamente la sua elaborazione visiva interna, i risultati sono cambiati drasticamente. Permettendo al modello di apprendere dalle immagini di Los Angeles, la sua precisione è balzata a oltre l'82 percento. Questo enorme miglioramento suggeriva che il segreto per distinguere questi quartieri non risiedeva solo nei dati grezzi che il modello già possedeva, ma nel modo in cui ha imparato a riorganizzare e dare priorità a quei dati attraverso l'adattamento.

Per capire cosa stesse facendo il modello quando è diventato così bravo, i ricercatori hanno sottoposto le immagini a una serie di trucchi visivi. Hanno rimosso elementi specifici come il testo sui cartelli, i veicoli, gli alberi e il cielo per vedere se il modello saprebbe ancora dove si trovava. Hanno anche sfocato le immagini per nascondere i dettagli fini mantenendo le forme generali, e hanno rimescolato le immagini tagliandole in piccoli quadrati e spostandole, distruggendo il layout ma mantenendo intatto il contenuto locale. I risultati hanno rivelato una sfumatura affascinante. I modelli migliorati e adattati sono diventati molto più sensibili alla disposizione complessiva della scena. Quando i ricercatori hanno rimescolato il layout, i modelli adattati hanno cambiato idea sulla posizione quasi il 43 percento delle volte, mentre i modelli non addestrati hanno cambiato idea solo l'11 percento delle volte. Ciò indicava che i modelli addestrati avevano imparato a fare affidamento pesantemente sulla struttura intatta della scena stradale — il modo in cui la strada, gli edifici e il cielo si incastrano tra loro — piuttosto che limitarsi a individuare un singolo oggetto distintivo.

Tuttavia, lo studio ha anche dimostrato che questa sensibilità alla struttura non significava che i modelli potessero ignorare interamente i dettagli visivi. Quando i ricercatori hanno sfocato le immagini per rimuovere le texture e i colori fini, i modelli adattati non hanno mantenuto una percentuale di precisione originale superiore rispetto a quelli non addestrati. In altre parole, sebbene i modelli fossero diventati più bravi nell'usare il layout della scena, non erano diventati capaci di indovinare la posizione basandosi solo sul layout; avevano ancora bisogno dell'aspetto visivo dell'ambiente. La rimozione di indizi ambientali come la vegetazione e il cielo ha continuato a confondere i modelli, suggerendo che queste ampie caratteristiche atmosferiche rimanessero cruciali. I ricercatori hanno anche testato l'effetto dello smistamento su un set completamente diverso di immagini, che presentava oggetti comuni come gatti e sedie, e hanno scoperto che rimescolare quelle immagini confondeva i modelli. Ciò ha dimostrato che la sensibilità al layout era un tratto generale di come il modello elaborava le immagini, non un superpotere speciale sviluppato solo per trovare posizioni.

Lo studio conclude che, affinché un computer possa distinguere tra quartieri visivamente simili, deve essere lasciato adattare la propria elaborazione visiva all'ambiente specifico. Questo adattamento porta il sistema a prestare maggiore attenzione alla configurazione complessiva della scena, ovvero a come i vari elementi sono disposti l'uno rispetto all'altro. Eppure, questo non sostituisce la necessità del dettaglio visivo. Il sistema non impara a vedere il mondo puramente attraverso forme astratte; al contrario, impara una combinazione della struttura della scena e del suo aspetto specifico. Le scoperte sono specifiche per questo ambiente controllato di località vicine con viste sovrapposte, il che significa che il modello sta imparando a gestire angolazioni diverse degli stessi luoghi piuttosto che riconoscere città interamente nuove e distanti. In definitiva, la ricerca mostra che, sebbene l'intelligenza artificiale possa imparare a navigare tra le sottili differenze di una città, lo fa intrecciando la disposizione della strada con la texture del mondo, anziché cercando un singolo indizio magico.