Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

Nel mondo dell'intelligenza artificiale, esiste una classe crescente di modelli progettati per guardare le immagini e comprenderle, proprio come fa un essere umano. Questi sistemi, noti come Vision Transformers, non scansionano un'immagine pixel per pixel in linea retta. Invece, frammentano l'immagine in molti piccoli tasselli quadrati, trattando ogni tassello come un'unità distinta di informazione, o "token". Il modello elabora poi tutti questi token insieme, pesando quanta attenzione ciascuno meriti per prendere una decisione finale. Questo approccio è incredibilmente potente per compiti come l'identificazione di una specifica specie di uccello o di un raro modello di auto, dove la differenza tra due categorie può essere sottile come la curva di un becco o la forma di un faro. Tuttavia, poiché questi modelli esaminano ogni singolo tassello, possono diventare molto lenti e computazionalmente costosi, specialmente quando si tratta di immagini ad alta risoluzione. Per velocizzarli, gli ingegneri hanno sviluppato una tecnica chiamata "token pruning" (potatura dei token). Questo è un metodo per scartare i tasselli meno importanti all'inizio del processo, mantenendo solo quelli più rilevanti per risparmiare tempo ed energia. La domanda critica è sempre stata: come decidiamo quali siano i tasselli più importanti?

Per anni, il modo standard per prendere questa decisione si è basato su un segnale specifico all'interno del modello, chiedendo essenzialmente al sistema di osservare dove la sua stessa "attenzione" veniva naturalmente attratta. I ricercatori assumevano che se il modello stava prestando attenzione a un tassello, quel tassello doveva essere quello contenente i dettagli cruciali per l'identificazione. Tuttavia, un nuovo studio mette in discussione questa assunzione di lungo corso. I ricercatori hanno scoperto che il metodo utilizzato per decidere quali tasselli mantenere per la velocità non è necessariamente lo stesso metodo che garantisce che il modello stia effettivamente guardando le parti giuste dell'oggetto. Hanno scoperto che un sistema ottimizzato per mantenere i tasselli che meglio corrispondono alla forma fisica di un uccello o di un'auto spesso finisce per prendere decisioni altrettanto affidabili del sistema standard, ma con una logica interna completamente diversa. In effetti, i due obiettivi — mantenere le parti fisiche corrette e mantenere la logica corretta per la risposta finale — possono tirare in direzioni diverse, il che significa che lo strumento usato per velocizzare il modello potrebbe nascondere il vero motivo per cui il modello funziona.

Il team dietro questa ricerca, basato in università del Ghana, si è posto l'obiettivo di testare questo disconnessione utilizzando la classificazione visiva fine (fine-grained visual classification), un campo dedicato a distinguere cose molto simili come diversi modelli di aeromobili o razze di uccelli. Hanno utilizzato una versione standard e più piccola del modello Vision Transformer e l'hanno testata su tre dataset ben noti: immagini di uccelli, auto e aeroplani. Il loro obiettivo era confrontare due modi diversi di giudicare la qualità di un sistema di potatura. Il primo parametro guardava alla "copertura delle parti" (part coverage), che controlla semplicemente se i tasselli che il modello ha mantenuto si sovrappongono effettivamente alle parti fisiche reali dell'oggetto, come le ali di un aereo o la griglia di un'auto. Il secondo parametro guardava alla "fedeltà" (faithfulness), che controlla se la decisione finale del modello rimane la stessa sia che veda l'immagine completa sia che veda la versione potata. Se un metodo di potatura è davvero buono, dovrebbe eccellere in entrambi i conteggi.

I ricercatori hanno testato diverse strategie per decidere quali tasselli mantenere. Una strategia ha utilizzato il segnale di "attenzione" standard, che è il metodo predefinito usato oggi dalla maggior parte dei sistemi. Hanno anche testato una nuova strategia che osservava come lo stato interno del modello cambiasse quando l'input veniva leggermente alterato, una tecnica che cattura una relazione più profonda e diretta tra l'immagine e la risposta finale. Quando hanno eseguito gli esperimenti, i risultati sono stati sorprendenti. La nuova strategia, che utilizzava questo segnale interno più profondo, era significativamente migliore nel mantenere i tasselli che coprivano le parti effettive degli oggetti. Sul dataset degli aeroplani, ad esempio, questo nuovo metodo ha migliorato la copertura delle parti reali dell'aereo di oltre sei punti percentuali rispetto al metodo standard. Eppure, quando hanno controllato la fedeltà — ovvero la capacità del modello potato di prendere la stessa decisione corretta del modello completo — i due metodi erano quasi identici. Il nuovo metodo non rendeva il modello meno affidabile; semplicemente lo faceva guardare le cose giote più spesso senza cambiare il verdetto finale.

Questa scoperta rivela una lacuna nascosta nel modo in cui questi sistemi vengono attualmente valutati. Per molto tempo, il settore ha assunto che se un metodo di potatura mantiene l'accuratezza del modello, allora sta anche guardando le parti corrette dell'immagine. Lo studio dimostra che questo non è sempre vero. Un sistema può essere accurato pur guardando le parti sbagliate, o può essere accurato pur guardando le parti giuste ma utilizzando un percorso interno diverso per arrivarci. I ricercatori hanno introdotto un nuovo framework per misurare questa lacuna, che chiamano "disaccoppiamento" (decoupling). Hanno scoperto che questa lacuna è più visibile quando il modello osserva l'immagine in una fase specifica e intermedia del suo processo di elaborazione. Se il modello guarda troppo presto o troppo tardi nella sua catena di elaborazione, la differenza tra i due metodi scompare. Hanno anche scoperto che questo effetto è più forte quando il modello è costretto a essere molto efficiente, mantenendo solo una piccola frazione dei tasselli originali dell'immagine.

Lo studio ha anche escluso con cura la possibilità che questi miglioramenti fossero semplicemente dovuti al fatto che il nuovo metodo avesse più potenza di calcolo o parametri extra con cui imparare. Confrontando il loro nuovo metodo con una versione che aveva la stessa capacità extra ma non era stata addestrata con il segnale specifico, hanno confermato che il miglioramento derivava dal modo specifico in cui il modello è stato istruito a guardare l'immagine, non solo dal fatto di avere più strumenti. Hanno scoperto che il metodo standard, che si affida all'attenzione naturale del modello, spesso falliva nel catturare le parti più critiche dell'oggetto quando il modello era costretto a essere efficiente. Al contrario, il nuovo metodo selezionava costantemente i tasselli che corrispondevano alle caratteristiche fisiche che gli esseri umani userebbero per identificare l'oggetto.

Questa scoperta è importante perché cambia il modo in cui costruiamo e ci fidiamo di questi sistemi di IA. Se uno sviluppatore vuole creare un sistema veloce per identificare le specie di uccelli, non può semplicemente assumere che il metodo di potatura standard sia sufficiente. Potrebbe ottenere un sistema veloce che funziona, ma potrebbe ignorare proprio le piume o le forme del becco che definiscono la specie. Lo studio suggerisce che, utilizzando un segimento di addestramento diverso, si può ottenere un sistema che è altrettanto veloce e altrettanto accurato, ma che sta effettivamente guardando il becco e le ali dell'uccello. I ricercatori sottolineano che questo non è un rimedio magico che funziona in ogni situazione; l'effetto dipende fortemente dalle dimensioni specifiche del modello e da quanto della immagine viene mantenuto. Tuttavia, per i tipi specifici di modelli piccoli ed efficienti utilizzati in molte applicazioni reali, il nuovo approccio offre una via chiara verso prestazioni migliori.

I ricercatori hanno anche notato che questo fenomeno non è universale. Quando hanno testato una versione molto più grande e potente del modello, la differenza tra i due metodi è svanita. Ciò suggerisce che il problema è specifico dei vincoli dei modelli più piccoli e veloci, che sono spesso utilizzati nelle applicazioni pratiche. In questi modelli più piccoli, il modo standard di decidere cosa mantenere non è così preciso come potrebbe essere. Lo studio fornisce una mappa chiara per gli ingegneri: se avete bisogno che il vostro modello sia veloce e volete anche che guardi le parti giuste dell'immagine, dovete usare il nuovo segnale di addestramento. Se vi interessa solo la velocità e l'accuratezza finale, il vecchio metodo potrebbe ancora funzionare, ma state correndo il rischio che il modello prenda le sue decisioni per i motivi sbagliati.

In definitiva, questo lavoro porta un nuovo livello di chiarezza nel campo della visione artificiale. Dimostra che l'efficienza e la spiegabilità non sono sempre la stessa cosa. Un modello può essere efficiente senza essere trasparente, e può essere trasparente senza essere efficiente. Separando questi due obiettivi, i ricercatori hanno dato alla comunità scientifica un modo migliore per misurare e migliorare questi sistemi. Hanno dimostrato che con l'addestramento giusto, possiamo avere il meglio dei due mondi: un sistema che è abbastanza veloce da girare su un telefono, abbastanza accurato da identificare un uccello raro e abbastanza onesto da mostrarci esattamente quale parte dell'uccello sta guardando. Questo è un passo significativo verso la creazione di un'intelligenza artificiale non solo potente, ma anche comprensibile e affidabile.