Screening Is Effective for Visual Recognition

Immagina di cercare di insegnare a un robot a riconoscere un gatto in una fotografia. Nel mondo dell'intelligenza artificiale, questo è un compito per la "visione artificiale". Per molto tempo, il modo migliore per farlo è stato quello di utilizzare un tipo speciale di cervello chiamato Vision Transformer (ViT). Pensa a un ViT come a un bibliotecario super organizzato che prende una foto, la divide in centinaia di minuscoli pezzi di un puzzle quadrati (patch) e poi cerca di capire l'intera storia chiedendo a ogni singolo pezzo di parlare con tutti gli altri. Il bibliotecario usa una regola chiamata "self-attention" per decidere quali pezzi siano importanti. È come una classe in cui ogni studente alza la mano e l'insegnante (il bibliotecario) deve decidere chi ha il diritto di parlare. L'insegnante usa un sistema chiamato "softmax" per ripartire il tempo di parola. Il problema è che questo sistema costringe l'insegnante a dare del tempo a tutti, anche agli studenti che stanno sussurrando del tempo o guardando fuori dalla finestra. In una foto di un gatto, quei pezzi che "sussurrano" potrebbero essere l'erba dello sfondo o una parete sfocata. Poiché l'insegnante non può dire "no" a loro, questi vengono mescolati nella storia finale, confondendo talvolta il robot su ciò che sta effettivamente guardando.

È qui che entra in gioco una nuova idea chiamata "Screening" (Selezione). Inventata originariamente per la lettura di testi, lo Screening è come un rigoroso buttafuori all'ingresso di un club. Invece di ripartire la luce dei riflettori tra tutti, il buttafuori controlla l'identità (rilevanza) di ogni persona rispetto a una regola specifica. Se non soddisfi lo standard, non entri affatto. Ricevi un "no" netto. Questo articolo, intitolato "Screening Is Effective for Visual Recognition" di Shunya Shimomura e Kazuhiro Hotta della Meijo University, pone una grande domanda: Possiamo usare questo stile di Selezione da "buttafuori" per le immagini, non solo per le parole? Propongono un nuovo modello chiamato VisionScreen. Invece di costringere ogni pezzo del puzzle a competere per l'attenzione, VisionScreen permette a ogni pezzo di decidere indipendentemente se i suoi vicini siano effettivamente rilevanti. Se una porzione di erba sullo sfondo non è importante per il gatto, VisionScreen può escluderla esplicitamente dalla conversazione. Gli autori suggeriscono che facendo questo, il robot può concentrarsi puramente sul gatto, ignorando il rumore, e diventare migliore nel riconoscere le cose senza aver bisogno di un cervello più grande e complicato.

Il Nuovo Modello: VisionScreen

Gli autori hanno costruito VisionScreen per risolvere il problema della "competizione in classe" dei classici ViT. In un normale ViT, se un pezzo dell'orecchio di un gatto sta parlando con un pezzo dello sfondo, il pezzo dello sfondo potrebbe comunque ricevere un briciolo di attenzione solo perché il pezzo dell'orecchio sta parlando con qualcuno. È un gioco relativo; ottieni attenzione solo se sei migliore degli altri pezzi rumorosi. VisionScreen cambia le regole in un gioco assoluto. Chiede: "Questo pezzo è rilevante?". Se la risposta è "no", il punteggio di rilevanza è zero e il pezzo viene completamente ignorato.

Per far sì che questo funzioni per le immagini, il team ha dovuto fare un po' di ingegneria creativa. Le immagini sono griglie bidimensionali (come una scacchiera), mentre lo Screening originale era progettato per linee di testo monodimensionali (come una frase). Gli autori hanno esteso il meccanismo per gestire questo spazio 2D. Hanno introdotto una "spatial softmask" (maschera morbida spaziale), che agisce come una bolla invisibile e flessibile attorno a ogni pezzo del puzzle. All'interno di questa bolla, il pezzo può parlare con i suoi vicini. La dimensione di questa bolla non è fissa; il modello impara quanto debba essere grande per ogni compito specifico. Alcune parti del modello potrebbero aver bisogno di una bolla piccola per osservare i dettagli fini (come i baffi), mentre altre potrebbero aver bisogno di una bolla enorme per vedere l'intero corpo del gatto.

Cosa Hanno Scoperto

Il team ha testato VisionScreen su due famosi dataset di immagini: ImageNet-1k (una vasta collezione di 1,2 milioni di immagini) e CIFAR-100 (un set più piccolo di 60.000 immagini con 100 diverse categorie). Hanno confrontato il loro nuovo modello con una versione standard e ridotta di un Vision Transformer chiamato ViT-Tiny/16.

I risultati sono stati promettenti. Su ImageNet-1k, VisionScreen ha raggiunto un'accuratezza top-1 del 72,5%, mentre il ViT-Tiny/16 standard ha raggiunto solo il 68,1%. Si tratta di un guadagno di 4,4 punti percentuali. Sul dataset più piccolo CIFAR-100, VisionScreen ha ottenuto il 52,4%, superando il 50,3% del modello standard. Interessantemente, VisionScreen ha ottenuto tutto questo utilizzando leggermente meno parametri (circa 5,4 milioni rispetto ai 5,7 milioni del ViT). Ciò suggerisce che il modello non è diventato migliore solo perché era più grande; è diventato migliore perché è stato più intelligente su ciò a cui prestare attenzione.

Vedere la Differenza

Per capire perché VisionScreen funzionasse meglio, gli autori hanno guardato "sotto il cofano". Hanno visualizzato come il modello "vedeva" le immagini. Osservando l'immagine di un pesce (specificamente un Tench), il ViT standard sembrava distrarsi. Prestava attenzione alla canna da pesca e al mulinello sullo sfondo, mescolando questi dettagli nell'idea di cosa fosse un pesce. Era come se il bibliotecario si confondesse con il rumore di fondo.

Al contrario, VisionScreen era molto più concentrato. Ha esplicitamente rifiutato l'attrezzatura da pesca e l'acqua circostante, concentrando la sua attenzione quasi interamente sul pesce stesso. Le visualizzazioni hanno mostrato che VisionScreen non ha distribuito la sua attenzione sottilmente su tutta l'immagine. Inveve, ha creato connessioni nitide e chiare tra le parti rilevanti del pesce. Ciò suggerisce che, usando la rilevanza assoluta (il buttafuori) invece della competizione relativa (il voto in classe), il modello ha imparato a ignorare le "correlazioni spurie" — quelle connessioni accidentali tra un gatto e un certo tipo di erba, o un pesce e una canna da pesca.

Le Note Tecniche

Gli autori sottolineano con cautela che, sebbene questi risultati siano solidi, si basano su esperimenti specifici. Hanno addestrato i modelli da zero su questi dataset e hanno scoperto che VisionScreen non solo ha ottenuto punteggi più alti, ma ha anche mostrato una "validation loss" inferiore (una misura dell'errore) durante l'addestramento, suggerendo che il processo di apprendimento sia stato più stabile. Hanno anche testato un meccanismo di "gating" (un interruttore che accende o spegne le caratteristiche) e hanno scoperto che rimuoverlo ha ridotto l'accuratezza dello 0,7%, suggerendo che questo interruttore aiuta a perfezionare il focus del modello.

Tuttove, il documento non sostiene che questa sia la soluzione definitiva per tutta la visione artificiale. Gli autori suggeriscono che questo metodo sia una potente alternativa allo standard attuale, offrendo un modo per costruire modelli che siano più efficienti e meno soggetti a distrazioni. Concludono che lo Screening può essere efficace per la visione artificiale, offrendo una nuova strada in cui i modelli imparano a dire "no" alle informazioni irrilevanti, proprio come un buon lettore ignora il rumore in una biblioteca per concentrarsi sulla storia.