Do Visual Grounding Decoders Need Feed-Forward Networks? A Controlled Study over Frozen Vision-Language Features

Immaginate un computer capace di guardare una fotografia e comprendere una frase che descrive una parte specifica di quell'immagine, come ad esempio "il cane seduto sulla sedia rossa". Questa capacità, nota come grounding visivo, si basa su un complesso sistema interno che agisce come un traduttore, accoppiando le parole ai pixel. Per anni, il design standard per questo traduttore ha incluso due distinti tipi di passaggi di elaborazione. Il primo passaggio, chiamato attenzione, permette al sistema di scansionare l'immagine e la frase simultaneamente, decidendo quali parti dell'immagine sono rilevanti per le parole che vengono lette. Il secondo passaggio, noto come rete feed-forward, agisce come un calcolatore locale che elabora ogni pezzo di informazione individualmente, applicando una trasformazione non lineare per affinare i dettagli prima di trasmetterli oltre.

La domanda che i ricercatori si sono posti è se entrambi i passaggi siano davvero necessari quando il computer sta già utilizzando un enorme cervello pre-addestrato per svolgere il lavoro pesante. Nei sistemi moderni, un grande modello pre-addestrato converte prima l'immagine e il testo in una rappresentazione ricca e contestualizzata. Un decoder più piccolo e addestinabile si posiziona poi sopra questa base per individuare l'esatta posizione. Poiché il lavoro pesante di comprensione del mondo è già stato svolto dal grande modello, non è chiaro se il decoder più piccolo abbia ancora bisogno dei propri calcolatori locali, o se il solo meccanismo di scansione sia sufficiente per trovare l'obiettivo. Questa incertezza è importante perché rimuovere parti non necessarie potrebbe rendere questi sistemi più veloci e piccoli, il che è fondamentale per farli girare su dispositivi di uso quotidiano.

Un ricercatore ha deciso di rispondere a questo quesito conducendo un esperimento controllato in cui ha rimosso i calcolatori locali dal decoder mantenendo tutto il resto esattamente uguale. Ha costruito tre versioni di un decoder per testare questa idea. La prima versione conteneva quattro blocchi del meccanismo di scansione ma nessun calcolatore locale. La seconda versione era identica per dimensioni e struttura, ma includeva i calcolatori locali in ogni blocco. La terza versione era un gruppo di controllo che raddoppiava il numero di blocchi di scansione per eguagliare il numero totale di impostazioni regolabili della seconda versione, assicurando che qualsiasi differenza nelle prestazioni fosse dovuta al tipo di elaborazione e non solo alla quantità di potenza di calcolo disponibile. Ha testato queste versioni su diversi dataset, che spaziavano da descrizioni d'immagine standard a frasi più difficili e insidiose progettate per confondere il sistema.

I risultati hanno rivelato un quadro sfumato piuttosto che un semplice sì o no. Su descrizioni standard e dirette, la versione senza i calcolatori locali si è comportata altrettanto bene, o in alcuni casi leggermente meglio, della versione con essi. Ciò suggerisce che per molti compiti comuni, il solo meccanismo di scansione è sufficiente per recuperare l'informazione corretta dalla base pre-addestrata. Tuttavia, quando il ricercatore ha testato il sistema su un dataset progettato specificamente per misurare il ragionamento compositivo complesso, la versione senza i calcolatori ha mostrato un calo di accuratezza piccolo ma misurabile. Ha mancato l'obiettivo leggermente più spesso rispetto alla versione con i calcolatori. Ciò ha indicato che i calcolatori locali forniscono effettivamente un beneficio quando il compito richiede di assemblare più pezzi di informazione in un modo specifico.

Fondamentalmente, il ricercatore ha scoperto che questo svantaggio non era permanente. Quando ha fornito alla versione senza calcolatori più blocchi di scansione per compensare le parti mancanti, ha recuperato l'accuratezza perduta e pareggiato le prestazioni della versione con i calcolatori. Questa scoperta sposta la comprensione di ciò di cui il sistema ha bisogno: non è che i calcolatori locali siano unicamente essenziali, ma piuttosto che il sistema necessita di una certa quantità di capacità per svolgere il lavoro. Se i calcolatori vengono rimossi, tale capacità può essere sostituita aggiungendo più strati al meccanismo di scansione. Lo studio ha anche mostato che rimuovere i calcolatori riduceva il numero di impostazioni regolabili nel decoder di quasi la metà e rendeva il passaggio di decoding leggermente più veloce, sebbene la velocità complessiva del sistema rimanesse dominata dal grande modello pre-addestrato all'inizio.

Il ricercatore ha anche testato se il sistema sarebbe fallito più spesso su frasi difficili, come quelle con negazioni o molti oggetti di distrazione, aspettandosi che la mancanza di calcolatori causasse un declino costante delle prestazioni all'aumentare della difficoltà. Invece, ha scoperto che non esisteva tale schema. Il sistema non è crollato sotto pressione in modo prevedibile, e la difficoltà della frase non ha predetto costantemente se i calcolatori fossero necessari. Ciò suggerisce che la necessità di questi componenti non è legata a una regola semplice del tipo "compito più difficile uguale più calcolatori".

In definitiva, lo studio conclude che per un sistema di grounding visivo costruito sopra un modello pre-addestrato, i calcolatori locali non sono universalmente richiesti. Possono essere rimossi senza danneggiare le prestazioni nei compiti standard, e il loro contributo specifico può essere sostituito aumentando la profondità del meccanismo di scansione se il compito lo richiede. Le scoperte suggeriscono che l'architettura di questi sistemi può essere semplificata e resa più efficiente, a condizione che la quantità totale di potenza di elaborazione venga mantenuta attraverso altri mezzi. Ciò offre una via chiara per progettare modelli più piccoli ed efficienti che possano comunque localizzare accuratamente gli oggetti nelle immagini basandosi sul linguaggio, senza fare affidamento su ogni componente del design tradizionale.