I moderni sistemi di intelligenza artificiale in grado di vedere e parlare stanno diventando straordinariamente capaci, eppure comportano un pesante onere computazionale. Questi modelli vision-language funzionano convertendo prima un'immagine in una lunga sequenza di piccoli pezzi digitali, spesso chiamati token, che rappresentano diverse parti dell'immagine. Una fotografia standard può essere suddivisa in centinaia di questi pezzi. Il sistema elabora quindi l'intera sequenza insieme al testo, molto simile a un essere umano che legge una frase mentre guarda un diagramma. Il problema è che le operazioni matematiche necessarie per connettere questi pezzi crescono esponenzialmente all'aumentare del numero di pezzi. Se un'immagine genera 576 token, il computer deve compiere un lavoro enorme per capire come si relazionano tra loro, anche se molti di quei token rappresentano dettagli di sfondo non importanti come un muro vuoto o una chiazza di cielo. Questa inefficienza rende difficile eseguire questi potenti sistemi su hardware standard o utilizzarli per compiti in tempo reale come l'analisi video.

I ricercatori hanno cercato a lungo di risolvere questo problema rimuovendo i pezzi non necessari prima che il sistema inizi a lavorare. Alcuni metodi agiscono come un filtro all'inizio, scartando i token basandosi esclusivamente sull'aspetto dell'immagine. Altri aspettano che il sistema abbia iniziato a elaborare insieme testo e immagine, rimuovendo i pezzi che sembrano irrilevanti rispetto alla domanda specifica posta. Tuttavia, entrambi gli approcci presentano un punto cieco. I filtri precoci spesso scartano dettagli importanti perché non conoscono ciò che l'utente sta chiedendo, mentre i filtri successivi sprecano energia elaborando l'intera immagine prima di poter eliminare qualsiasi cosa. Un nuovo studio introduce un approccio unificato che combina i punti di forza di entrambi i metodi, creando un percorso più efficiente per questi sistemi intelligenti.

I ricercatori, guidati da Jianhua Cui e Meizhou Ding, hanno sviluppato un framework chiamato UniPrune, che tratta la riduzione dei token come un viaggio in due fasi piuttosto che come un evento singolo. Immaginate di cercare di preparare una valigia per un viaggio senza sapere ancora il meteo esatto. Non buttereste semplicemente tutto dentro sperando nel meglio, né cerchereste di decidere cosa tenere dopo aver già riempito l'intera borsa. Invece, potreste prima raggruppare gli oggetti simili e tenere i più rappresentativi, poi, una volta conosciuta la destinazione, fareste una selezione finale più precisa. Questo è essenzialmente ciò che fa UniPrune. Esegue prima una pulizia ampia dei dati dellari immagini utilizzando i pattern visivi, e poi, man mano che il sistema inizia a comprendere il contesto di una domanda, esegue una seconda pulizia più netta.

La prima fase di questo processo avviene subito dopo che l'immagine è stata scansionata e prima che il modello linguistico intervenga. Il sistema raggruppa i token visivi in cluster basati sulla loro somiglianza, proprio come si potrebbero ordinare un mucchio di foto miste in base al loro soggetto generale. Da ogni gruppo, mantiene il token più importante e scarta gli altri. Questo rimuove le ridondanze ovvie, come più token che rappresentano la stessa chiazza di cielo blu. Tuttavia, i ricercatori si sono resi conto che tagliare semplicemente il numero di token della metà in questa fase potrebbe essere rischioso. Se il sistema taglia troppo aggressivamente troppo presto, potrebbe perdere un token che potrebbe essere cruciale per rispondere a una domanda specifica in seguito. Per risolvere questo, hanno introdotto una strategia di budgeting dinamico. Invece di usare una regola fissa per quanti token mantenere in questa prima fase, il sistema misura la complessità dell'immagine. Un'immagine semplice con un soggetto chiaro riceve un budget più stretto, mentre una scena complessa e affollata può mantenere più token. Ciò garantisce che il sistema conservi abbastanza dettagli per gestire domande difficili senza sprecare energia per quelle semplici.

Una volta effettuata questa selezione iniziale, i token rimanenti vengono passati al grande modello linguistico, che inizia a elaborarli insieme al testo. Qui, il sistema impiega una seconda strategia di pruning che funziona come una piramide. Man mano che i dati si muovono attraverso gli strati più profondi del modello, il sistema rimuove gradualmente più token. La logica è che, man mano che il modello comprende meglio l'immagine nel contesto della domanda, diventa più chiaro quali pezzi di informazione non sono più necessari. I ricercatori hanno scoperto che il modo più efficace per dividere il lavoro tra queste due fasi non è dividere i token equamente, ma seguire un equilibrio matematico specifico. Hanno scoperto che il numero ideale di token da mantenere dopo la prima fase è approssimativamente la radice quadrata del prodotto tra il numero iniziale e il numero target finale. Questa regola empirica, che chiamano budget consapevole dell'informazione (information-aware budget), permette al sistema di trovare un punto di equilibrio in cui risparmia abbastanza potenza di calcolo senza sacrificare la capacità di rispondere accuratamente alle domande.

Per assicurarsi che la prima fase non cancelli accidentalmente token che la seconda fase avrebbe trovato utili, i ricerci hanno aggiunto un terzo livello di intelligenza. Hanno analizzato come i token visivi interagiscono tra loro all'interno dell'encoder dell'immagine stesso. Hanno scoperto che alcuni token agiscono come integratori globali, connettendo le informazioni attraverso l'intera immagine, mentre altri sono solo rilevatori locali. Assegnando un peso extra a questi integratori globali durante il primo taglio, il sistema assicura che i token passati al modello linguistico formino una base di alta qualità. Questa "continuità tra le fasi" (cross-stage continuity) significa che la seconda fase ha un punto di partenza migliore, permettendole di prendere decisioni più intelligenti su cosa rimuovere in seguito.

I risultati dei test di questo framework su due grandi famiglie di modelli vision-language sono stati sorprendenti. Quando i ricercatori hanno spinto i sistemi ai loro limiti estremi, mantenendo solo una minuscola frazione dei token originali — talvolta appena 24 su 576 — il nuovo metodo ha superato significativamente le tecniche esistenti. I metodi a stadio singolo, che cercano di fare tutto il taglio in una volta sola, hanno visto la loro accuratezza crollare drasticamente in queste condizioni. Al contrario, l'approccio a due fasi di UniPrune ha mantenuto alte prestazioni, rispondendo correttamente a domande su oggetti e scene che altri metodi hanno mancato. Ad esempio, in un test standard di comprensione visiva, il nuovo metodo ha mantenuto oltre il 90% delle prestazioni del modello completo non compresso, pur utilizzando solo una frazione della potenza di calcolo.

Oltre all'accuratezza, lo studio ha misurato i benefici pratici per l'esecuzione di questi modelli su hardware reale. Riducendo il numero di token precocemente nel processo, il sistema ha abbassato drasticamente la memoria di picco necessaria per eseguire il modello. Questo è un fattore critico per l'implementazione di queste tecnologie su dispositivi con risorse limitate. I ricercatori hanno calcolato che il nuovo metodo ha ridotto il lavoro computazionale totale di oltre la metà rispetto all'esecuzione del modello senza alcun pruning, e ancora di più rispetto ai metodi che aspettano la fine per tagliare i token. L'overhead aggiunto dai nuovi meccanismi di budgeting e punteggio intelligente è stato trascurabile, occupando meno dell'uno percento del tempo totale, il che significa che i guadagni di efficienza sono quasi interamente puri.

Lo studio suggerisce che la chiave per un'intelligenza artificiale efficiente non è solo tagliare gli angoli, ma capire dove e quando tagliare. Riconoscendo che la ridondanza visiva assume due forme diverse — una basata sull'immagine stessa e un'altra basata sul compito da svolgere — i ricercatori hanno creato un sistema che le gestisce entrambe. Le conclusioni indicano che un approccio unificato a più fasi è superiore al tentativo di risolvere il problema in un unico passaggio. Questo lavoro fornisce una chiara strada da seguire per rendere i potenti modelli vision-language più veloci e accessibili, dimostrando che con la giusta strategia, possiamo eliminare l'eccesso senza perdere l'essenza di ciò che rende questi sistemi intelligenti.