Riepilogo Tecnico: Attenzione dello Sguardo per Modelli Linguistici Multimodali di Grande Dimensione

Enunciato del Problema

I Modelli Linguistici Multimodali di Grande Dimensione (MLLM) attuali elaborano gli input visivi prestando attenzione in modo uniforme a tutti i token visivi a ogni passo di generazione. Questo meccanismo di "attenzione densa" porta a due problemi principali:

1. Focus Diluito: Il modello elabora regioni visive irrilevanti insieme a quelle pertinenti al compito, non riuscendo a imitare la natura selettiva della percezione visiva umana, in cui lo sguardo si sposta dinamicamente per fissare le regioni pertinenti alla descrizione intesa.
2. Sovraccarico Computazionale: Prestare attenzione all'intera sequenza di token visivi (che può essere massiccia in immagini ad alta risoluzione o video lunghi) crea oneri computazionali e di memoria significativi, in particolare nella cache Key-Value (KV).

Gli approcci esistenti per mitigare questo problema, come la compressione dei token o l'evizione della cache KV, determinano tipicamente quali informazioni visive conservare prima dell'inizio della generazione (ad esempio, basandosi su una stima di rilevanza una tantum dalla domanda di input). Questi metodi statici spesso scartano dettagli granulari o non riescono ad adattarsi quando i passi successivi di generazione richiedono informazioni da regioni diverse, precedentemente scartate. Manca loro la capacità di selezionare dinamicamente le regioni visive a ogni passo di decodifica.

Metodologia: Attenzione dello Sguardo

Gli autori propongono l'Attenzione dello Sguardo, un meccanismo che permette agli MLLM di prestare attenzione selettiva alle regioni visive pertinenti al compito in modo dinamico durante il processo di generazione. Il metodo è composto da tre componenti fondamentali:

1. Regioni dello Sguardo e Descrittori

Invece di trattare i token visivi come una sequenza piatta, il metodo raggruppa spazialmente i vettori chiave visivi (dalla cache KV) in regioni dello sguardo compatte.

• Partizionamento: Le chiavi visive vengono ridisposte nella loro disposizione spaziale originale (e temporale, per i video) e partizionate in regioni di dimensione $r_h \times r_w \times r_t$.
• Descrittori: Ogni regione è riassunta da un descrittore leggero ($d_g$), ottenuto mediante media pooling dei vettori chiave all'interno di quella regione. Ciò riduce l'insieme dei candidati dalla sequenza completa di token al livello di regione.
• Instradamento Dinamico: A ogni passo di decodifica $j$, il token query $q_j$ calcola i punteggi di similarità con tutti i descrittori di regione. Il modello seleziona le $K$ regioni più rilevanti ($G_j$) e limita il meccanismo di attenzione a prestare attenzione solo alle coppie chiave-valore all'interno di queste regioni selezionate.
• Stabilità: Per affrontare l'instabilità di formazione intrinseca nell'apprendimento di un'attenzione sparsa da zero, viene adottato un programma progressivo Top-K. L'addestramento inizia con una configurazione densa (selezionando tutte le regioni) e riduce gradualmente $K$ man mano che l'addestramento procede, permettendo al modello di apprendere segnali di instradamento discriminativi senza essere forzato a decisioni sparse premature.

2. Token di Contesto Apprendibili

Per prevenire la perdita di informazioni globali sulla scena causata dall'attenzione localizzata, gli autori introducono token di contesto apprendibili.

• Un piccolo insieme di token apprendibili viene aggiunto a ogni immagine o fotogramma video all'input dell'MLLM.
• Questi token formano chiavi di riepilogo compatte ($K_C$) che rimangono visibili durante tutto il processo di generazione, indipendentemente da quali specifiche regioni dello sguardo siano selezionate.
• Ciò garantisce che il modello mantenga una consapevolezza visiva olistica (contesto globale) mentre esegue un'attenzione selettiva e granulare sulle regioni locali, analogamente a come gli esseri umani percepiscono una scena nel suo insieme prima di concentrarsi sui dettagli.

3. Formulazione Unificata dell'Attenzione

Il meccanismo di attenzione finale combina tre fonti di coppie Chiave-Valore per una qualsiasi query data:

1. Token testuali.
2. Token di contesto globale ($K_C$).
3. Token visivi dalle regioni dello sguardo selezionate dinamicamente ($K_{selected}$).

Questa formulazione permette al modello di mantenere la coerenza linguistica e la consapevolezza visiva globale, allocando al contempo la maggior parte del proprio budget computazionale visivo alle regioni pertinenti al compito.

Contributi Chiave

• Attenzione Selettiva Dinamica: A differenza dei metodi precedenti che fissano l'attenzione visiva basandosi su punteggi di importanza pre-calcolati, l'Attenzione dello Sguardo instrada le query verso le regioni rilevanti a ogni passo di generazione, adattandosi alle esigenze evolutive del testo in generazione.
• Efficienza senza Perdita Globale: Il metodo ottiene significativi risparmi computazionali limitando l'attenzione a un sottoinsieme di regioni, preservando al contempo il contesto globale attraverso token apprendibili, evitando l'"sfocatura" o lo "scarto" di dettagli comuni nella compressione dei token o nei metodi di evizione statica.
• Comportamento dello Sguardo Emergente: Il modello impara a spostare il suo "sguardo" per abbinare il soggetto del token generato (ad esempio, concentrandosi su un cane quando genera la parola "cane") esclusivamente attraverso la previsione del prossimo token, senza supervisione esplicita dello sguardo.

Risultati

Gli autori hanno valutato l'Attenzione dello Sguardo su 13 benchmark di comprensione di immagini e 6 di comprensione di video, confrontandola con baseline a attenzione densa e metodi esistenti di evizione della cache KV (ad esempio, InfiniPot-V, HERMES).

• Prestazioni: L'Attenzione dello Sguardo eguaglia o supera le baseline a attenzione densa in tutti i benchmark. In alcuni casi, supera le baseline anche con dimensioni della cache KV significativamente ridotte.
• Efficienza: Il metodo riduce il numero di voci KV visive coinvolte nel calcolo dell'attenzione fino al 90%.
  • Nei compiti di immagine, mantiene le prestazioni con circa il 16% dei FLOP dell'attenzione densa.
  • Nei compiti di video, supera le baseline a attenzione densa vincolate allo stesso budget KV.
• Confronto con i Metodi di Evizione: I metodi di evizione esistenti (InfiniPot-V, HERMES) subiscono cali di prestazioni significativi quando riducono aggressivamente la dimensione della cache KV, in particolare nelle impostazioni a singola immagine, perché non possono adattare la loro selezione una volta iniziata la generazione. L'Attenzione dello Sguardo rimane robusta sotto compressioni simili o più aggressive.
• Visualizzazione: Le visualizzazioni delle mappe di attenzione confermano che l'Attenzione dello Sguardo produce pattern di attenzione concentrati e interpretabili focalizzati su oggetti rilevanti, mentre l'attenzione densa produce pattern diffusi e ambigui.

Significato e Affermazioni

Il documento afferma che permettere agli MLLM di prestare attenzione selettiva alle regioni visive rilevanti è un'alternativa promettente all'attenzione densa. Imitando il comportamento dello sguardo umano—spostando dinamicamente il focus in base al passo di generazione corrente—l'Attenzione dello Sguardo offre un percorso per:

1. Ridurre i Costi Computazionali: Ridurre significativamente i FLOP e l'uso di memoria (fino a una riduzione di circa l'80% nei FLOP di attenzione e dell'80% nella memoria della cache KV) senza sacrificare le prestazioni.
2. Migliorare l'Interpretabilità: Generare mappe di attenzione concentrate che si allineano con il contenuto semantico del testo generato.
3. Potenziare l'Adattabilità: Permettere ai modelli di accedere a diversi dettagli visivi in diverse fasi della generazione, superando i limiti della selezione visiva statica e pre-calcolata.

Gli autori notano che questo approccio colma il divario tra meccanismi di attenzione efficienti (tipicamente studiati per il testo) e attenzione visiva selettiva per la comprensione multimodale, dimostrando che alte prestazioni possono essere raggiunte con una frazione del contesto visivo elaborato.