Riassunto Tecnico: ReToken

Definizione del Problema

I Modelli Vision-Language (VLM) affrontano sfide significative quando elaborano contesti visivi lunghi, come collezioni di immagini o video di un'ora. Emergono due problemi primari:

1. Degradazione delle Prestazioni: Man mano che il numero di immagini o fotogrammi di distrazione aumenta, le prestazioni del modello calano perché l'informazione rilevante viene sepolta all'interno di un vasto pool di dati irrilevanti.
2. Infattibilità Computazionale: Elaborare tutti i token visivi simultaneamente spesso supera i vincoli di memoria della GPU, rendendo impossibile l'inferenza a contesto completo per video lunghi.

Le soluzioni attuali si affidano spesso al recupero basato sull'attenzione (attention-based retrieval), dove i punteggi di attenzione interni del modello (interazioni query-key) vengono utilizzati per selezionare i fotogrammi rilevanti. Tuttavia, gli autori identificano che nei VLM pre-addestrati, questi segnali di attenzione sono inaffidabili per il recupero visivo. La correlazione tra i punteggi di attenzione e la rilevanza della query è debole, portando a una scarsa capacità di richiamo (ad esempio, solo il 5,1% di Recall@1 attraverso i layer sul benchmark QAEgo4DTest-MC). Inoltre, i meccanismi di attenzione standard sono addestrati per la predizione del next-token, non per la selezione di specifici input visivi, e la media dei token della domanda introduce rumore che degrada ulteriormente le prestazioni di recupero.

Metodologia: ReToken

Il paper propone ReToken, un meccanismo di recupero leggero e apprendibile progettato per operare nello spazio dei valori (value space) del transformer piuttosto che nel convenzionale spazio query-key.

Intuizioni Chiave

• Superiorità dello Spazio dei Valori: Gli autori osservano che, sebbene i punteggi query-key siano rumorosi, le proiezioni dei valori (value projections) dei token trasportano il contenuto effettivo propagato attraverso l'attenzione. Il pooling dei vettori di valore fornisce un segnale più discriminativo per il recupero visivo basato sul testo.
• Recupero Mirato: Invece di fare la media di tutti i token della domanda (il che introduce rumore), ReToken utilizza un singolo embedding apprendibile aggiunto al prompt della domanda. Questo token è esplicitamente addestrato per agare come target di recupero.

Architettura e Addestramento

• Token Apprendibile: Un singolo embedding apprendibile ($X_r$) viene aggiunto ai token della domanda in input.
• Proiezione: Una matrice di proiezione leggera ($W_r$) mappa l'output dell'ultimo layer di ReToken in un vettore di query di recupero ($Z_r$).
• Meccanismo di Scoring: Per ogni fotogramma $f$, il modello calcola il vettore valore medio ($\bar{v}_f^{(N)}$) dall'ultimo layer del VLM. Il punteggio di recupero è la similarità del coseno tra il ReToken proiettato e il vettore valore medio del fotogramma.
• Funzione di Perdita: Il sistema è supervisionato tramite una perdita di cross-entropy binaria bilanciata per classe rispetto alle etichette di rilevanza reali. La perdita incoraggia punteggi elevati per i fotogrammi rilevanti e punteggi bassi per i distrattori.
• Regime di Addestramento: Per impostazione predefinita, il backbone del VLM è congelato (frozen). Solo l'embedding ReToken e la matrice di proiezione vengono aggiornati. Viene esplorata anche una variante di fine-tuning parziale (addestrando i primi livelli), che però si è rivelata meno efficace per il trasferimento su video.

Pipeline di Inferenza

ReToken impiega una pipeline two-pass retrieve-then-answer (recupera-e-rispondi):

1. Cache: Il video viene codificato una sola volta e le cache Key-Value (KV) per ogni layer vengono memorizzate in una cache persistente.
2. Recupero (Pass 1): Data una domanda, il ReToken viene aggiunto e il modello esegue un passaggio forward sul contesto visivo in cache. L'ultimo layer calcola i punteggi di recupero per selezionare i top-$K$ fotogrammi rilevanti.
3. Risposta (Pass 2): Un secondo passaggio forward genera la risposta, prestando attenzione solo alla cache KV dei top-$K$ fotogrammi selezionati. Ciò assicura che il processo di generazione corrisponda alla distribuzione di addestramento (dove il recupero era determinato all'ultimo layer).

Contributi Chiave

1. Diagnosi dei Limiti dell'Attenzione: Il paper dimostra che il recupero basato sull'attenzione (query-key) è inefficace nei VLM pre-addestrati, mentre lo spazio dei valori fornisce un segnale significativamente più forte per il recupero di informazioni visive.
2. Meccanismo ReToken: Introduzione di un singolo token apprendibile che consente ai VLM pre-addestrati di identificare le informazioni visive rilevanti in modo più efficace senza richiedere un intero ri-addestramento del modello.
3. Trasferimento Zero-Shot: Dimostrazione che un ReToken addestrato esclusivamente su dati di QA multi-immagine con contesto breve generalizza con successo alla comprensione di video lunghi senza ulteriore addestramento specifico per il video.

Risultati Sperimentali

Il metodo è stato valutato su benchmark di immagini e video, mostrando miglioramenti costanti rispetto ai baseline:

• Visual Haystacks (Recupero Immagini):
  • Sul benchmark Visual Haystacks, ReToken ha migliorato Qwen3VL-8B di 13,4 punti e InternVL3.5 di 12,4 punti (un guadagno relativo superiore al 20%) in presenza di 50 immagini di distrazione.
  • Ha raggiunto l'88,5% di Recall@1 nel task a 2 immagini e il 64,7% in quello a 50 immagini, superando significativamente i recuperatori basati sull'attenzione (ReKV) e i modelli di embedding esterni (SigLIP2).
• Comprensione di Video Lunghi:
  • QAEgo4DTest-MC: Con un budget di recupero ristretto ($K=1$), ReToken ha ottenuto un miglioramento di 6,8 punti rispetto al campionamento uniforme e ha superato il recupero basato sull'attenzione.
  • LVBench: ReToken si è trasferito zero-shot su video lunghi (lunghezza media >1 ora), ottenendo un incremento di accuratezza di 8,0 punti per Qwen3VL-8B.
  • Video-MME: Sono stati osservati guadagni significativi sulle divisioni di video medi e lunghi, mentre i video brevi (sotto i 2 minuti) non hanno mostrato guadagni poiché cadevano al di sotto del budget di input per il recupero.
• Efficienza:
  • Sia l'addestramento che l'inferenza su video lunghi rientrano in una singola GPU H100.
  • Il passaggio di recupero aggiunge solo circa 0,4 secondi di latenza per domanda, mentre la costosa codifica del video viene eseguita una sola volta per video.

Significato e Rivendicazioni

Il paper afferma che ReToken offre una via pratica verso un ragionamento multimodale a contesto lungo scalabile. Identificando che lo spazio dei valori trasporta un segnale allineato al testo più forte rispetto allo spazio query-key, gli autori forniscono una soluzione semplice e leggera che evita la necessità di complessi recuperatori esterni o del fine-tuning completo del modello.

Il lavoro evidenzia che:

• Il recupero nello spazio dei valori è più robusto alle query rumorose rispetto allo spazio query-key.
• Un singolo token apprendibile può sostituire efficacementamente pipeline di recupero complesse.
• Le abilità apprese su QA multi-immagine a contesto breve possono trasferirsi alla comprensione di video lunghi, suggerendo che la capacità fondamentale di allineare il testo con il contenuto visivo è preservata anche nei modelli congelati.

Gli autori riconoscono i limiti, notando che ReToken attualmente fatica con domande che richiedono prove disperse nell'intero video (ad esempio, la sintesi) e che le sue prestazioni sui task video potrebbero potenzialmente essere migliorate addestrandolo su dati video per catturare meglio le strutture temporali. Tuttavia, il trasferimento zero-shot attuale dalle immagini ai video è presentato come un passo significativo in avanti per i VLM a contesto lungo efficienti.