Riepilogo Tecnico: Ragionamento Latente Allineato alla Visione per Modelli Linguistici di Grande Dimensione Multimodale

1. Enunciato del Problema

Nonostante significativi progressi nei Modelli Linguistici di Grande Dimensione Multimodali (MLLM) per compiti come la descrizione di immagini e la risposta a domande visive (VQA), questi modelli faticano con problemi che richiedono un ragionamento esteso a più passaggi. Il collo di bottiglia principale è la diluzione progressiva delle informazioni visive durante la generazione in contesti lunghi. Man mano che la lunghezza della sequenza di testo generata aumenta, la capacità del modello di mantenere e sfruttare i segnali visivi diminuisce, ostacolando l'applicazione delle leggi di scalabilità al momento del test osservate nei modelli linguistici puri.

Gli approcci esistenti per potenziare il ragionamento spesso si basano su:

• Metodi centrati sul testo: Affinamento supervisionato (SFT) o apprendimento per rinforzo che si concentrano su catene di pensiero (CoT) linguistiche, ma soffrono di attenuazione del segnale visivo su sequenze lunghe.
• Reintroduzione statica della visione: Intercalazione di token visivi o generazione di immagini. Tuttavia, questi metodi trattano tipicamente le caratteristiche visive come un contesto iniziale fisso o si affidano a caratteristiche statiche a vista singola, portando a una graduale perdita del contesto visivo man mano che il ragionamento procede.

2. Metodologia: Ragionamento Latente Allineato alla Visione (VaLR)

Gli autori propongono il Ragionamento Latente Allineato alla Visione (VaLR), un framework progettato per generare dinamicamente token latenti allineati alla visione prima di ogni passaggio di ragionamento. Questo approccio crea "checkpoint visivi" che ancorano il processo di ragionamento a segnali percettivi nello spazio latente, prevenendo il decadimento delle informazioni visive.

Meccanismo Principale

VaLR opera alternando due modalità durante l'inferenza:

1. Modalità Linguistica: Genera token di testo standard per la risposta.
2. Modalità Latente: Genera "token di ragionamento latente" non testuali che non sono direttamente visibili ma fungono da passaggi intermedi di ragionamento.

Crucialmente, durante la modalità latente, il modello viene addestrato ad allineare i suoi stati intermedi nascosti con rappresentazioni visive dense estratte da encoder visivi esterni pre-addestrati (ad esempio DINOv2/v3, CLIP, SigLIP, $\pi^3$).

Pipeline di Addestramento

VaLR impiega una strategia di apprendimento curricolare in due fasi:

• Fase 1 (SFT Standard): Il modello viene affinato su dataset VQA CoT generali per stabilire capacità fondamentali di ragionamento multimodale. L'encoder visivo viene congelato e viene addestrato solo il backbone linguistico.
• Fase 2 (Addestramento dei Token Latenti con REPA): Il modello viene addestrato a inserire $K$ token latenti prima di ogni passaggio di ragionamento linguistico. Viene introdotta una funzione di perdita di Allineamento delle Rappresentazioni (REPA) per allineare le caratteristiche intermedie dell'MLLM con le caratteristiche provenienti da encoder visivi esterni.
  • Obiettivo di Allineamento: La funzione di perdita massimizza la similarità del coseno tra le caratteristiche intermedie proiettate dell'MLLM e le caratteristiche visive a patch estratte dal frame di immagine corrispondente dall'encoder visivo.
  • Allineamento Multi-Encoder: Il framework supporta l'allineamento con più encoder visivi simultaneamente per catturare punti di forza complementari (ad esempio, comprensione semantica da CLIP, aspetto dettagliato da DINO e struttura spaziale 3D da $\pi^3$).

È importante notare che gli encoder visivi esterni sono utilizzati solo durante l'addestramento. Al momento del test, il modello si basa sull'ancoraggio visivo appreso all'interno dei suoi token latenti senza richiedere gli encoder esterni.

3. Contributi Chiave

• Ancoraggio Visivo Dinamico: A differenza dei metodi che utilizzano caratteristiche visive statiche, VaLR alloca dinamicamente i dettagli visivi a ogni fase di ragionamento, garantendo la conservazione delle informazioni durante il ragionamento in contesti lunghi.
• Scalabilità al Momento del Test: Il framework permette agli MLLM di esibire un comportamento di scalabilità al momento del test, dove le prestazioni migliorano con catene di ragionamento più lunghe, un fenomeno precedentemente non osservato negli MLLM a causa dell'attenuazione del segnale visivo.
• Design Indipendente dal Modello: VaLR può essere adattato a vari encoder visivi (DINO, SigLIP, CLIP, $\pi^3$) e funziona efficacemente anche con gli encoder visivi autonomi dell'MLLM originale.
• Curricolo in Due Fasi: Una pipeline di addestramento strutturata che prima stabilisce le capacità di ragionamento e poi le affina con l'allineamento visivo, facilitando una comprensione robusta in contesti lunghi.

4. Risultati Sperimentali

Sono state condotte valutazioni estese su diversi benchmark, inclusi VSI-Bench (ragionamento spaziale 3D), BLINK, MMVP, MMStar e MathVista.

• Ragionamento in Contesti Lunghi (VSI-Bench): VaLR ha superato significativamente le linee di base esistenti. Nello specifico, su VSI-Bench, VaLR ha migliorato l'accuratezza del modello base Qwen2.5-VL dal 33,0% al 52,9%, un guadagno di 19,9 punti percentuali. Ha inoltre superato forti modelli di ragionamento come R1-OneVision e Ocean-R1.
• Compiti di Percezione: VaLR ha dimostrato prestazioni superiori sui benchmark di percezione (BLINK, MMVP, V*), raggiungendo risultati all'avanguardia tra i modelli open source e superando modelli API come GPT-4o in configurazioni specifiche.
• Analisi della Lunghezza del Ragionamento: A differenza dei modelli di base che raggiungono il picco a lunghezze di ragionamento intermedie e poi decadono (con un aumento dei tassi di allucinazione), VaLR ha mostrato un miglioramento monotono delle prestazioni all'aumentare della lunghezza del ragionamento, confermando la sua capacità di mantenere l'ancoraggio visivo su catene estese.
• Studi di Ablazione:
  • La rimozione del componente di allineamento delle rappresentazioni (REPA) ha comportato cali significativi delle prestazioni, confermando la necessità dell'allineamento visivo.
  • L'uso di più encoder (VaLR-M) ha prodotto effetti sinergici, in particolare per i compiti spaziali 3D, rispetto alle varianti con singolo encoder.
  • Il metodo ha dimostrato un'alta scalabilità dei dati, raggiungendo prestazioni comparabili ai modelli SFT vanilla con un numero significativamente inferiore di campioni di addestramento (convergenza più rapida).

5. Significato e Affermazioni

Il documento afferma che VaLR affronta una limitazione critica negli attuali MLLM: l'incapacità di sostenere il contesto visivo durante un ragionamento complesso a più passaggi. Iniettando token latenti allineati alla visione, il metodo mitiga efficacemente la diluizione dei segnali visivi, consentendo una pianificazione e un ragionamento robusti su orizzonti estesi.

Gli autori sottolineano che questo lavoro facilita il dispiegamento di MLLM in applicazioni complesse che richiedono una comprensione in contesti lunghi, come Agenti per l'Utilizzo del Computer (CUA) e modelli Vision-Language-Action (VLA). La capacità di ottenere una vera scalabilità al momento del test nel dominio multimodale suggerisce una via verso agenti autonomi più affidabili e capaci, in grado di ragionare su sequenze estese senza perdere di vista l'ambiente visivo.