Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Titolo

Back to the Barn with LLAMAs: Evoluzione dei Backbone LLM Pre-addestrati nel Fine-tuning di Modelli Vision-Language (VLM)

1. Il Problema

I Modelli Vision-Language (VLM) hanno fatto rapidi progressi sfruttando potenti Large Language Models (LLM) pre-addestrati come "backbone" per il ragionamento. Con l'emergere di nuove generazioni di LLM (es. da LLAMA-1 a LLAMA-3) con capacità di ragionamento, seguito delle istruzioni e generalizzazione migliorate, sorge una necessità pressante di aggiornare efficientemente i VLM esistenti.

Tuttavia, la letteratura attuale presenta lacune significative:

• Variabili confondenti: Gli studi precedenti confrontano spesso architetture diverse (es. LLaVA vs. Qwen-VL) che differiscono non solo nel backbone LLM, ma anche negli encoder visivi, nei dati di addestramento e negli iperparametri. Questo rende impossibile isolare l'impatto reale dell'evoluzione dell'LLM.
• Mancanza di comprensione: Non è chiaro come i miglioramenti negli LLM pre-addestrati si traducano nelle capacità multimodali o in quali compiti specifici (percezione vs. ragionamento) portino benefici.

L'obiettivo dello studio è colmare questo divario attraverso un'indagine controllata e sistematica su come i cambiamenti nel backbone LLM pre-addestrato influenzino le prestazioni dei VLM a valle.

2. Metodologia

Gli autori hanno condotto uno studio empirico controllato per isolare l'effetto del backbone LLM, mantenendo costanti tutti gli altri fattori.

• Architettura: Hanno utilizzato l'architettura NeVA (basata su NVIDIA NeMo), composta da:
  1. Un encoder visivo pre-addestrato fisso: CLIP-ViT-large-patch14.
  2. Un proiettore neurale semplice per l'allineamento delle modalità.
  3. Un backbone LLM variabile: LLAMA-1, LLAMA-2 e LLAMA-3.1 (versioni Instruct).
• Processo di Addestramento:
  1. Fase di Allineamento (Warm-up): Utilizzo del dataset SciCap per allineare l'encoder visivo e il decoder LLM tramite captioning di immagini tecniche.
  2. Fine-tuning Supervisionato (SFT): Adattamento a compiti specifici utilizzando tre dataset distinti per garantire diversità:
     • ScienceQA: Domande scientifiche che richiedono ragionamento su testo e immagini (forte componente di memorizzazione).
     • Seismic: Dataset multimodale su eventi sismici (immagini geologiche e descrizioni testuali, con task di previsione di coordinate).
     • VQA-Scene: Visual Question Answering su scene quotidiane (minimizza i prior linguistici, enfatizza la comprensione visiva).
• Metriche di Valutazione: Accuratezza per ScienceQA e VQA-Scene; metriche testuali (BLEU, ROUGE) e distanza di Haversine per le coordinate nel dataset Seismic.

3. Contributi Chiave e Risultati

Lo studio ha prodotto otto "Takeaway" principali che sfatano il mito che "LLM più nuovi = VLM sempre migliori":

A. Le prestazioni non migliorano uniformemente (Takeaway 1 & 2)

• Risultato: Non esiste una correlazione lineare tra la versione dell'LLM e le prestazioni del VLM.
  • Su VQA-Scene, l'accuratezza è aumentata passando da LLAMA-1 (61.8%) a LLAMA-3 (65.6%).
  • Su ScienceQA, l'accuratezza è diminuita da LLAMA-1 (71.8%) a LLAMA-3 (68.4%).
  • Su Seismic (output testuale), le prestazioni sono rimaste miste e stabili.
• Analisi: I compiti basati sulla memorizzazione (come ScienceQA, dove il modello deve richiamare pattern testuali strutturati) non beneficiano di LLM più potenti e possono persino peggiorare se il modello tende a fare "shortcuts" testuali ignorando l'input visivo. Al contrario, i compiti di ragionamento visivo radicato (VQA-Scene) beneficiano di una migliore comprensione linguistica.

B. I modelli risolvono problemi diversi, non solo "più" problemi (Takeaway 3)

• Analisi a livello di istanza: L'analisi delle correlazioni ha rivelato comportamenti opposti.
  • Su VQA-Scene, LLAMA-3 è negativamente correlato (-0.266) con LLAMA-1 e LLAMA-2. Ciò significa che LLAMA-3 risponde correttamente a domande che i modelli precedenti sbagliano, e viceversa. Non sta semplicemente risolvendo lo stesso set di domande con più accuratezza, ma sta adottando un approccio qualitativamente diverso all'informazione visiva.
  • Su ScienceQA, la correlazione è moderata ma in calo, indicando un cambiamento nel tipo di domande risolte.

C. Il collo di bottiglia visivo limita i benefici dell'LLM (Takeaway 4)

• Risultato: Nel dataset Seismic, per la descrizione testuale delle caratteristiche geologiche, tutte e tre le versioni di LLAMA hanno prestazioni quasi identiche (correlazione > 0.85).
• Implicazione: Quando il compito è limitato dalla capacità di estrazione delle caratteristiche visive (percezione), aggiornare il backbone LLM offre ritorni marginali. In questi casi, migliorare l'encoder visivo è più cruciale che aggiornare l'LLM.

D. Emergono nuove capacità solo nelle generazioni più recenti (Takeaway 5)

• Scoperta sorprendente: Nel task di previsione delle coordinate (Lat/Long) su Seismic, LLAMA-1 e LLAMA-2 hanno ottenuto 0.0% di accuratezza (non riuscivano a generare coordinate numeriche valide, producendo invece nomi di città). LLAMA-3, invece, ha raggiunto il 76.5%.
• Significato: Alcune capacità VLM (output numerico strutturato, conoscenza di dominio specifica) non migliorano gradualmente, ma emergono solo con backbone sufficientemente avanzati, grazie a vocabolari più ampi e migliori capacità di seguire istruzioni strutturate.

E. Meccanismi Interni: Fiducia e Rappresentazioni (Takeaway 7 & 8)

• Calibrazione della fiducia: LLAMA-1 e LLAMA-2 mostrano una fiducia eccessiva (confidence score ~1.0) su tutte le risposte, indipendentemente dalla correttezza. LLAMA-3 ha una fiducia media più bassa (0.73) ma è più accurato, dimostrando una migliore calibrazione delle probabilità.
• Dinamiche interne: L'analisi dei vettori di contesto per strato rivela differenze strutturali:
  • LLAMA-1/2: Mostrano grandi attivazioni e cambiamenti significativi (spesso negativi) nelle rappresentazioni contestuali negli strati profondi, suggerendo una riorganizzazione instabile prima della risposta finale.
  • LLAMA-3: Mostra attivazioni più piccole e stabili, con raffinamenti incrementali attraverso gli strati. Questo percorso interno più stabile spiega perché il modello è meno "sicuro" ma più accurato e perché risolve istanze diverse rispetto ai predecessori.

4. Significato e Conclusioni

Questo studio fornisce evidenze empiriche cruciali per lo sviluppo futuro dei VLM:

1. Non esiste una soluzione universale: Sostituire un backbone LLM con uno più recente non garantisce automaticamente un VLM migliore; il beneficio dipende strettamente dalla natura del compito a valle (percezione vs. ragionamento vs. output strutturato).
2. Importanza del controllo sperimentale: È fondamentale isolare le variabili (encoder visivo, dati, codice) per comprendere il vero contributo dell'LLM, evitando conclusioni errate derivate da confronti tra architetture eterogenee.
3. Emergenza vs. Miglioramento graduale: Alcune capacità critiche (come la generazione di coordinate geografiche) emergono solo in nuove generazioni di LLM, suggerendo che l'evoluzione non è sempre lineare.
4. Direzione futura: Per compiti pesanti sulla percezione visiva, gli sforzi di ricerca dovrebbero concentrarsi sugli encoder visivi piuttosto che sugli LLM. Per compiti di ragionamento complesso e output strutturato, l'aggiornamento dell'LLM è essenziale.

In sintesi, il lavoro avverte i ricercatori di non dare per scontato che "più grande/nuovo" significhi "migliore" in tutti i contesti multimodali, sottolineando la necessità di analisi specifiche per dominio e di una comprensione profonda dei meccanismi interni dei modelli.