Riepilogo Tecnico: FRISM

Enunciato del Problema

I Modelli Vision-Language (VLM) hanno ottenuto risultati straordinari nei compiti di percezione, ma spesso mancano delle capacità di ragionamento complesso tipiche dei Large Reasoning Models (LRM). Sebbene il merging dei modelli offra un modo efficiente in termini di parametri per iniettare capacità di ragionamento nei VLM senza costosi post-training, i metodi esistenti operano a un livello di strato grossolano (coarse-grained). Questi approcci trattano tipicamente interi strati come unità atomiche, portando a un compromesso significativo: potenziare il ragionamento spesso degrada le capacità di percezione visiva, e viceversa. Le attuali strategie di merging a livello di strato (ad esempio, FRANK, IP-Merging) faticano a disaccoppiare le rappresentazioni di ragionamento e visive all'interno dello stesso strato, risultando in prestazioni subottimali su entrambi i fronti.

Metodologia

Gli autori propongono FRISM (Fine-grained Reasoning Injection via Subspace-level model Merging), un framework che sposta il paradigma del merging dal livello dello strato al livello del sottospazio.

Ipotesi Centrale

FRISM è motivato dall'osservazione che le capacità di ragionamento e le rappresentazioni visive risiedono in sottospazi distinti all'interno dello spazio dei parametri, anche all'interno di un singolo strato. Di conseguenza, un coefficiente di scaling uniforme a livello di strato è insufficiente; accoppia inevitabilmente il ragionamento benefico (che può richiedere un'alta magnitudine) con il rumore visivo.

Framework Tecnico

FRISM opera in due fasi:

1. Decomposizione e Inizializzazione (Fase 1):

   • Invece di trattare il vettore del task LRM ($\tau_{lrm}$) come un aggiornamento monolitico, FRISM lo scompone in sottospazi ortogonali utilizzando la Scomposizione in Valori Singolari (SVD): $U, S, V^\top = \text{SVD}(\tau_{lrm})$.
   • I vettori singolari ($U, V$) e i valori singolari ($S$) vengono congelati per preservare la direzione semantica del task di ragionamento.
   • Viene introdotto un parametro di gating leggero e apprendibile $g$ per ogni sottospazio per modulare adattivamente l'intensità dell'iniezione. I valori singolari effettivi sono calcolati come $S_{eff} = \text{Sigmoid}(g) \odot S$.
   • Lo strato fuso è formulato come: $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$.

2. Iniezione e Addestramento (Fase 2):

   • FRISM impiega una strategia di self-distillation senza etichette con una funzione di ottimizzazione a doppio obiettivo, eliminando la necessità di dataset scarsi di ragionamento multimodale.
   • Preservazione Visiva ($L_{distill}$): Minimizza la divergenza di Kullback-Leibler (KL) tra le distribuzioni di output del VLM originale (insegnante) e del modello fuso (studente) su dati di percezione visiva non etichettati (ad esempio, VizWiz). Ciò garantisce che il modello fuso mantenga una comprensione visiva robusta.
   • Massimizzazione del Ragionamento ($L_{inject}$): Massimizza la magnitudine spettrale dei sottospazi iniettati ($-\sum \|S_{eff}\|^2$). Questo termine incoraggia l'assorbimento delle priorità di ragionamento definite dai vettori del task LRM.
   • Obiettivo Totale: $L = L_{distill} + \alpha \cdot L_{inject}$. Questo agisce come un filtro spettrale, scoprendo automaticamente i sottospazi che offrono il compromesso ottimale tra iniezione di ragionamento e preservazione visiva.

Contributi Chiave

1. Paradigma di Merging a Livello di Sottospazio: Il documento ripensa il merging dei modelli spostandosi da operazioni a livello di strato grossolano a una modulazione a livello di sottospazio fine. Ciò permette l'identificazione e l'integrazione precisa di componenti dominanti nel ragionamento senza disturbare le capacità visive.
2. Modulazione Adattiva SVD: FRISM è il primo a proporre la scomposizione dei vettori del task LRM tramite SVD per l'iniezione di ragionamento, consentendo una riponderazione adattiva dei sottospazi sotto un obiettivo di preservazione visiva.
3. Self-Distillation Senza Etichette: Gli autori progettano una strategia di addestramento che si basa su un'ottimizzazione a doppio obiettivo (minimizzazione della divergenza KL e massimizzazione della magnitudine spettrale) per ottenere un trasferimento stabile del ragionamento senza richiedere dataset di ragionamento VL etichettati.
4. Efficienza Plug-and-Play: Il metodo è altamente efficiente in termini di parametri, richiedendo solo l'addestramento dei parametri di gating mentre il modello base e i vettori singolari decomposti rimangono congelati.

Risultati Sperimentali

Sono stati condotti esperimenti estesi su varie scale di modelli (3B, 7B, 32B) e architetture (Qwen2.5-VL, ThinkLite-VL, InternVL) su benchmark diversificati.

• Prestazioni di Ragionamento: FRISM supera costantemente le baseline di merging esistenti (Task Arithmetic, Ties-Merging, DARE, IP-Merging) e spesso supera significativamente il VLM base. Ad esempio, sulla scala 7B, FRISM ha ottenuto un punteggio di ragionamento medio di 49.4, superando il VLM base di 2.0 punti e avvicinandosi alle prestazioni di modelli post-addestrati ad alto costo come ThinkLite-VL-7B.
• Preservazione Visiva: A differenza di altri metodi che soffrono di degradazione delle prestazioni nei compiti di percezione visiva, FRISM preserva in gran parte o addirittura migliora leggermente le capacità visive. Sui benchmark di percezione VL, FRISM ha mostrato il minor calo di prestazioni tra tutti i metodi.
• Efficienza: FRISM è altamente efficiente, richiedendo solo 0.53M parametri addestrabili e 0.49 ore di tempo di addestramento su una singola GPU. Questo è significativamente più efficiente rispetto ai metodi di post-training come DRIFT, che richiedono ~7000M parametri e ~2 ore, pur ottenendo prestazioni di ragionamento comparabili o superiori.
• Studi di Ablazione: Gli esperimenti hanno confermato che sia il processo di decomposizione SVD che il termine di perdita per la massimizzazione del ragionamento sono critici. Rimuovere la SVD (tornando al livello di strato) o rimuovere la perdita di iniezione ha portato a prestazioni vicine al VLM base, validando la necessità di un controllo fine a livello di sottospazio e di un'iniezione attiva del ragionamento.

Significato e Affermazioni

Il documento afferma che FRISM colma efficacemente il divario tra potenti LRM e VLM risolvendo il conflitto intrinseco tra l'iniezione di ragionamento e la preservazione della percezione visiva. Trattando l'iniezione di ragionamento come un problema di filtraggio a livello di sottospazio piuttosto che come un atto di bilanciamento a livello di strato, FRISM offre una soluzione versatile e plug-and-play compatibile con varie architetture VLM.

Gli autori sottolineano che il loro approccio fornisce un'alternativa efficiente ai post-training pesanti in termini di risorse, raggiungendo prestazioni di ragionamento all'avanguardia mantenendo la robustezza visiva senza la necessità di costosi dataset di ragionamento etichettati. Il lavoro suggerisce che le capacità dei modelli non sono distribuite uniformemente ma sono codificate distintamente all'interno di specifici sottospazi di rango, una scoperta che rende possibile un merging dei modelli più preciso ed efficace.

Nota: Il documento riconosce le limitazioni, tra cui un aumento del tempo di inferenza dovuto a sequenze di output più lunghe (overthinking) e l'attuale incapacità di generalizzare tra modelli di dimensioni o strutture diverse. Segnala inoltre che l'obiettivo di ragionamento si basa su un proxy (magnitudine del sottospazio) piuttosto che su una supervisione diretta a causa della scarsità di dati.