🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

Questo articolo propone il Decoupled Visual Processing (DVP), un framework di addestramento efficiente in termini di parametri che sostituisce gli strati superiori del decoder di un modello linguistico multimodale con un singolo blocco transformer leggero dedicato ai token visivi, ottenendo prestazioni competitive sui benchmark aggiornando solo una frazione del totale dei parametri.

Autori originali: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer possono "vedere" e "leggere" contemporaneamente, come un amico super intelligente che può guardare la foto di un gatto e raccontarvi una storia divertente a riguardo. Questo è il regno dei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM). Per far funzionare questi modelli, gli scienziati solitamente prendono due strumenti potenti e li incollano insieme: un "encoder visivo" (un cervello addestrato a comprendere le immagini) e un "Large Language Model" (un cervello addestrato a comprendere le parole). La parte complicata è farli comunicare tra loro. Di solito, quando mostri al computer un'immagine e poni una domanda, il computer spinge sia le parti dell'immagine che le parti delle parole nella stessa gigantesca linea di produzione per l'elaborazione. Ogni singolo passaggio in quella linea viene regolato e perfezionato per rendere la risposta perfetta. Ma ecco il problema: quella linea di produzione è enorme, e regolare ogni singola macchina richiede una quantità enorme di tempo, denaro ed elettricità. È come cercare di sistemare l'intero sistema di traffico di una città solo per far muovere più velocemente un singolo camion delle consegne.

La grande domanda che gli scienziati si sono posti è: le parti dell'immagine e le parti delle parole hanno davvero bisogno di passare attraverso la stessa linea di produzione profonda e complessa? Forse le parti dell'immagine hanno solo bisogno di una scorciatoia rapida e specializzata, mentre le parole necessitano dell'elaborazione completa e profonda. Se riuscissimo a capire come dare alle immagini una scorciatoia senza rompere l'intero sistema, potremmo rendere questi computer intelligenti molto più economici e veloci da addestrare. Questo è esattamente l'enigma che un team di ricercatori dell'Università Tsinghua ha deciso di risolvere.

Il Paper: Dare alle Immagini una Scorciatoia VIP

I ricercatori, Mingkuan Feng, Zhengqi Wen e Jianhua Tao, propongono un nuovo modo per addestrare questi modelli chiamato Decoupled Visual Processing (DVP). Pensate al modello standard come a uno scivolo lungo e tortuoso in un parco giochi. Tutti — che stiano portando un'immagine o una parola — devono scendere l'intero scivolo di 32 gradini insieme. I ricercatori si sono chiesti: "E se lasciassimo che chi porta le immagini scenda dallo scivolo a metà percorso, passi attraverso un piccolo tunnel super veloce e poi si ricongiunga con chi porta le parole in fondo?"

Ecco come funziona il loro "Decoupled Visual Processing", passo dopo passo:

L'Inizio Condiviso: Per prima cosa, sia i pezzi dell'immagine (token visivi) che i pezzi delle parole (token testuali) scendono insieme la prima metà dello scivolo (layer 0 a 16). Questo è importante perché permette all'immagine e alle parole di conoscersi e comprendere il contesto.
La Divisione: Al punto di metà percorso, la folla si divide. I pezzi delle parole continuano lungo lo scivolo originale, lungo, congelato (layer 17 a 31). Questo scivolo è "congelato", il che significa che è già perfetto nel creare frasi, quindi non lo tocciamo.
Il Tunnel VIP: I pezzi dell'immagine, invece, non scendono lo scivolo lungo. Inveve, vengono instradati attraverso un nuovo, piccolo e brevissimo tunnel (un singolo blocco transformer). Questo tunnel è l'unica parte di tutto il sistema che viene addestrata e perfezionata.
Il Ricongiungimento: In fondo, i pezzi dell'immagine (ora elaborati dal piccolo tunnel) e i pezzi delle parole (elaborati dallo scivolo lungo) vengono cuciti insieme per generare la risposta finale.

Cosa Hanno Scoperto

Il team ha testato questa idea utilizzando un popolare modello chiamato LLaVA-1.5 con un backbone di 7 miliardi di parametri (Vicuna-7B). Hanno confrontato il loro metodo "VIP Tunnel" con altri due approcci: il metodo standard in cui si addestra l'intero modello, e un metodo di "Addestramento Normale" in cui utilizzano la loro architettura divisa ma addestrano comunque tutto.

I risultati sono stati sorprendentemente efficaci:

Risparmio Massiccio: Utilizzando il DVP, hanno avuto bisogno di addestrare solo circa il 3,1% del totale dei parametri. È come riparare l'intero traffico di una città aggiustando solo i semafori di un singolo angolo di strada.
Vedere con Chiarezza: In un test chiamato MME (che controlla se il modello è effettivamente in grado di "vedere" cose come contare oggetti o leggere cartelli), il loro metodo ha ottenuto un punteggio di 1440. Questo è incredibilmente vicino al punteggio del modello completamente addestrato di 1496, ed è in realtà molto meglio del metodo di divisione dell'"Addestramento Normale", che ha ottenuto solo 1225. Ciò suggerisce che congelare il modello principale aiuti il computer a "vedere" meglio, evitando che si confonda.
Meno Allucinazioni: In un test chiamato POPE (che controlla se il modello inventa cose che non ci sono, come vedere un cane in una foto di un gatto), il DVP ha ottenuto 0,8619. Questo è il punteggio più alto di tutti, superando l'0,8577 del modello completamente addestrato. Ciò suggerisce che dare alle immagini il proprio percorso dedicato possa impedire al modello di diventare "sognatore" e inventare cose.
Il Compromesso: Il metodo non era perfetto in tutto. Su ChartQA (un test per leggere grafici e tabelle), il DVP ha ottenuto 0,2356. Sebbene fosse migliore del modello completamente addestrato (0,1776), era inferiore allo 0,432 del metodo di "Addestramento Normale". Gli autori suggeriscono che ciò sia dovuto al fatto che leggere i grafici richiede un controllo molto fine e di andata e ritorno tra i dettagli dell'immagine e le etichette del testo, il che è più difficile quando i due percorsi sono separati precocemente.

Perché Questo è Importante

Il paper suggerisce che gli strati profondi e complessi nella parte superiore di questi modelli IA stanno in realtà facendo gran parte del lavoro pesante per le parole, ma potrebbero essere eccessivi per le immagini. I ricercatori hanno scoperto che un singolo, minuscolo blocco transformer è sufficiente per gestire l'elaborazione dell'immagine se l'immagine e il testo si sono già incontrati a metà strada.

Questo approccio sfida la vecchia idea secondo cui ogni pezzo di dati deve attraversare l'intera rete profonda. Suggerisce che possiamo costruire un'IA più intelligente ed efficiente riconoscendo che immagini e parole sono diverse e potrebbero aver bisogno di tipi diversi di supporto. Sebbene il metodo funzioni bene per la visione generale e per individuare oggetti falsi, gli autori notano che potrebbe richiedere un po' più di lavoro per compiti che richiedono un ragionamento super dettagliato, come la lettura di grafici complessi. Ma in generale, suggeriscono che questo percorso "disaccoppiato" è un modo potente e risparmiatore di energia per insegnare ai computer come vedere senza dover ricostruire l'intero cervello ogni volta.

Riepilogo Tecnico: Decoupled Visual Processing (DVP)

Problema

I Modelli Linguistici Multimodali (MLLM), come LLaVA, hanno ottenuto un successo significativo integrando la comprensione visiva e testuale all'interno di un'architettura transformer unificata. Il paradigma prevalente prevede la proiezione delle caratteristiche visive nello spazio di embedding dell'LLM e l'elaborazione di tutti i token (sia visivi che testuali) attraverso l'intero stack di strati del decoder. Sebbene efficace, questo approccio richiede o il fine-tuning completo di miliardi di parametri o l'applicazione di metodi a efficienza di parametri (ad es. LoRA) su ogni strato, entrambi i quali sono computazionalmente costosi.

Una questione critica e sottoutilizzata affrontata da questo lavoro è se i token visivi e testuali richiedano realmente lo stesso percorso di rappresentazione profonda. La ricerca precedente suggerisce che gli strati inferiori dei transformer catturino caratteristiche generali e indipendenti dalla modalità, mentre gli strati superiori diventano sempre più specializzati. Negli MLLM, si ipotizza che i token visivi possano beneficiare di un percorso di elaborazione specializzato negli strati superiori, distinto dal percorso orientato al testo dell'LLM originale, rendendo quindi l'elaborazione a piena profondità dei token visivi non necessaria ed inefficiente.

Metodologia: Decoupled Visual Processing (DVP)

Gli autori propongono il Decoupled Visual Processing (DVP), un framework di addestramento efficiente che modifica lo stack del decoder di un LLM pre-addestrato per separare i percorsi di elaborazione visiva e testuale dopo una fase iniziale condivisa.

Architettura

Dato un LLM pre-addestrato con $L$ strati del decoder, DVP implementa un paradigma split-process-concatenate (scissione-elaborazione-concatenazione):

Elaborazione Condivisa (Strati da $0 $a$ K-1$): Tutti i token (visivi e testuali) sono elaborati congiuntamente attraverso i primi $K$ strati del decoder. Questa fase facilita l'attenzione cross-modale, permettendo al modello di stabilire l'allineamento e l'ancoraggio contestuale tra le modalità.
Scissione della Modalità: Dopo lo strato $K$ , gli stati nascosti vengono divisi per modalità in token visivi ( $X_v$ ) e token testuali ( $X_t$ ).
Elaborazione Decoupled (Disaccoppiata):
- Percorso Visivo: I token visivi sono instradati attraverso un singolo blocco transformer, di nuova inizializzazione. Questo blocco è l'unica componente addestinabile durante la fase di fine-tuning.
- Percorso Testuale: I token testuali continuano attraverso i restanti $L-K$ strati del decoder, che rimangono congelati (preservando la capacità di modellazione del linguaggio pre-addestrata).
Concatenazione e Predizione: Le rappresentazioni elaborate, visive e testuali, vengono concatenate e passate alla testa di modellazione del linguaggio per la predizione del token successivo.

Razionale del Design

Punto di Scissione ( $K$ ): Negli esperimenti con Vicuna-7B (32 strati), la scissione avviene dopo lo strato 16 ( $K=17$ ). Questa scelta è motivata dall'osservazione che la prima metà degli strati del transformer cattura caratteristiche di basso livello e cross-modali, mentre la seconda metà si specializza nel ragionamento specifico del compito.
Compressione Estrema: Il percorso visivo sostituisce 15 strati del decoder con un singolo blocco transformer. Ciò costringe il modello a imparare una mappatura di trasformazione compatta che porta le rappresentazioni visive dello strato condiviso direttamente allo spazio di output.
Efficienza dei Parametri: Solo il singolo blocco transformer viene aggiornato durante l'instruction tuning. Nella configurazione Vicuna-7B, ciò costituisce circa il 3,1% del totale dei parametri del modello, mentre il restante 96,9% (inclusi gli strati inferiori condivisi e gli strati testuali superiori) rimane congelato.

Contributi Chiave

Innovazione Architetturale: DVP introduce una modifica strutturale che disaccoppia l'elaborazione visiva dallo stack profondo del decoder, sfidando l'assunto che i token visivi debbano attraversare l'intera profondità dell'LLM.
Efficienza dei Parametri: Il metodo ottiene prestazioni competitive addestrando solo una frazione dei parametri (circa il 3,1%) rispetto al fine-tuning completo.
Validazione dell'Ipotesi: Il lavoro valida due ipotesi: (1) gli strati inferiori dell'LLM sono sufficienti per l'allineamento cross-modale, e (2) i token visivi negli strati superiori richiedono trasformazioni diverse e più compatte rispetto ai token testuali.

Risultati Sperimentali

Gli autori hanno valutato DVP utilizzando il framework LLaVA-1.5 con un backbone Vicuna-7B su tre benchmark: MME (percezione e cognizione), POPE (allucinazione di oggetti) e ChartQA.

Percezione (MME): DVP ha ottenuto un punteggio di percezione di 1440, che è il 96,3% della baseline LLaVA-1.5-7B completamente fine-tuned (1496). Notevolmente, DVP ha superato una baseline di "Normal Training" (che utilizzava l'architettura di scissione ma addestrava tutti i parametri) nella percezione (1440 vs 1225), suggerendo che il congelamento dei parametri aiuti a preservare le capacità di percezione visiva.
Allucinazione (POPE): DVP ha ottenuto un punteggio di 0,8619, superando la baseline LLaVA-1.5-7B (0,8577) e la baseline di Normal Training (0,8381). Ciò indica che l'architettura disaccoppiata può ridurre l'allucinazione degli oggetti impedendo che l'elaborazione visiva sia influenzata dagli strati superiori con bias testuali.
Cognizione e Comprensione dei Grafici: DVP ha ottenuto prestazioni comparabili alla baseline nella cognizione di MME (327 vs 324). Tuttavia, ha ottenuto un punteggio inferiore su ChartQA (0,2356) rispetto alla baseline di Normal Training (0,432). Gli autori attribuiscono ciò alla necessità di un cross-referencing fine-grained e iterativo tra dettagli visivi e label testuali negli strati superiori, che è limitato nell'architettura di scissione.
Efficienza: DVP mantiene prestazioni competitive addestrando solo il ~3,1% dei parametri, rappresentando una riduzione di circa 32 volte dei parametri addestrabili rispetto al fine-tuning completo.

Significato e Affermazioni

Il paper afferma che le rappresentazioni visive negli MLLM possono essere apprese efficacemente attraverso un percorso disaccoppiato e a parametri efficienti. Le implicazioni chiave includono:

Ridondanza nell'Elaborazione Visiva: Il successo di un singolo blocco transformer nel sostituire 15 strati del decoder suggerisce una sostanziale ridondanza nel modo in cui gli attuali MLLM elaborano l'informazione visiva negli strati superiori.
Bias Induttivo Specifico per Modalità: L'architettura introduce una separazione esplicita tra "comprensione" (ciò che i token visivi trasportano) e "generazione" (come l'informazione viene utilizzata per il testo), portando potenzialmente a sistemi più interpretabili e controllabili.
Distribuzione e Adattamento: L'estrema efficienza dei parametri rende DVP attraente per la distribuzione in scenari con risorse limitate, l'adattamento a nuovi domini visivi (dove solo il blocco visivo deve essere aggiornato) e scenari di apprendimento continuo.
Prospettiva della Distillazione della Conoscenza: Il singolo blocco comprime efficacemente la "conoscenza" di 15 strati, suggerendo che il rango effettivo della trasformazione applicata ai token visivi sia molto più basso della piena capacità parametrica di tali strati.

Gli autori riconoscono i limiti, tra cui la valutazione su un set limitato di benchmark, l'euristica del punto di scissione fisso e la mancanza di attenzione cross-modale dopo la scissione, che può ostacolare i compiti che richiedono un ragionamento visivo-testuale iterativo. Suggeriscono che il lavoro futuro potrebbe esplorare punti di scissione adattivi, molteplici blocchi visivi leggeri e estensioni a scale di modello più grandi.