From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

Sintesi Tecnica: Da Uno-a-Uno a Molti-a-Molti: Iniezione Cross-Layer Dinamica per la Fusione Profonda Visione-Linguaggio

Problematica
Gli attuali Modelli Visione-Linguaggio (VLM) soffrono di un collo di bottiglia architettonico fondamentale: si affidano a una connessione statica e asimmetrica "uno-a-uno" che collega solo lo strato di output finale dell'encoder Vision Transformer (ViT) all'input del Large Language Model (LLM). Questo design scarta la ricca informazione gerarchica catturata dagli strati intermedi del ViT, come texture e bordi di basso livello, che sono cruciali per una percezione fine. Di conseguenza, gli LLM sono privati dell'intero spettro di evidenze visive, limitando la loro capacità di integrare dettagli locali con semantica globale per un ragionamento sfumato. Il documento sostiene che questa connessione statica crei un "disallineamento funzionale", impedendo ai modelli di eseguire compiti sofisticati come l'identificazione di parti specifiche di un oggetto (ad esempio, le ruote su una scarpa) o l'ancoraggio di concetti astratti a dati visivi dettagliati.

Metodologia: Cross-Layer Injection (CLI)
Per risolvere questo problema, gli autori propongono la Cross-Layer Injection (CLI), un framework che sostituisce il ponte statico con un'architettura "molti-a-molti" dinamica. Ciò consente all'LLM di interrogare e integrare attivamente le caratteristiche dell'intera gerarchia visiva in base al proprio contesto di decodifica in tempo reale. La CLI comprende due componenti sinergiche ed efficienti dal punto di vista dei parametri:

1. Adaptive Multi-Projection (AMP): Per affrontare la varianza distributiva tra le caratteristiche di diversi strati del ViT (che spaziano dalle texture di basso livello alla semantica di alto livello), gli autori introducono un modulo di proiezione che armonizza queste caratteristiche in uno spazio semantico condiviso. Invece di addestrare un proiettore separato per ogni strato (il che sarebbe computazionalmente proibitivo), l'AMP utilizza la Low-Rank Adaptation (LoRA). Esso aumenta il proiettore pre-addestrato con adattatori LoRA specifici per ogni strato, consentendo un allineamento efficiente dei token visivi multilivello con lo spazio di embedding dell'LLM.

2. Adaptive Gating Fusion (AGF): Questo è il meccanismo centrale che abilita la selezione dinamica. In molteplici punti di iniezione all'interno del decoder dell'LLM, un modulo AGF funge da controllore sensibile al contesto. Utilizza un meccanismo di attenzione basato su query, dove vettori di query apprendibili distillano informazioni sia dallo stato nascosto corrente dell'LLM sia dalle caratteristiche visive allineate. Un controllore di gate calcola un peso dinamico (da 0 a 1) per determinare la rilevanza della nuova informazione visiva. Ciò consente all'LLM di effettuare uno "zoom in" selettivo sui dettagli fini degli strati superficiali del ViT o uno "zoom out" verso concetti astratti degli strati profondi, a seconda del passaggio di ragionamento richiesto.

Contributi Chiave

• Un Nuovo Framework: La CLI affronta sistematicamente il sottoutilizzo delle caratteristiche visive gerarchiche stabilendo un ponte dinamico molti-a-molti tra le gerarchie visione e linguaggio.
• Moduli Sinergici: L'introduzione di AMP e AGF, che collettivamente consentono l'allineamento e la fusione selettiva e sensibile al contesto di caratteristiche visive multilivello senza richiedere un massiccio aumento di parametri.
• Validazione Empirica: Estesi esperimenti su due distinte architetture VLM (LLaVA-OneVision e LLaVA-1.5) su 28 benchmark diversificati dimostrano miglioramenti costanti e significativi rispetto ai baseline e ad altre strategie di fusione profonda.

Risultati
Gli autori hanno integrato la CLI in LLaVA-OneVision (0.5B e 7B parametri) e LLaVA-1.5 (7B parametri). I risultati su 28 benchmark che coprono l'analisi di documenti, il ragionamento su grafici e la percezione generale mostrano:

• Guadagni Significativi: La CLI supera il proiettore baseline e altri metodi di fusione (come DeepStack e Shallow-Layer Injection). Ad esempio, su LLaVA-OV-7B, la CLI ha ottenuto miglioramenti di 6.5 punti su LLaVA-in-the-Wild, 3.3 punti su MME e 4.7 punti su OCR-Bench.
• Superiorità rispetto alle Alternative: A differenza di DeepStack, che spesso degrada le prestazioni a causa dell'iniezione non selettiva e brutale, e di Shallow-Layer Injection, che non riesce ad aiutare gli strati di ragionamento profondo, il gating dinamico della CLI assicura che solo l'informazione visiva rilevante venga integrata.
• Performance Fine-Grained: Il metodo mostra una forza particolare in compiti che richiedono un'alta fedeltà di dettaglio, come l'Optical Character Recognition (OCR) e il visual grounding, dove l'accesso agli strati iniziali del ViT è critico.
• Efficienza: Il framework introduce un sovraccarico computazionale minimo, con un aumento della memoria di inferenza di solo l'1.3%, pur fornendo sostanziali guadagni di prestazione.

Significato e Rivendicazioni
Il documento afferma che la CLI stabilisce un nuovo paradigma scalabile per la comprensione multimodale profonda. Concedendo agli LLM l'accesso su richiesta all'intera gerarchia visiva, il framework sblocca un livello di ragionamento più profondo che le architetture statiche non possono raggiungere. Gli autori sottolineano che i guadagni di prestazione derivano dall'efficacia architettonica della fusione dinamica molti-a-molti piuttosto che dal semplice aumento del numero di parametri. Il lavoro suggerisce che, affinché i VLM si avvicinino alla cognizione umana, devono andare oltre le connessioni statiche a singolo strato verso interazioni dinamiche e consapevoli del contesto che permettano al modello di linguaggio di agire come un "osservatore attivo" del mondo visivo.