Riepilogo Tecnico: ViPSy (Vision-driven Preference Synthesis) per la mitigazione delle allucinazioni nei VLM

Problema

I modelli Vision-Language (VLM) hanno dimostrato capacità significative nella comprensione visiva, ma rimangono soggetti alle allucinazioni, ovvero situazioni in cui i modelli generano contenuti incoerenti con l'immagine di input, inventando spesso oggetti inesistenti. Questo problema deriva da uno squilibrio tra le modalità linguistica e visiva, dove i forti priori linguistici portano i modelli a fare affidamento sulle statistiche testuali piuttosto che sulle evidenze visive.

Sebbene l'Allineamento delle Preferenze (specificamente il Direct Preference Optimization, o Damente DPO) sia emerso come una soluzione promettente per migliorare la fedeltà visiva, la sua efficacia dipende fortemente dalla qualità delle coppie di preferenza costruite (risposte preferite rispetto a quelle non preferite). I metodi esistenti per la costruzione di queste coppie soffrono di due limitazioni primarie:

1. I metodi basati sull'intervento (ad esempio, iniezione o correzione di allucinazioni) introducono spesso risposte che deviano significativamente dalla distribuzione della policy naturale del modello, creando un disallineamento della distribuzione.
2. I metodi basati sul campionamento (ad esempio, campionamento giudicato esternamente o campionamento guidato da SFT) riducono questo disallineamento della distribuzione, ma spesso sottoutilizzano le informazioni visive, facendo affidamento invece sui priori linguistici per determinare la preferenza.

Metodologia: ViPSy

Gli autori propongono ViPSy (Vision-driven Preference Synthesis), un framework a due stadi progettato per costruire dati di preferenza che siano sia allineati alla policy (vicini alla distribuzione di risposta del modello) sia fondati visivamente (basati sull'evidenza dell'immagine).

Stadio 1: Sintesi Semantica Auto-descrittiva per l'Estrazione di Indizi Coerenti

Per estrarre indizi visivi affidabili senza bias esterni, ViPSy sfrutta le capacità dello stesso modello di policy:

1. Auto-captioning (Auto-descrizione): Il modello di policy ($\pi_\theta$) genera $N_c$ didascalie per un'immagine sorgente $m$ utilizzando un prompt di captioning standard.
2. Sintesi Semantica: Queste didascalie fungono da prompt per un modello di diffusione Text-to-Image (T2I) ($P_\psi$) per sintetizzare $N_c$ varianti d'immagine semanticamente allineate ($m'_j$).
3. Estrazione degli Indizi: Un modello giudice ($\pi_\phi$) confronta ogni variante sintetica $m'_j$ con l'immagine originale $m$ per estrarre evidenze a livello di oggetto ($c_j$) che siano coerenti tra loro.
4. Aggregazione: Il giudice aggrega questi indizi pairwise in un singolo indizio visivo ($c$) coerente. L'intuizione è che gli oggetti che ricorrono attraverso diverse variazioni sintetiche derivate dalla stessa immagine sorgente sono altamente probabili che siano radicati nell'immagine originale.

Stadio 2: Auto-distillazione Condizionata agli Indizi per la Sintesi delle Preferenze

Una volta stabilito l'indizio visivo $c$, il framework genera le coppie di preferenza:

1. Rollout Condizionati agli Indizi: Il modello di policy campiona $N_s$ risposte candidate ($y^{(s)}$) condizionate sull'immagine originale $m$, sul prompt $x$ e sull'indizio visivo estratto $c$. Ciò assicura che i candidati rimangano vicini alla distribuzione della policy pur essendo esplicitamente guidati dall'evidenza visiva.
2. Selezione della Preferenza: Il modello giudice valuta l'insieme dei candidati $\{y^{(s)}\}$ rispetto all'immagine originale $m$ per selezionare una risposta preferita ($y_w$) (più fondata visivamente) e una risposta non preferita ($y_l$) (meno fondata).
3. Ottimizzazione: Il dataset risultante $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ viene utilizzato per addestrare il modello tramite Direct Preference Optimization (DPO). Fondamentalmente, gli indizi visivi e le immagini sintetiche vengono utilizzati solo durante la costruzione dei dati; lo step di ottimizzazione finale condiziona la policy esclusivamente sulla coppia prompt-immagine originale, distillando la capacità di grounding visivo nel modello.

Contributi Chiave

1. Framework ViPSy: Un nuovo approccio di sintesi delle preferenze guidato dalla visione che costruisce coppie di preferenza visivamente fondate mantenendo al contempo l'allineamento con la distribuzione di risposta della policy.
2. Strategia a due stadi:
   • Sintesi semantica auto-descrittiva: Utilizza le didascalie del modello stesso per guidare la sintesi T2I, aggregando gli indizi ricorrenti a livello di oggetto per estrarre indizi visivi coerenti, riducendo così la dipendenza dai priori linguistici.
   • Auto-distillazione condizionata agli indizi: Guida i rollout della policy stessa con questi indizi per generare candidati che variano per qualità di grounding visivo, consentendo la selezione di coppie di preferenza di alta qualità.
3. Prestazioni allo Stato dell'Arte: Il framework raggiunge nuovi risultati allo stato dell'arte nella mitigazione delle allucinazioni e migliora le capacità generali di grounding visivo.

Risultati Sperimentali

Gli autori hanno valutato ViPSy su LLaVA-1.5 (7B e 13B) e vari altri modelli di policy (Qwen2.5-VL, InternVL3.5, ecc.), confrontandolo con metodi di decoding, approcci basati sull'unlearning e baseline esistenti di allineamento delle preferenze.

• Mitigazione delle Allucinazioni:
  • Su LLaVA-1.5-7B, ViPSy ha ridotto i tassi di allucinazione su AMBER del 35,7% e su Object HalBench del 24,5% rispetto al precedente stato dell'arte (SENTINEL).
  • Su LLaVA-1.5-13B, ha superato tutte le baseline in tutti i benchmark di allucinazione, mostrando miglioramenti significativi rispetto ai precedenti metodi migliori.
• General Visual Grounding (Fondamento Visivo Generale):
  • A differenza di alcune baseline che degradano le prestazioni generali, ViPSy ha migliorato i punteggi su benchmark generali che richiedono grounding visivo: MMStar (+6,0%), MMVP (+31,3%) e CV-Bench (+4,0%) sul modello 7B.
• Miglioramenti dell'Encoder Visivo:
  • Le valutazioni di linear probing e segmentazione su ImageNet-1k, ImageNet-O e MS COCO hanno mostrato guadagni in accuratezza e recall. Ciò suggerisce che ViPSy migliora le rappresentazioni visive sottostanti, non solo la generazione a livello di risposta.
• Generalizzazione:
  • Il metodo ha dimostrato miglioramenti costanti attraverso diversi modelli di policy (Qwen, InternVL, mPLUG-Owl, Kimi), indicando che non è specifico per una singola architettura.
• Studi di Ablazione:
  • I self-rollouts si sono rivelati superiori ai rollout di VLM esterni, confermando l'importanza di rimanere vicini alla distribuzione della policy.
  • La sintesi basata su diffusione ha superato le semplici trasformazioni d'immagine (ridimensionamento, ritaglio) e le variazioni basate su video, evidenziando la necessità di una ricca diversità semantica per l'estrazione degli indizi.
  • Il metodo è rimasto robusto rispetto a diversi modelli di giudice (Qwen3-VL, GPT-5 mini).

Significato e Rivendicazioni

L'articolo sostiene che ViPSy affronti il compromesso fondamentale nella costruzione delle preferenze: bilanciare l'allineamento della policy con il grounding visivo. Derivando gli indizi visivi dall'intersezione tra la comprensione semantica della policy stessa e le variazioni d'immagine sintetiche, ViPSy evita il disallineamento della distribuzione dei metodi basati sull'intervento e la negligenza visiva dei metodi di campionamento standard.

Gli autori affermano che il loro approccio non solo stabilisce un nuovo stato dell'arte nella riduzione delle allucinazioni, ma migliora anche le capacità visive generali del modello e la qualità delle rappresentazioni del suo encoder visivo. Enfatizzano che il framework distilla efficacemente il grounding visivo nella policy senza richiedere complessi modelli di ricompensa o apprendimento per rinforzo online, rendendolo una soluzione pratica ed efficace per migliorare l'affidabilità dei VLM nelle applicazioni reali.