Do Not Leave a Gap: Hallucination-Free Object Concealment in Vision-Language Models

1. Il Problema: Allucinazioni negli Attacchi di Occultamento

I modelli Vision-Language (VLM) hanno dimostrato capacità eccezionali nella comprensione e generazione di contenuti multimodali, ma sono vulnerabili a manipolazioni avversarie. Esistono attacchi precedenti volti a nascondere oggetti specifici (object concealment) per proteggere la privacy o l'informazione visiva. Tuttavia, questi metodi si basano prevalentemente su strategie di soppressione o blocco delle rappresentazioni visive relative a una regione di interesse (ROI), come mascherare pixel, cancellare patch o ridurre i pesi di attenzione.

Il problema fondamentale identificato dagli autori è che queste tecniche, pur riuscendo a nascondere l'oggetto target, creano un "vuoto semantico" (semantic gap) all'interno del codificatore visivo. Quando il modello linguistico (decoder) rileva l'assenza di evidenze visive coerenti in una zona specifica, compensa questa mancanza inferendo e generando oggetti, attributi o relazioni plausibili ma inesistenti nell'immagine originale. Questo fenomeno, noto come allucinazione, è spesso considerato un effetto collaterale inevitabile, ma il paper dimostra che è in realtà una conseguenza diretta della discontinuità semantica introdotta dagli attacchi basati sulla soppressione.

2. Metodologia: Background-Consistent Re-encoding (BCR)

Gli autori propongono un nuovo paradigma di attacco chiamato Background-Consistent Re-encoding (BCR). L'obiettivo non è rimuovere o cancellare l'informazione visiva dell'oggetto target, ma ri-codificarla in modo che diventi statisticamente e semanticamente indistinguibile dallo sfondo circostante.

Il framework opera a livello di pixel e ottimizza una perturbazione $\delta$ per generare un'immagine avversaria $x_{adv}$, mantenendo il modello congelato. Il processo si basa su tre vincoli fondamentali applicati attraverso più livelli del trasformatore visivo:

1. Allineamento Statistico ($\mathcal{L}_{stat}$): I token della regione di interesse (ROI) vengono allineati ai token dello sfondo in termini di statistiche del primo e secondo ordine (media e deviazione standard delle feature). Questo elimina le anomalie distributive che segnalerebbero la presenza di un oggetto nascosto.
2. Proiezione sul Dizionario ($\mathcal{L}_{dict}$): Le feature della ROI vengono proiettate morbide (soft projection) come combinazioni convesse delle feature dello sfondo. Questo vincola le feature della ROI a giacere all'interno del "manifold" delle feature di sfondo, garantendo coerenza semantica senza rompere la struttura dei token.
3. Preservazione dello Sfondo ($\mathcal{L}_{pres}$): Le feature al di fuori della ROI vengono preservate per evitare deriva semantica globale o distorsioni dell'intera scena.

Un termine di regolarizzazione a variazione totale ($\mathcal{L}_{tv}$) assicura che le perturbazioni siano spazialmente lisce e impercettibili.

Principio Chiave: A differenza degli attacchi che creano un "buco" rappresentativo, BCR mantiene la continuità rappresentazionale. Per il decoder linguistico, la zona dell'oggetto nascosto non appare come un'informazione mancante, ma come evidenza coerente con lo sfondo, eliminando così l'incentivo a generare allucinazioni compensative.

3. Contributi Chiave

• Nuovo Paradigma di Attacco: Introduzione di BCR, un metodo che nasconde gli oggetti preservando la struttura dei token e il flusso di attenzione, evitando i vuoti rappresentativi.
• Framework di Ottimizzazione: Progettazione di un framework a livello di pixel che impone la coerenza con lo sfondo attraverso più livelli del vision transformer, senza modificare i parametri del modello.
• Metriche di Valutazione: Sviluppo di metriche specifiche per valutare non solo il successo dell'occultamento, ma anche la riduzione delle allucinazioni "grounded" (verificate visivamente) e la preservazione della semantica globale.
• Insight Teorico: Dimostrazione empirica che le allucinazioni nei VLM durante l'occultamento derivano dalla discontinuità semantica e non dalla semplice assenza dell'oggetto.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli VLM all'avanguardia (LLaVA-1.5, BLIP-2, InstructBLIP) utilizzando i dataset ImageNet e COCO.

• Riduzione delle Allucinazioni: BCR riduce il tasso di allucinazione "grounded" (oggetti inventati che non hanno supporto visivo) fino a 3 volte rispetto agli attacchi basati sulla soppressione (come VIP). Ad esempio, su InstructBLIP con ImageNet, il tasso di allucinazione scende da 0.43 (VIP) a 0.19 (BCR).
• Preservazione della Scena: Il metodo mantiene fino all'86% degli oggetti non target nella descrizione generata, contro una media molto più bassa per i metodi di mascheramento o soppressione (spesso sotto il 60%).
• Qualità Visiva: BCR produce immagini avversarie con una fedeltà percettiva superiore (SSIM più alto, LPIPS più basso) rispetto ai metodi di soppressione, evitando artefatti visivi evidenti.
• Confronto Qualitativo: Mentre gli attacchi di soppressione portano il modello a descrivere scene completamente diverse o oggetti irrilevanti (es. un idrante in un parco) per colmare il vuoto, BCR mantiene la coerenza della scena, sostituendo l'oggetto nascosto con elementi plausibili dello sfondo o semplicemente omettendolo senza generare contenuti spuri.

5. Significato e Implicazioni

Questo lavoro offre una comprensione fondamentale del comportamento delle allucinazioni nei modelli generativi multimodali. Sposta il focus dalla semplice rimozione dell'informazione alla gestione della continuità semantica.

• Sicurezza e Privacy: Offre un metodo più robusto per la protezione della privacy visiva che non degrada l'utilità del modello o la coerenza della scena, rendendo gli attacchi meno rilevabili e meno dannosi per l'integrità semantica.
• Robustezza dei Modelli: Suggerisce che per mitigare le allucinazioni, i futuri modelli o tecniche di difesa dovrebbero focalizzarsi sul mantenimento della continuità rappresentazionale piuttosto che sulla semplice soppressione di feature.
• Analisi Adversariale: Apre una nuova direzione per l'analisi avversariale che considera la coerenza semantica come una metrica primaria, oltre alla semplice accuratezza di classificazione.

In sintesi, il paper dimostra che per nascondere efficacemente un oggetto in un VLM senza ingannare il modello con allucinazioni, non bisogna "cancellare" l'oggetto, ma "fonderlo" perfettamente nel contesto circostante.