Riepilogo Tecnico: Prompting Bidirezionale a Ciclo Chiuso per la Robustezza Adversarial dei Modelli Linguistici Visivi

1. Enunciato del Problema

I Modelli Linguistici Visivi (VLM), come CLIP, raggiungono prestazioni elevate allineando le modalità visiva e testuale in uno spazio di embedding congiunto. Tuttavia, questo stretto accoppiamento cross-modale crea una vulnerabilità: piccole perturbazioni avversarie sull'immagine di input possono interrompere l'allineamento semantico tra l'immagine e il suo testo corrispondente, portando a una classificazione errata.

I meccanismi di difesa esistenti soffrono di limitazioni specifiche:

• Fine-Tuning Adversarial (AFT): Sebbene efficace, richiede il riaddestramento del codificatore visivo, che è computazionalmente costoso e rischia di distorcere il manifold delle caratteristiche pre-addestrate, spesso degradando la generalizzazione su dati puliti.
• Prompt Tuning Adversarial (APT): Questi metodi ottimizzano prompt soft mantenendo il backbone congelato. Tuttavia, generano tipicamente prompt statici condivisi su tutti gli input o si affidano a proiezioni unidirezionali (ad esempio, solo da testo a visione). Non riescono ad adattarsi a perturbazioni specifiche dell'istanza e mancano di un meccanismo di correzione reciproca tra le modalità.
• Difese al momento del Test (Test-Time): Molte si concentrano sulla consistenza lato visivo o sulle caratteristiche dell'attacco piuttosto che sul ripristino dell'allineamento cross-modale sottostante.

La limitazione fondamentale identificata è che la maggior parte delle difese tratta le modalità in modo indipendente o aggiusta solo un ramo considerando l'altro come contesto fisso. Poiché gli attacchi avversari mirano specificamente al disaccoppiamento di questi rami, è necessaria una difesa che richieda un recupero bidirezionale, dove le caratteristiche visive e testuali interagiscono attivamente per ristabilire l'allineamento.

2. Metodologia: Prompting Bidirezionale a Ciclo Chiuso (CLBP)

Gli autori propongono il Prompting Bidirezionale a Ciclo Chiuso (CLBP), una difesa al momento del test che mantiene i codificatori pre-addestrati congelati e introduce un ciclo di feedback dinamico tra i rami visivo e testuale.

Componenti Principali

1. Ancora Semantica (Bootstrapping Semantico):
   Per impedire che gli aggiornamenti iterativi si discostino dal manifold semantico pre-addestrato, il ciclo è inizializzato e vincolato da un'"Ancora Semantica". Questa è un'incorporazione testuale fissa derivata da un template di classe generico (ad esempio, "una foto di un {classe}"). Agisce come un prior stabile.

2. Ciclo di Feedback Bidirezionale:
   Il metodo alterna due adattatori leggeri:

   • Denoising da Testo a Visione (T2V): Le attuali incorporazioni testuali (inizialmente l'ancora) sono elaborate da un adattatore T2V per generare prompt visivi. Questi prompt sono anteposti alle patch dell'immagine. Il codificatore visivo elabora quindi l'immagine condizionata da questi prompt, filtrando efficacemente il rumore avversario nelle caratteristiche visive attraverso l'attenzione incrociata contro il segnale linguistico stabile.
   • Raffinamento da Visione a Testo (V2T): Le caratteristiche visive raffinate risultanti sono mappate da un adattatore V2T in uno spostamento per istanza ($\delta$) applicato al prompt testuale. Questo aggiorna la descrizione testuale per essere specifica all'istanza dell'immagine corrente piuttosto che condivisa sull'intero dataset.

   Questo processo forma un ciclo chiuso: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$.

3. Stabilità Teorica:
   Gli autori modellano il ciclo come una mappa a punto fisso sulla sfera unitaria. Dimostrano che, sotto l'inizializzazione con l'ancora, l'operatore composto è una contrazione con una costante di Lipschitz locale $q \approx 10^{-4}$. Ciò implica:

   • Il ciclo converge a un unico punto fisso.
   • Un singolo aggiornamento bidirezionale ($N=1$) è sufficiente per raggiungere il punto fisso, poiché le iterazioni successive producono miglioramenti trascurabili.
   • La deviazione dal punto fisso pulito cresce linearmente con la perturbazione di input ma non dipende dalla profondità dell'iterazione, garantendo stabilità.

4. Aggregazione Multi-Vista:
   Per gestire il rumore di campionamento dalle singole aumentazioni, CLBP aggrega le previsioni su $V$ viste aumentate casuali dell'input. Utilizza un softmax pesato per similarità per sopprimere le viste outlier che non concordano con il consenso, migliorando la robustezza senza richiedere riaddestramento.

5. Obiettivo di Addestramento:
   Gli adattatori sono addestrati utilizzando una perdita composita su esempi avversari:

   • Cross-Entropy ($L_{ce}$): Perdita di classificazione standard.
   • Perdita di Margine ($L_{mar}$): Impone un margine nello spazio delle caratteristiche sui logit avversari.
   • Divergenza KL ($L_{kl}$): Distilla la previsione pulita nel ramo avversario per preservare l'accuratezza su dati puliti.

3. Contributi Chiave

• Meccanismo di Feedback Bidirezionale: Il documento identifica il trattamento indipendente delle modalità come una debolezza chiave nelle difese esistenti e propone CLBP, un metodo in cui le caratteristiche visive e testuali si condizionano e correggono reciprocamente al momento dell'inferenza senza modificare i codificatori congelati.
• Ancora Semantica e Analisi di Convergenza: L'introduzione di un'Ancora Semantica per vincolare l'iterazione è completata da un'analisi teorica che dimostra la natura contrattiva del ciclo. Gli autori dimostrano empiricamente e teoricamente che un singolo aggiornamento è sufficiente per la convergenza.
• Valutazione Completa: Il metodo è validato su 11 dataset in tre regimi: zero-shot cross-dataset, adattamento few-shot e generalizzazione base-nuovo.

4. Risultati Sperimentali

Gli autori valutano CLBP rispetto al Fine-Tuning Adversarial (AFT), al Prompt Tuning Adversarial (APT) e alle difese al momento del test (ad esempio, TTC, SCC, R-TPT) sotto attacchi white-box (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

• Robustezza Zero-Shot Cross-Dataset: Su 10 dataset, CLBP raggiunge un'accuratezza robusta media del 52,77%, superando significativamente la difesa al momento del test più forte (SCC al 49,71%) e le baseline basate sull'addestramento (ad esempio, AdvMaPLe al 24,37%). Crucialmente, mantiene un'accuratezza su dati puliti del 59,99%, quasi identica a CLIP vanilla (59,60%), evitando il compromesso accuratezza-robustezza osservato nell'AFT.
• Adattamento Few-Shot: In un setting da 16 shot su 11 dataset, CLBP raggiunge un'accuratezza robusta media del 65,08%, circa il doppio delle prestazioni della baseline successiva migliore (FAP al 34,61%). Nel regime low-shot (1 shot), CLBP mantiene il 41,13% di robustezza, mentre le baseline con prompt statici scendono a circa il 2,43%.
• Generalizzazione Base-Nuovo: CLBP dimostra una trasferibilità superiore, mantenendo un'accuratezza robusta del 54,92% su classi "Nuove" non viste, rispetto al 21,86% per FAP. Ciò indica che il metodo non sovrappassa alle classi base.
• Diversità degli Attacchi: CLBP mantiene prestazioni all'avanguardia contro ensemble di AutoAttack, attacchi di margine Carlini-Wagner e attacchi adattivi EOT-PGD, confermando che la robustezza non è un artefatto dell'oscuramento del gradiente.
• Efficienza: Il metodo è efficiente; l'accuratezza robusta satura con sole 8 viste aumentate e un'unica iterazione del ciclo è sufficiente.

5. Significato e Affermazioni

Il documento afferma che CLBP rappresenta un passo significativo avanti nel secureizzare i VLM affrontando la causa radice della loro vulnerabilità: il disaccoppiamento dell'allineamento cross-modale sotto attacco.

• Efficienza Parametrica: A differenza dell'AFT, CLBP non richiede il riaddestramento dei massicci codificatori pre-addestrati, rendendolo adatto a ambienti con risorse limitate o sistemi distribuiti.
• Adattamento Dinamico: Generando prompt specifici per l'istanza attraverso un ciclo bidirezionale, CLBP supera la natura statica dei precedenti metodi di prompt tuning, permettendogli di adattarsi a pattern avversari diversificati.
• Fondamento Teorico: Il lavoro fornisce una giustificazione teorica per la stabilità della difesa, mostrando che le dinamiche a ciclo chiuso sono contrattive e convergono rapidamente.
• Preservazione delle Prestazioni su Dati Puliti: Il metodo raggiunge una robustezza all'avanguardia senza sacrificare l'accuratezza su dati puliti, un comune modo di fallimento nell'addestramento avversario.

Gli autori riconoscono le limitazioni, notando che l'analisi si concentra su architetture a doppia torre (come CLIP) e che i limiti teorici, sebbene empiricamente stretti, si basano su approssimazioni fattorizzate. Notano inoltre che il metodo eredita i bias dal backbone congelato sottostante. Tuttavia, CLBP è presentato come una soluzione robusta, efficiente e teoricamente fondata per la difesa avversaria nei modelli linguistici visivi.