Sintesi Tecnica: Risposte Contraffatte: Falsificazione Avversaria contro la Document Visual Question Answering priva di OCR

Definizione del Problema

I sistemi di Document Visual Question Answering (DocVQA), in particolare quelli che utilizzano architetture end-to-end prive di OCR, sono emersi come strumenti potenti per il ragionamento su immagini di documenti. Questi modelli elaborano immagini grezze e domande in linguaggio naturale per generare risposte, bypassando i costi computazionali e la propagazione degli errori associati alle tradizionali pipeline di Optical Character Recognition (OCR). Tuttavia, la vulnerabilità dei modelli di Deep Learning (DL) alle perturbazioni avversarie — manipolazioni sottili dell'input che scatenano comportamenti indesiderati — non è stata indagata a fondo nel contesto della DocVQA.

Il documento identifica una lacuna critica di sicurezza: il potenziale per la "falsificazione del documento" tramite attacchi avversari. A differenza degli attacchi standard alle classificazione di immagini, gli attacchi DocVQA mirano a manipolare output semantici specifici (risposte) derivati da complessi layout di documenti. Gli autori sostengono che anche perturbazioni visivamente impercettibili potrebbero consentire ad avversari di indurre risposte errate specifiche (ad esempio, alterando i totali finanziari su una fattura) o causare un fallimento sistematico del modello. In pipeline automatizzate, come quelle abilitate da protocolli quali l'Agents Payments Protocol (AP2), queste vulnerabilità potrebbero portare direttamente a perdite monetarie o transazioni non autorizzate.

Metodologia

Modello di Minaccia

Gli autori formalizzano un modello di minaccia white-box in cui l'avversario possiede una conoscenza completa del sistema DocVQA target, inclusa la sua architettura, le pipeline di pre-elaborazione, i parametri e i gradienti. L'attaccante ha accesso all'immagine del documento originale $x$ e alle risposte ground-truth $y$, ma la domanda $q$ è fissa (ad esempio, un prompt di sistema). L'obiettivo dell'attaccante è generare un documento perturbato $x' = x + \delta$ che causi al modello di produrre una risposta manipolata $y^*$.

L'attacco opera sotto i seguenti vincoli:

• Manipolazione dello Spazio di Input: Le perturbazioni sono applicate direttamente ai valori dei pixel grezzi del documento prima di qualsiasi pre-elaborazione specifica del modello.
• Impercettibilità: La perturbazione $\delta$ è vincolata da una norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$) per garantire che rimanga visivamente sottile.
• Scenari: Il framework supporta tre scenari di attacco:
  1. Targeted Single-QA: Forzare una specifica risposta errata per una singola domanda.
  2. Targeted Multi-QA: Forzare risposte errate specifiche per più domande simultaneamente.
  3. Denial of Answer (DoA): Indurre risposte generalmente errate per tutte le domande su un documento (violazione della disponibilità).

Formulazione dell'Attacco e Ottimizzazione

Gli autori utilizzano la Projected Gradient Descent (PGD) per ottimizzare la perturbazione. La funzione obiettivo minimizza la perdita tra l'output del modello e una risposta target $y^*$ (per attacchi mirati) o massimizza la perdita contro la ground-truth (per attacchi non mirati DoA).

Un contributo tecnico chiave è la gestione della pre-elaborazione specifica del modello. Poiché i modelli DocVQA come Pix2Struct e Donut impiegano passaggi di pre-elaborazione unici e spesso non differenziabili (ad esempio, estrazione di patch, normalizzazione specifica, rendering della domanda), gli autori hanno effettuato l'ingegneria inversa di queste pipeline per creare grafi computazionali completamente differenziabili. Ciò consente ai gradienti di fluire dall'output del modello fino all'immagine di input grezza, consentendo l'ottimizzazione end-to-end.

Sono state utilizzate due distinte funzioni di perdita:

1. Standard Fine-tuning Loss: La negative log-likelihood utilizzata nell'addestramento del modello originale.
2. Custom Logit Loss: Una nuova funzione di perdita progettata specificamente per migliorare l'efficacia dell'attacco sul modello Donut. Questa perdita penalizza solo quei token target che non sono attualmente il logit massimo, guidando l'ottimizzazione per "far emergere" i token target senza disturbare quelli già corretti.

Setup Sperimentale

Lo studio valuta gli attacchi su due modelli state-of-the-art privi di OCR:

• Pix2Struct: Un vision-language transformer che renderizza la domanda come un header visivo sull'immagine.
• Donut: Un transformer-based che accetta la domanda come prompt testuale.

Gli esperimenti sono stati condotti sul dataset PFL-DocVQA, utilizzando un subset di 1.000 documenti di fattura unici, ciascuno con 5 coppie domanda-risposta associate. Gli autori hanno testato sia attacchi a documento intero (perturbando l'intera immagine) sia attacchi patch-based (perturbando una regione localizzata, ad esempio, un quadrato del 15% nell'angolo in basso a destra).

Risultati Chiave

Tasso di Successo dell'Attacco (ASR)

• Targeted Single-QA: Gli attacchi sono stati altamente efficaci. Per gli attacchi a documento intero, l'ASR ha raggiunto quasi il 100% per Pix2Struct e poco meno dell'80% per Donut. Anche gli attacchi patch sono stati efficaci per Pix2Struct (~100% ASR) ma significativamente meno efficaci per Donut (<20% ASR).
• Targeted Multi-QA: All'aumentare del numero di domande ottimizzate ($B$), l'ASR è diminuito, riflettendo la maggiore difficoltà nel soddisfare contemporaneamente più vincoli. Pix2Struct ha mantenuto un alto ASR per piccoli valori di $B$, mentre le prestazioni di Donut sono calate rapidamente, avvicinandosi allo zero per $B=2$.
• Denial of Answer (DoA): Gli attacchi non mirati si sono dimostrati altamente efficaci nel degradare le prestazioni del modello. Anche con un singolo step di ottimizzazione ($K=1$), i modelli sono stati disturbati. L'ASR per DoA è rimasto elevato per $B=1$ ma è diminuito all'aumentare delle domande targetizzate, sebbene il calo sia stato meno severo per Donut rispetto allo scenario mirato.

Danno Collaterale (CDMG) e ANLS

• Danno Collaterale: Per gli attacchi mirati Single-QA, il CDMG è rimasto basso, indicando che le risposte non targetizzate sullo stesso documento sono rimaste ampiamente corrette. Tuttavia, negli scenari Multi-QA e DoA, il CDMG è aumentato come previsto, in particolare per DoA dove l'obiettivo è la perturbazione globale.
• Punteggi ANLS: Le metriche Average Normalized Levenshtein Similarity (ANLS) hanno confermato la dinamica dell'attacco. Negli attacchi mirati, l'ANLS-B (similarità con le risposte target) è aumentato, mentre l'ANLS-C (similarità con la ground-truth per le risposte non targetizzate) è rimasto elevato. Negli attacchi DoA, l'ANLS-B (similarità con la ground-truth) è diminuito significativamente, confermando la degradazione degli output corretti.

Significato e Rivendicazioni

Il documento sostiene di presentare il primo modello di minaccia che analizza specificamente la vulnerabilità avversaria dei sistemi DocVQA privi di OCR. La sua importanza primaria risiede nel dimostrare che:

1. Vulnerabilità End-to-End: Gli attuali sistemi DocVQA sono suscettibili alla falsificazione avversaria in cui piccole perturbazioni, localizzate o a documento intero, possono indurre risposte semanticamente errate specifiche.
2. Impatto nel Mondo Reale: Questi attacchi non sono meramente teorici; possono essere creati per manipolare dati finanziari (ad esempio, i totali delle fatture) o per innescare condizioni di denial-of-service in pipeline di elaborazione documenti automatizzate.
3. Sensibilità del Modello: Diverse architetture mostrano diversi livelli di robustezza. Pix2Struct è risultato più vulnerabile agli attacchi patch rispetto a Donut, mentre Donut ha avuto maggiori difficoltà con l'ottimizzazione multi-target.
4. Appello alla Difesa: I risultati evidenziano la necessità critica di difese robuste, inclusi l'addestramento avversario adattato alle modalità documentali, la rilevazione di input anomali e l'indurimento delle pipeline di pre-elaborazione.

Gli autori sottolineano che, sebbene il loro studio assuma un setting white-box (un limite superiore alla capacità dell'attaccante), i risultati stabiliscono un limite superiore chiaro sull'efficacia di tali attacchi, esortando la comunità a sviluppare mitigazioni fondate prima che queste vulnerabilità vengano sfruttate nel mondo reale.