Technische Samenvatting: Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering

Probleemstelling

Document Visual Question Answering (DocVQA)-systemen, met name die gebruikmaken van OCR-vrije end-to-end architecturen, zijn uitgegroeid tot krachtige instrumenten voor redeneren over documentafbeeldingen. Deze modellen verwerken ruwe afbeeldingen en natuurlijke taalvragen om antwoorden te generen, waarbij ze de computationele kosten en foutpropagatie die geassocieerd worden met traditionele Optical Character Recognition (OCR) pipelines omzeilen. Echter, de kwetsbaarheid van Deep Learning (DL) modellen voor adversariële perturbaties—subtiele inputmanipulaties die ongewenst gedrag triggeren—is in de context van DocVQA niet grondig onderzocht.

Het artikel identificeert een kritieke beveiligingskloof: het potentieel voor "documentvervalsing" via adversariële aanvallen. In tegen tegenstelling tot standaard beeldclassificatie-aanvallen, richten DocVQA-aanvallen zich op het manipuleren van specifieke semantische outputs (antwoorden) afgeleid van complexe documentlay-outs. De auteurs stellen dat zelfs visueel onwaarneembare perturbaties een aanvaller in staat kunnen stellen om specifieke onjuiste antwoorden te induceren (bijv. het wijzigen van financiële totalen op een factuur) of systematisch modelfalen te veroorzaken. In geautomatiseerde pipelines, zoals die mogelijk gemaakt door protocollen zoals het Agents Payments Protocol (AP2), zouden deze kwetsbaarheden direct kunnen leiden tot monetair verlies of ongeautoriseerde transacties.

Methodologie

Dreigingsmodel

De auteurs formaliseren een white-box dreigingsmodel waarbij de aanvaller volledige kennis heeft van het doelwit DocVQA-systeem, inclusief de architectuur, preprocessing-pipelines, parameters en gradiënten. De aanvaller heeft toegang tot de originele documentafbeelding $x$ en de grondwaarheid-antwoorden $y$, maar de vraag $q$ is vastgesteld (bijv. een systeemprompt). Het doel van de aanvaller is om een geperturbeerd document $x' = x + \delta$ te genereren dat het model een gemanipuleerd antwoord $y^*$ laat produceren.

De aanval opereert onder de volgende beperkingen:

• Inputruimte Manipulatie: Perturbaties worden direct toegepast op de ruwe pixelwaarden van de documentafbeelding vóór enige model-specifieke preprocessing.
• Onwaarneembaarheid: De perturbatie $\delta$ wordt beperkt door een $\ell_\infty$-norm ($\|\delta\|_\infty \leq \epsilon$) om te garanderen dat deze visueel subtiel blijft.
• Scenario's: Het framework ondersteunt drie aanvalsscenario's:
  1. Targeted Single-QA: Het forceren van een specifiek onjuist antwoord voor één vraag.
  2. Targeted Multi-QA: Het gelijktijdig forceren van specifieke onjuiste antwoorden voor meerdere vragen.
  3. Denial of Answer (DoA): Het induceren van algemeen onjuiste antwoorden voor alle vragen op een document (beschikbaarheidschending).

Aanvalsformulering en Optimalisatie

De auteurs maken gebruik van Projected Gradient Descent (PGD) om de perturbatie te optimaliseren. De objectieffunctie minimaliseert de loss tussen de output van het model en een doelantwoord $y^*$ (voor gerichte aanvallen) of maximaliseert de loss tegen de grondwaarheid (voor ongerichte DoA-aanvallen).

Een belangrijke technische bijdrage is de afhandeling van model-specifieke preprocessing. Omdat DocVQA-modellen zoals Pix2Struct en Donut unieke, vaak niet-differentieerbare preprocessing-stappen hanteren (bijv. patch extractie, specifieke normalisatie, vraag-rendering), hebben de auteurs deze pipelines reverse-engineered om volledig differentieerbare computationele grafen te creëren. Dit maakt het mogelijk om gradiënten terug te laten stromen van de modeloutput naar de ruwe inputafbeelding, wat end-to-end optimalisatie mogelijk maakt.

Er werden twee verschillende loss-functies gebruikt:

1. Standaard Fine-tuning Loss: De negative log-likelihood die wordt gebruikt in de oorspronkelijke modeltraining.
2. Custom Logit Loss: Een nieuwe loss-functie die specifiek is ontworpen om de effectiviteit van de aanval op het Donut-model te verbeteren. Deze loss straft alleen die target-tokens af die momenteel niet de maximale logit zijn, waardoor de optimalisatie wordt gestuurd om target-tokens "naar voren te brengen" zonder reeds correcte tokens te verstoren.

Experimentele Opzet

De studie evalueert aanvallen op twee state-of-the-art OCR-vrije modellen:

• Pix2Struct: Een vision-language transformer die de vraag rendert als een visuele header op de afbeelding.
• Donut: Een transformer-gebaseerd model dat de vraag accepteert als een tekstprompt.

Experimenten werden uitgevoerd op de PFL-DocVQA dataset, gebruikmakend van een subset van 1.000 unieke factuurdocumenten, elk met 5 bijbehorende vraag-antwoordparen. De auteurs testten zowel full-document aanvallen (het verstoren van de gehele afbeelding) als patch-based aanvallen (het verstoren van een gelokaliseerd gebied, bijv. een vierkant van 15% in de rechterbenedenhoek).

Belangrijkste Resultaten

Attack Success Rate (ASR)

• Targeted Single-QA: De aanvallen waren zeer effectief. Voor full-document aanvallen bereikte de ASR bijna 100% voor Pix2Struct en net onder de 80% voor Donut. Patch-aanvallen waren ook succesvol voor Pix2Struct (~100% ASR) maar aanzienlijk minder effectief voor Donut (<20% ASR).
• Targeted Multi-QA: Naarmate het aantal geoptimaliseerde vragen ($B$) toenam, nam de ASR af, wat de verhoogde moeilijkheid weerspiegelt om meerdere restricties gelijktijdig te voldoen. Pix2Struct behield een hoge ASR voor kleine $B$, terwijl de prestaties van Donut snel daalden, naderend naar nul bij $B=2$.
• Denial of Answer (DoA): De ongerichte aanvallen bleken zeer effectief in het degraderen van de modelprestaties. Zelfs met een enkele optimalisatiestap ($K=1$) werden de modellen verstoord. De ASR voor DoA bleef hoog voor $B=1$, maar nam af naarmate meer vragen werden getarget, hoewel de daling minder ernstig was voor Donut vergeleken met het gerichte scenario.

Collateral Damage (CDMG) en ANLS

• Collateral Damage: Voor targeted single-QA aanvallen bleef CDMG laag, wat aangeeft dat niet-getargete antwoorden op hetzelfde document grotendeels correct bleven. Echter, in multi-QA en DoA scenario's nam CDMG toe zoals verwacht, met name bij DoA waar het doel globale verstoring is.
• ANLS Scores: De Average Normalized Levenshtein Similarity (ANLS) metrieken bevestigden de aanvalsdynamiek. In gerichte aanvallen nam ANLS-B (gelijkenis met target-antwoorden) toe, terwijl ANLS-C (gelijkenis met grondwaarheid voor niet-getargete antwoorden) hoog bleef. In DoA-aanvallen nam ANLS-B (gelijkenis met grondwaarheid) significant af, wat de degradatie van correcte outputs bevestigt.

Betekenis en Claims

Het artikel claimt de eerste dreigingsanalyse te presenteren die specifiek de adversariële kwetsbaarheid van OCR-vrije DocVQA-systemen analyseert. De primaire betekenis ligt in het aantonen dat:

1. End-to-End Kwetsbaarheid: Huidige DocVQA-systemen zijn vatbaar voor adversariële vervalsing waarbij kleine, gelokaliseerde of full-document perturbaties specifieke, semantisch onjuiste antwoorden kunnen induceren.
2. Impact in de Werkelijkheid: Deze aanvallen zijn niet louter theoretisch; ze kunnen worden ontworpen om financiële gegevens te manipuleren (bijv. factuurtotalen) of om denial-of-service condities te triggeren in geautomatiseerde documentverwerkingspipelines.
3. Modelgevoeligheid: Verschillende architecturen vertonen variërende niveaus van robuustheid. Pix2Struct bleek gevoeliger voor patch-aanvallen dan Donut, terwijl Donut meer moeite had met multi-target optimalisatie.
4. Oproep tot Defensie: De bevindingen benadrukken de kritieke behoefte aan robuuste defensies, inclusief adversariële training aangepast aan documentmodaliteiten, detectie van anomale inputs en het harden van preprocessing-pipelines.

De auteurs benadrukken dat hoewel hun studie een white-box setting veronderstelt (een bovengrens aan de capaciteit van een aanvaller), de resultaten een duidelijke bovengrens vaststellen voor de effectiviteit van dergelijke aanvallen, wat de gemeenschap aanspoort om principiële mitigaties te ontwikkelen voordat deze kwetsbaarheden in de praktijk worden misbruikt.