💻 computer science

Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering

Dieses Paper führt ein neuartiges adversarielles Angriffsszenario namens „Counterfeit Answers“ ein, das Dokumenteninhalte auf visuell unmerkliche Weise fälscht, um OCR-freie Document Visual Question Answering-Modelle dazu zu manipulieren, spezifische oder falsche Antworten zu generieren, wodurch kritische Schwachstellen in hochmodernen Systemen wie Pix2Struct und Donut aufgezeigt werden.

Ursprüngliche Autoren: Marco Pintore, Maura Pintor, Dimosthenis Karatzas, Battista Biggio

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marco Pintore, Maura Pintor, Dimosthenis Karatzas, Battista Biggio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, automatisierten Roboter-Assistenten, dessen Aufgabe es ist, Rechnungen, Quittungen und Verträge zu lesen. Sie stellen ihm Fragen wie: „Wie viel schulde ich?“ oder „Wie lautet die Rechnungsnummer?“ und er sieht sich das Bild des Dokuments an und gibt Ihnen die Antwort. Diese Technologie wird Document Visual Question Answering (DocVQA) genannt.

Dieses Papier ist ein Sicherheitsbericht, der besagt: „Dieser Roboter lässt sich leicht durch unsichtbare Zaubertricks täuschen.“

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung alltäglicher Analogien:

1. Der Aufbau: Der Roboter und das Dokument

Betrachten Sie das DocVQA-Modell als einen superschnellen Bibliothekar, der ein Dokument lesen und Fragen dazu sofort beantworten kann.

Der alte Weg: Der Bibliothekar würde zuerst einen Scanner (OCR) benutzen, um das Bild des Papiers in getippten Text umzuwandeln, und dann diesen Text lesen.
Der neue Weg (der Fokus des Papers): Der Bibliothekar schaut direkt auf das Bild des Papiers und versteht das Layout, die Schriftarten und die Zahlen gleichzeitig, ohne sie vorher „abtippen“ zu müssen. Das ist schneller und intelligenter.

2. Das Problem: Der „unsichtbare Tinte“-Trick

Die Forscher entdeckten, dass man diesen smarten Bibliothekar täuschen kann, indem man winzige, fast unsichtbare Änderungen am Bild des Dokuments vornimmt.

Die Analogie: Stellen Sie sich vor, Sie haben einen Beleg. Sie nehmen einen magischen Marker und ändern einen einzigen Pixel (einen winzigen Farbpunkt) in der Ecke des Papiers. Für Ihr menschliches Auge sieht der Beleg exakt gleich aus. Aber für den Roboter ist diese winzige Änderung wie eine laute Sirene, die schreit: „Ignoriere den Gesamtpreis! Der Gesamtbetrag ist jetzt 0,00 $!“
Das Ergebnis: Der Roboter gibt Ihnen selbstbewusst die falsche Antwort, obwohl das Dokument für einen Menschen unverändert aussieht.

3. Die zwei Arten, wie sie es gemacht haben

Die Forscher testeten zwei Methoden, um den Roboter zu „täuschen“:

Der „Full-Document“-Trick: Sie verteilten winzige, unsichtbare Änderungen über die gesamte Seite. Das ist, als würde man den ganzen Beleg mit unsichtbarem Pulver bestäuben, das das Gehirn des Roboters verwirrt.
Der „Patch“-Trick: Sie platzierten einen kleinen, unsichtbaren „Aufkleber“ (einen Patch) in nur einer Ecke des Dokuments (wie unten rechts). Überraschenderweise reichte dieser winzige Aufkleber aus, um den Roboter den Gesamtbetrag vergessen zu lassen oder die Rechnungs-ID zu ändern.

4. Die drei Arten von Tricks

Die Forscher zeigten, dass sie den Roboter auf drei spezifische Arten täuschen konnten:

Die „gezielte Lüge“ (Targeted Single): Sie brachten den Roboter dazu, eine ganz bestimmte falsche Antwort zu geben. Beispiel: Den Roboter dazu bringen, zu sagen, der Gesamtbetrag sei 0,00 $, obwohl er eigentlich 128 $ beträgt.
Die „Masseneverwirrung“ (Targeted Multi): Sie versuchten, den Roboter dazu zu bringen, gleichzeitig über mehrere Fragen zu lügen. Beispiel: Den Gesamtbetrag, das Datum und die Rechnungsnummer gleichzeitig zu ändern. Sie fanden heraus, dass dies schwieriger ist; der Roboter wird zwar verwirrt, aber es ist schwer, ihn dazu zu bringen, gleichzeitig über alles perfekt zu lügen.
Die „Verweigerung der Antwort“ (Denial of Answer): Es war ihnen egal, wie die falsche Antwort lautete; sie wollten nur, dass der Roboter komplett versagt. Beispiel: Den Roboter dazu zu bringen, bei jeder Frage „Ich weiß es nicht“ oder „Wiederholen“ zu sagen. Dies war sehr leicht zu erreichen.

5. Das „White-Box“-Geheimnis

Die Forscher geben zu, dass sie in ihrem Experiment einen riesigen Vorteil hatten. Sie wussten genau, wie das Gehirn des Roboters aufgebaut ist (sein Code, seine Einstellungen und wie er Bilder verarbeitet).

Die Analogie: Es ist wie bei einem Zauberer, der einen Trick an einem Freund übt, der ein Headset trägt, das ihm genau sagt, welche Karte der Zauberer als Nächstes ziehen wird.
Warum das wichtig ist: Selbst mit diesem unfairen Vorteil zeigt die Tatsache, dass sie das System so leicht brechen konnten, dass das System fragil ist. Wenn ein Hacker dies mit vollem Wissen tun kann, könnte er es eventuell auch ohne das Wissen über die Geheimnisse schaffen (obwohl das schwieriger ist).

6. Die reale Gefahr

Das Paper warnt davor, dass es gefährlich sein könnte, wenn wir KI-Agenten (Roboter) Aufgaben wie das Bearbeiten von Geld oder rechtlichen Dokumenten automatisch überlassen.

Das Szenario: Ein böswilliger Akteur könnte eine Rechnung mit einem winzigen, unsichtbaren Patch versenden. Ein automatisiertes Bankensystem liest diese, wird getäuscht und autorisiert eine Zahlung von 0,00 $ anstelle des echten Betrags oder genehmigt eine gefälschte Transaktion.

Zusammenfassung

Das Paper sagt nicht, dass diese Technologie nutzlos ist. Stattdessen ist es ein „Warnhinweis“. Es sagt: „Wir haben einen sehr smarten Roboter gebaut, der Dokumente lesen kann, aber wir haben gerade herausgefunden, dass ein winziger, unsichtbarer Staubpartikel ihn dazu bringen kann, völlig falsche Antworten zu halluzinieren.“

Die Forscher haben ihre „Zaubertricks“ (den Code) veröffentlicht, damit andere Wissenschaftler diese untersuchen und stärkere Schutzschilde für diese Systeme in der Zukunft bauen können.

Technisches Resümee: Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering

Problemstellung

Document Visual Question Answering (DocVQA)-Systeme, insbesondere solche, die OCR-freie End-to-End-Architekturen nutzen, haben sich als leistungsstarke Werkzeuge für das Schließen über Dokumentenbilder etabliert. Diese Modelle verarbeiten Rohbilder und natürliche Sprachfragen, um Antworten zu generieren, wodurch die Rechenkosten und die Fehlerfortpflanzung herkömmlicher Optical-Character-Recognition (OCR)-Pipelines umgangen werden. Die Anfälligkeit von Deep-Learning (DL)-Modellen gegenüber adversariellen Perturbationen – subtilen Eingabemanipulationen, die unerwünschte Verhaltensweisen auslösen – wurde im Kontext von DocVQA jedoch bisher nicht gründlich untersucht.

Das Paper identifiziert eine kritische Sicherheitslücke: das Potenzial für „Dokumentenfälschung“ durch adversarielle Angriffe. Im Gegensatz zu Standard-Bildklassifizierungsangriffen zielen DocVQA-Angriffe darauf ab, spezifische semantische Ausgaben (Antworten) zu manipulieren, die aus komplexen Dokumentenlayouts abgeleitet werden. Die Autoren postulieren, dass selbst visuell unmerkliche Perturbationen es Angreifern ermöglichen könnten, gezielt falsche Antworten zu induzieren (z. B. die Änderung von Finanzsummen auf einer Rechnung) oder ein systematisches Modellversagen herbeizuführen. In automatisierten Abläufen, wie sie etwa durch Protokolle wie das Agents Payments Protocol (AP2) ermöglicht werden, könnten diese Schwachstellen direkt zu finanziellen Verlusten oder unbefugten Transaktionen führen.

Methodik

Bedrohungsmodell

Die Autoren formalisieren ein White-Box-Bedrohungsmodell, bei dem der Angreifer über vollständiges Wissen über das Ziel-DocVQA-System verfügt, einschließlich dessen Architektur, Preprocessing-Pipelines, Parameter und Gradienten. Der Angreifer hat Zugriff auf das ursprüngliche Dokumentenbild $x$ und die Ground-Truth-Antworten $y$ , wobei die Frage $q$ fixiert ist (z. B. ein System-Prompt). Das Ziel des Angreifers ist es, ein perturbiertes Dokument $x' = x + \delta$ zu erzeugen, das das Modell zu einer manipulierten Antwort $y^*$ veranlasst.

Der Angriff operiert unter den folgenden Randbedingungen:

Manipulation des Eingaberaums: Die Perturbationen werden direkt auf die Rohpixelwerte des Dokumentenbildes vor jeglicher modellspezifischer Vorverarbeitung angewendet.
Imperzeptibilität: Die Perturbation $\delta$ ist durch eine $\ell_\infty$ -Norm ( $\|\delta\|_\infty \leq \epsilon$ ) beschränkt, um sicherzustellen, dass sie visuell subtil bleibt.
Szenarien: Das Framework unterstützt drei Angriffsszenarien:
1. Targeted Single-QA: Erzwingen einer spezifischen falschen Antwort für eine einzelne Frage.
2. Targeted Multi-QA: Erzwingen spezifischer falscher Antworten für mehrere Fragen gleichzeitig.
3. Denial of Answer (DoA): Induzieren generell falscher Antworten für alle Fragen auf einem Dokument (Verletzung der Verfügbarkeit).

Angriffsformulierung und Optimierung

Die Autoren verwenden Projected Gradient Descent (PGD), um die Perturbation zu optimieren. Die Zielfunktion minimiert den Verlust zwischen der Ausgabe des Modells und einer Zielantwort $y^*$ (für gezielte Angriffe) oder maximiert den Verlust gegenüber der Ground Truth (für ungerichtete DoA-Angriffe).

Ein wesentlicher technischer Beitrag ist der Umgang mit der modellspezifischen Vorverarbeitung. Da DocVQA-Modelle wie Pix2Struct und Donut einzigartige, oft nicht differenzierbare Vorverarbeitungsschritte verwenden (z. B. Patch-Extraktion, spezifische Normalisierung, Frage-Rendering), haben die Autoren diese Pipelines rückentwickelt, um vollständig differenzierbare Rechengraphen zu erstellen. Dies ermöglicht es, die Gradienten vom Modellausgang zurück zum Rohbild der Eingabe fließen zu lassen, was eine End-to-End-Optimierung ermöglicht.

Es wurden zwei unterschiedliche Verlustfunktionen verwendet:

Standard Fine-tuning Loss: Die Negative Log-Likelihood, die im ursprünglichen Modelltraining verwendet wird.
Custom Logit Loss: Eine neuartige Verlustfunktion, die speziell entwickelt wurde, um die Effektivität des Angriffs auf das Donut-Modell zu verbessern. Dieser Loss bestraft nur jene Target-Tokens, die derzeit nicht das maximale Logit sind, und steuert die Optimierung so, dass die Ziel-Tokens „hervorgebracht“ werden, ohne bereits korrekte zu stören.

Experimentelles Setup

Die Studie evaluiert Angriffe auf zwei State-of-the-Art OCR-freie Modelle:

Pix2Struct: Ein Vision-Language-Transformer, der die Frage als visuellen Header auf dem Bild rendert.
Donut: Ein Transformer-basiertes Modell, das die Frage als Text-Prompt akzeptiert.

Die Experimente wurden auf dem PFL-DocVQA Datensatz durchgeführt, wobei ein Teilbereich von 1.000 eindeutigen Rechnungsdokumenten mit jeweils 5 zugehörigen Frage-Antwort-Paaren genutzt wurde. Die Autoren testeten sowohl Full-Document Angriffe (Perturbation des gesamten Bildes) als auch Patch-basierte Angriffe (Perturbation eines lokalisierten Bereichs, z. B. eines 15%-Quadranten in der unteren rechten Ecke).

Kernergebnisse

Attack Success Rate (ASR)

Targeted Single-QA: Die Angriffe waren äußerst effektiv. Bei Full-Document-Angriffen erreichte die ASR nahezu 100 % für Pix2Struct und knapp unter 80 % für Donut. Patch-Angriffe waren ebenfalls erfolgreich für Pix2Struct (~100 % ASR), aber signifikant weniger effektiv für Donut (<20 % ASR).
Targeted Multi-QA: Mit zunehmender Anzahl der optimierten Fragen ( $B$ ) sank die ASR, was die gestiegene Schwierigkeit widerspiegelt, mehrere Constraints gleichzeitig zu erfüllen. Pix2Struct behielt eine hohe ASR für kleine $B$ bei, während die Performance von Donut rapide sank und bei $B=2$ gegen Null ging.
Denial of Answer (DoA): Die ungerichteten Angriffe erwiesen sich als sehr effektiv bei der Verschlechterung der Modellleistung. Selbst mit einem einzigen Optimierungsschritt ( $K=1$ ) wurden die Modelle gestört. Die ASR für DoA blieb hoch für $B=1$ , sank jedoch mit steigender Anzahl der anvisierten Fragen, wobei der Abfall bei Donut im Vergleich zum gezielten Szenario weniger stark ausfiel.

Collateral Damage (CDMG) und ANLS

Collateral Damage: Bei Targeted Single-QA Angriffen blieb CDMG niedrig, was darauf hindeutet, dass nicht-zielgerichtete Antworten auf demselben Dokument weitgehend korrekt blieben. In Multi-QA und DoA Szenarien stieg CDMG erwartungsgemäß an, insbesondere bei DoA, wo das Ziel eine globale Störung ist.
ANLS Scores: Die Average Normalized Levenshtein Similarity (ANLS) Metriken bestätigten die Angriffsdynamik. In gezielten Angriffen stieg ANLS-B (Ähnlichkeit zu Zielantworten), während ANLS-C (Ähnlichkeit zur Ground Truth für nicht-zielgerichtete Antworten) hoch blieb. In DoA-Angriffen sank ANLS-B (Ähnlichkeit zur Ground Truth) signifikant, was die Degradation korrekter Ausgaben bestätigte.

Bedeutung und Ansprüche

Das Paper beansprucht, das erste Bedrohungsmodell zu präsentieren, welches die adversarielle Vulnerabilität von OCR-freien DocVQA-Systemen spezifisch analysiert. Seine primäre Bedeutung liegt im Nachweis, dass:

End-to-End Vulnerability: Aktuelle DocVQA-Systeme sind anfällig für adversarielle Fälschungen, bei denen kleine, lokalisierte oder vollflächige Perturbationen spezifische, semantisch falsche Antworten induzieren können.
Real-World Impact: Diese Angriffe sind nicht bloß theoretisch; sie können konstruiert werden, um Finanzdaten (z. B. Rechnungssummen) zu manipulieren oder Denial-of-Service-Zustände in automatisierten Dokumentenverarbeitungspipelines auszulösen.
Modellsensitivität: Unterschiedliche Architekturen weisen variierende Robustheitsgrade auf. Pix2Struct wurde als anfälliger gegenüber Patch-Angriffen als Donut befunden, während Donut größere Schwierigkeiten mit der Multi-Target-Optimierung hatte.
Aufruf zur Verteidigung: Die Ergebnisse unterstreichen die dringende Notwendigkeit robuster Abwehrmechanismen, einschließlich adversariellem Training, das an Dokumentenmodalitäten angepasst ist, der Detektion anomaler Eingaben und der Härtung von Preprocessing-Pipelines.

Die Autoren betonen, dass ihre Studie zwar von einem White-Box-Szenario ausgeht (einer oberen Grenze der Angreiferkapazität), die Ergebnisse jedoch eine klare Obergrenze für die Effektivität solcher Angriffe etablieren und die Community dazu aufrufen, prinzipielle Schutzmaßnahmen zu entwickeln, bevor diese Schwachstellen in der Praxis ausgenutzt werden.