Résumé Technique : Réponses Contrefaites : Forgerie Adversaire contre le DocVQA sans OCR

Énoncé du Problème

Les systèmes de Question-Réponse sur Documents Visuels (DocVQA), en particulier ceux utilisant des architectures de bout en bout sans OCR, sont apparus comme des outils puissants pour le raisonnement sur des images de documents. Ces modèles traitent des images brutes et des questions en langage naturel pour générer des réponses, contournant ainsi les coûts de calcul et la propagation d'erreurs associés aux pipelines traditionnels de Reconnaissance Optique de Caractères (OCR). Cependant, la vulnérabilité des modèles de Deep Learning (DL) aux perturbations adverses — des manipulations subtiles d'entrée qui déclenchent des comportements indésirables — n'a pas été étudiée de manière approfondie dans le contexte du DocVQA.

Le papier identifie une faille de sécurité critique : le potentiel de « forge de documents » via des attaques adverses. Contrairement aux attaques classiques sur la classification d'images, les attaques DocVQA visent à manipuler des sorties sémantiques spécifiques (réponses) dérivées de mises en page de documents complexes. Les auteurs postulent que même des perturbations visuellement imperceptibles pourraient permettre à des adversaires d'induire des réponses incorrectes spécifiques (par exemple, modifier les totaux financiers sur une facture) ou de provoquer un échec systématique du modèle. Dans les pipelines automatisés, tels que ceux rendus possibles par des protocoles comme l'Agents Payments Protocol (AP2), ces vulnérabilités pourraient mener directement à des pertes monétaires ou à des transactions non autorisées.

Méthodologie

Modèle de Menace

Les auteurs formalisent un modèle de menace en boîte blanche (white-box) où l'adversaire possède une connaissance complète du système DocVQA cible, y compris son architecture, ses pipelines de prétraitement, ses paramètres et ses gradients. L'attaquant a accès au document original $x$ et aux réponses de vérité terrain $y$, mais la question $q$ est fixe (ex. : un prompt système). Le but de l'attaquant est de générer un document perturbé $x' = x + \delta$ qui force le modèle à produire une réponse manipulée $y^*$.

L'attaque opère sous les contraintes suivantes :

• Manipulation de l'Espace d'Entrée : Les perturbations sont appliquées directement aux valeurs de pixels bruts du document avant tout prétraitement spécifique au modèle.
• Imperceptibilité : La perturbation $\delta$ est contrainte par une norme $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$) pour garantir qu'elle reste visuellement subtile.
• Scénarios : Le cadre prend en charge trois scénarios d'attaque :
  1. Single-QA Ciblée : Forcer une réponse incorrecte spécifique pour une seule question.
  2. Multi-QA Ciblée : Forcer des réponses incorrectes spécifiques pour plusieurs questions simultanément.
  3. Déni de Réponse (DoA - Denial of Answer) : Induire des réponses généralement incorrectes pour toutes les questions d'un document (violation de disponibilité).

Formulation de l'Attaque et Optimisation

Les auteurs emploient la Descente de Gradient Projetée (PGD) pour optimiser la perturbation. La fonction d'objectif minimise la perte entre la sortie du modèle et une réponse cible $y^*$ (pour les attaques ciblées) ou maximise la perte contre la vérité terrain (pour les attaques non ciblées de type DoA).

Une contribution technique clé est la gestion du prétraitement spécifique au modèle. Puisque les modèles DocVQA comme Pix2Struct et Donut emploient des étapes de prétraitement uniques et souvent non différentiables (ex. : extraction de patchs, normalisation spécifique, rendu de la question), les auteurs ont rétro-conçu ces pipelines pour créer des graphes de calcul entièrement différentiables. Cela permet aux gradients de remonter de la sortie du modèle jusqu'à l'image d'entrée brute, permettant une optimisation de bout en bout.

Deux fonctions de perte distinctes ont été utilisées :

1. Perte de Fine-tuning Standard : La négative log-vraisemblance utilisée dans l'entraînement du modèle original.
2. Perte de Logit Personnalisée : Une nouvelle fonction de perte conçue spécifiquement pour améliorer l'efficacité de l'attaque sur le modèle Donut. Cette perte pénalise uniquement les tokens cibles qui ne sont pas actuellement le logit maximum, guidant l'optimisation pour « faire émerger » les tokens cibles sans perturber ceux qui sont déjà corrects.

Configuration Expérimentale

L'étude évalue les attaques sur deux modèles de pointe sans OCR :

• Pix2Struct : Un transformeur de vision-langage qui rend la question sous forme d'en-tête visuel sur l'image.
• Donut : Un transformeur qui accepte la question comme un prompt textuel.

Les expériences ont été menées sur le jeu de données PFL-DocVQA, utilisant un sous-ensemble de 1 000 documents de factures uniques, chacun avec 5 paires question-réponse associées. Les auteurs ont testé à la fois des attaques sur le document complet (perturbation de l'image entière) et des attaques par patch (perturbation d'une région localisée, ex. : un carré de 15 % dans le coin inférieur droit).

Résultats Clés

Taux de Succès de l'Attaque (ASR - Attack Success Rate)

• Single-QA Ciblée : Les attaques ont été très efficaces. Pour les attaques sur le document complet, l'ASR a atteint presque 100 % pour Pix2Struct et un peu moins de 80 % pour Donut. Les attaques par patch ont également réussi pour Pix2Struct (~100 % d'ASR) mais sont nettement moins efficaces pour Donut (<20 % d'ASR).
• Multi-QA Ciblée : À mesure que le nombre de questions optimisées ($B$) augmente, l'ASR diminue, reflétant la difficulté accrue de satisfaire plusieurs contraintes simultanément. Pix2Struct maintient un ASR élevé pour de petits $B$, tandis que la performance de Donut chute rapidement, approchant de zéro pour $B=2$.
• Déni de Réponse (DoA) : Les attaques non ciblées se sont révélées très efficaces pour dégrader les performances du modèle. Même avec une seule étape d'optimisation ($K=1$), les modèles ont été perturbés. L'ASR pour le DoA est resté élevé pour $B=1$ mais a diminué à mesure que davantage de questions étaient ciblées, bien que la baisse soit moins sévère pour Donut par rapport au scénario ciblé.

Dommage Collatéral (CDMG) et ANLS

• Dommage Collatéral : Pour les attaques Single-QA ciblées, le CDMG est resté faible, indiquant que les réponses non ciblées sur le même document sont restées largement correctes. Cependant, dans les scénarios Multi-QA et DoA, le CDMG a augmenté comme prévu, particulièrement pour le DoA où l'objectif est une disruption globale.
• Scores ANLS : Les métriques de Similarité de Levenshtein Normalisée Moyenne (ANLS) confirment la dynamique de l'attaque. Dans les attaques ciblées, l'ANLS-B (similarité avec les réponses cibles) augmente, tandis que l'ANLS-C (similarité avec la vérité terrain pour les réponses non ciblées) reste élevé. Dans les attaques DoA, l'ANLS-B (similarité avec la vérité terrain) diminue significativement, confirmant la dégradation des sorties correctes.

Signification et Revendications

Le papier affirme présenter le premier modèle de menace analysant spécifiquement la vulnérabilité adversaire des systèmes DocVQA sans OCR. Sa principale signification réside dans la démonstration que :

1. Vulnérabilité de Bout en Bout : Les systèmes DocVQA actuels sont susceptibles de forge adversaire où de petites perturbations, localisées ou sur l'ensemble du document, peuvent induire des réponses sémantiquement incorrectes spécifiques.
2. Impact Réel : Ces attaques ne sont pas simplement théoriques ; elles peuvent être conçues pour manipuler des données financières (ex. : totaux de factures) ou déclencher des conditions de déni de service dans les pipelines de traitement de documents automatisés.
3. Sensibilité des Modèles : Différentes architectures présentent des niveaux de robustesse variés. Pix2Struct s'est avéré plus vulnérable aux attaques par patch que Donut, tandis que Donut éprouve plus de difficultés avec l'optimisation multi-cible.
4. Appel à la Défense : Ces conclusions soulignent la nécessité critique de défenses robustes, incluant l'entraînement adverse adapté aux modalités documentaires, la détection d'entrées anormales et le renforcement des pipelines de prétraitement.

Les auteurs soulignent que bien que leur étude suppose un cadre en boîte blanche (une limite supérieure de la capacité de l'attaquant), les résultats établissent une limite supérieure claire sur l'efficacité de telles attaques, exhortant la communauté à développer des atténuations principled avant que ces vulnérabilités ne soient exploitées dans le monde réel.