SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

Ce papier présente SCAM, le plus vaste ensemble de données d'attaques typographiques réelles à ce jour, et démontre que ces attaques compromettent gravement les modèles multimodaux de pointe, tout en identifiant que l'utilisation de backbones de grands modèles de langage atténue cette vulnérabilité.

L'essentiel

🕵️‍♂️ SCAM : Le grand test de résistance des "yeux-oreilles" de l'IA

Imaginez que vous avez un ami très intelligent, mais un peu naïf, qui a des yeux (pour voir les images) et un cerveau (pour lire le texte). C'est ce qu'on appelle un modèle multimodal (ou IA visuelle). Il est capable de reconnaître un chat sur une photo ou de décrire un paysage.

Mais cet ami a un défaut majeur : il est trop facile à tromper.

1. Le problème : L'arnaque par le texte

Les chercheurs ont découvert que si vous écrivez un mot mensonger sur une image, l'IA perd la tête.

• L'exemple : Imaginez une photo d'une pendule (un réveil). Si vous collez un petit post-it jaune à côté avec écrit "TAXI" en gros, l'IA va dire : "Oh, c'est un taxi !" au lieu de dire "C'est une pendule".
• Pourquoi ? L'IA est tellement habituée à lire le texte qu'elle fait confiance au mot "TAXI" plus qu'à l'image de la pendule. C'est comme si quelqu'un vous montrait une pomme et collait un autocollant "POULET" dessus, et que vous croyiez soudainement que c'est un poulet.

2. La solution : Le dataset SCAM (Subtle Character Attacks)

Jusqu'à présent, les chercheurs utilisaient de petits jeux de données pour tester cette faille, un peu comme tester la sécurité d'une maison avec seulement 10 serrures différentes. C'était insuffisant.

L'équipe a créé SCAM, la plus grande "boîte à outils" d'arnaque jamais conçue :

• 1162 images réelles : Au lieu de générer des images par ordinateur, ils ont pris de vraies photos dans la vraie vie.
• La méthode : Ils ont pris des objets (une pomme, une voiture, un chien), ont écrit un mot sans rapport dessus (ex: "avion" sur une pomme) avec un stylo sur un post-it, et ont pris la photo.
• La diversité : Ils ont utilisé 9 personnes différentes, avec 9 téléphones différents, dans des cuisines, des rues, des magasins, avec des lumières variées. C'est le chaos organisé de la réalité.

Ils ont aussi créé deux versions "jumeaux" de chaque photo :

1. SCAM : L'image avec le mot trompeur.
2. NoSCAM : La même image, mais le post-it a été effacé (la version propre).
3. SynthSCAM : Une version où le mot a été recollé numériquement (comme un Photoshop) pour voir si l'ordinateur peut simuler la vraie vie.

3. Les résultats : Qui résiste et qui tombe ?

Les chercheurs ont testé des dizaines d'intelligences artificielles (comme CLIP, GPT-4, LLaVA) avec cette boîte à outils. Voici ce qu'ils ont découvert :

• La chute libre : La plupart des IA intelligentes ont vu leur performance s'effondrer. Là où elles étaient bonnes à 98%, elles sont tombées à 30% ou 40% dès qu'on leur montrait un post-it mensonger. C'est comme si un expert en sécurité perdait ses lunettes et voyait tout de travers.
• La taille compte (mais pas seulement) :
  • Les petits modèles d'IA sont très fragiles.
  • Les très gros modèles (ceux avec un "cerveau" de langage énorme) résistent mieux. Ils semblent dire : "Attends, ce mot 'TAXI' ne colle pas avec l'image d'une pendule, je vais ignorer le post-it."
  • Cependant, même les géants comme GPT-4 ne sont pas invincibles. Ils sont juste moins naïfs.
• Le mythe du faux : Une bonne nouvelle ! Les chercheurs ont prouvé que les attaques générées par ordinateur (SynthSCAM) fonctionnent exactement comme les vraies attaques manuelles. Cela signifie qu'on peut continuer à tester les IA avec des simulations informatiques sans avoir besoin de coller des post-it sur des milliers d'objets physiques.

4. Pourquoi est-ce important ?

C'est crucial pour notre sécurité future.

• Voitures autonomes : Imaginez un panneau "STOP" sur lequel quelqu'un a écrit "ACCÉLÉREZ". Si la voiture ne fait pas la différence, c'est un accident.
• Hôpitaux : Si une IA lit un rapport médical et voit un mot faux collé dessus, elle pourrait donner un mauvais diagnostic.

🎯 En résumé

L'article SCAM nous dit : "Nos IA sont très fortes, mais elles sont facilement manipulables par un simple mot écrit sur un post-it."

C'est comme si l'IA avait un super-pouvoir pour voir, mais qu'elle était hypnotisée par les mots écrits. Les chercheurs ont créé le plus grand catalogue d'hypnotiseurs possible pour apprendre aux IA à ne pas se faire avoir, et à devenir plus robustes pour le monde réel.

Ils ont rendu leur "boîte à outils" (les données et le code) gratuite pour que tout le monde puisse travailler à rendre ces robots plus intelligents et plus sûrs.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models", rédigé en français.

1. Problématique

Les modèles de fondation multimodaux, tels que les modèles Vision-Language (VLM) et les grands modèles Vision-Language (LVLM), sont de plus en plus déployés dans des applications critiques (santé, systèmes autonomes). Cependant, ces modèles présentent une vulnérabilité majeure aux attaques typographiques.

Ces attaques exploitent l'interdépendance entre le contenu textuel et visuel des modèles : en insérant un texte humain lisible (mais sémantiquement trompeur) dans une image, les chercheurs peuvent induire le modèle en erreur, le faisant classer un objet incorrectement. Par exemple, ajouter le mot "taxi" sur une image d'une "horloge" peut faire classifier l'image comme un "taxi".

Les défis actuels pour étudier cette vulnérabilité sont :

• Limitation des données existantes : Les jeux de données actuels sont soit synthétiques (peu réalistes), soit de petite taille et peu diversifiés (ex: RTA-100 avec 1000 images).
• Manque de comparaison structurée : Il n'existe pas de cadre permettant de comparer directement les attaques réelles, les attaques synthétiques et les images propres (sans attaque) sur les mêmes scènes.

2. Méthodologie et Contribution Principale : Le Dataset SCAM

Pour combler ces lacunes, les auteurs introduisent SCAM (Subtle Character Attacks on Multimodal Models), le plus grand et le plus diversifié jeu de données d'attaques typographiques du monde réel à ce jour.

Caractéristiques du dataset SCAM :

• Volume et Diversité : 1 162 images couvrant 660 objets distincts et 206 mots d'attaque uniques, formant 1 147 combinaisons objet-mot.
• Collecte Réelle : Les images ont été prises par neuf contributeurs différents avec divers smartphones dans des environnements variés (intérieur, extérieur, magasins, trafic), utilisant des post-it manuscrits pour simuler des attaques réalistes.
• Architecture Tripartite : Pour chaque scène, trois variantes sont fournies :
  1. SCAM : L'image originale avec le mot d'attaque manuscrit.
  2. NoSCAM : La même image où le mot d'attaque a été supprimé (post-it nettoyé), servant de base de référence propre.
  3. SynthSCAM : La même image où le mot d'attaque a été réintroduit numériquement (police Roboto, couleur d'encre adaptée), permettant une évaluation synthétique contrôlée.

3. Évaluation Expérimentale

Les auteurs ont évalué un large éventail de modèles sur les trois variantes de SCAM, ainsi que sur d'autres datasets (PAINT, RTA-100).

• Modèles VLM (Zero-shot) : Évaluation de modèles comme CLIP et SigLIP via la similarité cosinus entre l'embedding de l'image et les embeddings textuels des étiquettes (objet vs mot d'attaque).
• Modèles LVLM (Génération) : Évaluation de modèles comme LLaVA, Gemma3, Llama3-vision, GPT-4o et Claude via des prompts de classification (ex: "Quelle entité est représentée ? (a) horloge (b) taxi").

4. Résultats Clés

A. Vulnérabilité Significative

• Les attaques typographiques dégradent massivement les performances. Sur les modèles VLM, la précision chute en moyenne de 26 points de pourcentage sur le dataset SCAM.
• Les modèles LVLM sont également vulnérables, avec des baisses de précision allant de 40 à 60 points pour les modèles plus petits (ex: LLaVA-7b, Gemma3-4b).

B. Validité des Attaques Synthétiques

• Les résultats montrent une forte corrélation entre les performances sur SCAM (réel) et SynthSCAM (synthétique).
• Cela valide l'utilisation de données synthétiques pour la recherche sur la robustesse, car elles reproduisent fidèlement les effets des attaques réelles.

C. Impact de l'Architecture et des Données d'Entraînement

• Encodeurs Visuels : La vulnérabilité est fortement liée à l'encodeur visuel. Les modèles basés sur ViT (Vision Transformer) sont généralement plus robustes que ceux basés sur ResNet, mais la sensibilité augmente lorsque la taille des patchs diminue.
• Données d'Entraînement : Les modèles entraînés sur des datasets comme LAION sont plus vulnérables que ceux entraînés sur des données filtrées (ex: CommonPool).
• Taille du Modèle (LLM Backbone) :
  • Pour les LVLM, l'augmentation de la taille du modèle de langage (LLM) améliore la robustesse. Les modèles avec des backbones LLM plus grands (ex: LLaVA-34b, Gemma-27b) résistent mieux aux attaques.
  • Les modèles fermés de très grande taille (GPT-4o, Claude Sonnet 4) montrent une robustesse exceptionnelle (chute de précision < 3-8 %).
  • Cependant, la taille seule ne garantit pas la robustesse (ex: Llama3.2-vision:90b reste vulnérable), suggérant que la qualité de l'encodeur visuel et de l'alignement reste critique.

D. Compréhension Typographique

• Une corrélation positive est observée : les modèles plus grands, qui sont plus robustes aux attaques, possèdent également de meilleures capacités de lecture (OCR) et de compréhension typographique.

5. Signification et Implications

• Ressource de Référence : SCAM établit un nouveau standard pour l'évaluation de la robustesse des modèles multimodaux, offrant une diversité et une échelle inégalées.
• Sécurité Critique : Les résultats soulignent un risque majeur pour le déploiement de l'IA dans des domaines sensibles (conduite autonome, diagnostic médical), où un simple mot manuscrit pourrait tromper le système.
• Direction Future : L'étude suggère que la simple substitution d'un encodeur visuel plus robuste ne suffit pas si l'intégration avec le LLM n'est pas optimisée. Elle plaide pour des approches de défense mécanistiques et un réentraînement systématique des modèles avec des encodeurs robustes.
• Open Science : Les auteurs publient le dataset (SCAM, NoSCAM, SynthSCAM) et le code d'évaluation pour faciliter la recherche future vers des systèmes d'IA plus fiables.

En conclusion, ce papier démontre que les attaques typographiques restent une menace efficace contre les modèles de pointe, mais que l'augmentation de la capacité des modèles de langage et l'amélioration des encodeurs visuels offrent des voies prometteuses pour atténuer ces vulnérabilités.