Resolution Thresholds in VLM Detection of Harmful ASCII Art Across Construction Modes and Languages

Résumé technique : Seuils de résolution dans la détection par les VLM de l'art ASCII malveillant

Énoncé du problème
Les modèles de langage-vision (VLM) sont de plus en plus déployés pour la modération de contenu, mais restent vulnérables aux attaques de type « jailbreak » où du texte malveillant est encodé sous forme d'art ASCII. Dans ces attaques, des acteurs adverses construisent des images où des mots malveillants sont formés par des mosaïques de caractères anodins (ex. : mots positifs, symboles ou emojis). Des recherches antérieures indiquent que les VLM échouent souvent à reconnaître la gestalt visuelle malveillante car ils privilégient la signification sémantique des caractères de remplissage individuels au détriment de la forme macroscopique. Bien que des travaux précédents aient suggéré que la réduction de la résolution des images pourrait forcer les modèles à prêter attention à la forme globale, aucune étude n'a caractérisé systématiquement comment le « seuil d'échec de détection » — l'échelle de résolution au-dessus de laquelle la détection s'effondre — varie selon les différents modes de construction de l'art ASCII, les architectures de VLM et les langues de contenu (anglais vs chinois).

Méthodologie
Les auteurs ont mené une étude empirique systématique utilisant un pipeline personnalisé pour générer et évaluer des images d'art ASCII malveillantes.

• Construction du jeu de données : L'étude a utilisé des corpus parallèles de mots/phrases malveillants en anglais et en chinois. Chaque mot a été rendu en images d'art ASCII en utilisant huit modes de construction distincts (L1–L8), allant des caractères de blocs denses (L1) et des symboles simples (L2) aux designs intégrant des mots (L5), des emojis (L6), des fragments de poèmes positifs (L7) ou des mots chinois positifs (L8).
• Mise à l'échelle de la résolution : Les images ont été générées à dix échelles de résolution ($r \in \{0,1, \dots, 1,0\}$), où 1,0 représente la résolution de référence complète et les valeurs inférieures représentent une réduction de la résolution.
• Évaluation : Huit VLM de pointe (incluant GPT-4o-mini, Gemini-3-Flash, Kimi-K2.5, et d'autres) ont été interrogés via l'API OpenRouter. Les modèles ont été sollicités pour classifier l'émotion de l'image (Négative vs Neutre/Positive). Une réponse « Négative » était traitée comme une détection réussie du contenu malveillant, tandis que les réponses Neutres/Positives indiquaient un échec (contournement).
• Analyse statistique : L'étude a employé des tests de tendance de Cochran–Armitage pour vérifier les tendances de détection monotones, la régression logistique pour estimer le seuil de 50 % d'échec de détection ($\hat{r}_{0,5}$) avec des intervalles de confiance à 95 %, et des tests de Chi-deux/Fisher exact pour comparer les taux de détection entre les corpus anglais et chinois. La correction de Benjamini–Hochberg a été appliquée à l'ensemble des 763 tests statistiques.

Principales contributions

1. Pipeline d'évaluation et jeu de données : La création d'un jeu de données complet couvrant huit modes de construction, dix échelles de résolution, deux langues et huit VLM.
2. Estimation du seuil : Des estimations statistiquement fondées des seuils d'échec de détection pour chaque combinaison (modèle, mode), quantifiant la résolution spécifique à laquelle les VLM perdent la capacité de percevoir les formes visuelles malveillantes.
3. Analyse trans-origine : Une analyse descriptive comparant les schémas de détection des modèles conçus en Chine par rapport aux modèles conçus aux États-Unis/Occident sur le mode de remplissage par mots chinois (L8), en utilisant le mode de mots anglais (L5) comme contrôle.

Résultats clés

• Dépendance à la résolution : Les taux de détection diminuent brusquement à mesure que la résolution augmente pour la plupart des combinaisons modèle-mode. Environ 60 % des strates (modèle, mode) valides ont montré une tendance décroissante statistiquement significative. Cela confirme que les images à haute résolution permettent aux VLM de se concentrer sur les caractères de remplissage bénins, provoquant un échec de détection, tandis que la réduction de la résolution force l'attention sur la forme visuelle malveillante.
• Hiérarchie de la vulnérabilité des modes :
  • Le plus résistant : Les modes intégrant des mots, particulièrement les mots anglais (L5), étaient les plus difficiles à détecter, avec un taux de détection agrégé de seulement 0,062. Ces modes créent un conflit de signal dual puissant où la sémantique au niveau du caractère supprime la perception de la forme.
  • Le plus détectable : Les caractères de blocs (L1) et les emojis (L6) étaient les plus faciles à détecter (taux agrégés > 0,40), probablement en raison de leur densité visuelle ou de leur distinction.
  • Intermédiaire : Les mots chinois (L8) présentaient une détectabilité intermédiaire (0,206), performant mieux que les mots anglais mais moins bien que les blocs.
• Hétérogénéité des modèles : Les performances variaient considérablement selon les modèles. Gemini-3-Flash et Kimi-K2.5 ont démontré les capacités de détection les plus fortes avec des seuils bien définis. À l'inverse, Mistral-Small-3.2-24B-Instruct a échoué à détecter le contenu malveillant dans la plupart des modes (taux proches de zéro), et Llama-4-Maverick ainsi que Nemotron-Nano ont montré de faibles performances de base. Grok-4.1-Fast présentait un profil unique, étant moins sensible aux changements de résolution que les autres modèles.
• Résultats trans-linguistiques : Après plusieurs corrections de comparaisons multiples, seuls 4,7 % des strates ont montré des différences significatives entre les taux de détection anglais et chinois, suggérant que la vulnérabilité de la détection liée à la résolution est largement indépendante de la langue.
• Effets d'origine des modèles : Un motif descriptif de « croisement » a été observé dans le mode L8 (mots chinois) : les modèles conçus en Chine ont surpassé les modèles occidentaux à basse résolution, mais ont été moins performants à haute résolution. Les auteurs émettent l'hypothèse que cela est dû à une sensibilité plus forte des modèles chinois au texte chinois, ce qui les pousse à lire les caractères de remplissage bénins à haute résolution, supprimant ainsi le signal d'affect négatif. Cet effet n'a pas été observé dans le mode de mots anglais (L5).

Signification et affirmations
L'article affirme identifier une dimension de vulnérabilité spécifique et sous-explorée dans la modération de contenu par VLM : la résolution. Les résultats révèlent que la résolution est une variable de premier ordre déterminant le succès de la détection, et non un simple paramètre secondaire de qualité d'image. L'étude établit que :

1. Il existe un seuil d'échec de détection constant au-dessus duquel les VLM ne peuvent plus identifier de manière fiable l'art ASCII malveillant.
2. Les modes de construction intégrant des mots représentent un vecteur d'attaque particulièrement robuste que les VLM actuels peinent à contrer, même à pleine résolution.
3. Aucun seuil de résolution unique ne se généralise à tous les modèles ; les systèmes de modération doivent caractériser le profil de vulnérabilité spécifique du VLM déployé.

Les auteurs précisent explicitement qu'il ne s'agit pas d'un article de défense ; ils ne proposent ni nouveaux modèles ni stratégies de mitigation. Au lieu de cela, ce travail sert de caractérisation de la vulnérabilité afin de motiver le développement de normes d'évaluation tenant compte de la résolution et de futures stratégies défensives, telles que la réduction de la résolution des entrées avant la modération ou l'entraînement des modèles sur de l'art ASCII à basse résolution.