💻 computer science

VEIL: How Visual Encoding Hijacking Induces Bias In Vision Models

L'article VEIL démontre que les modèles de classification de séries temporelles basés sur des graphiques reposent souvent sur des indices visuels propres à l'encodage plutôt que sur les motifs temporels sous-jacents, révélant que les choix de conception de la visualisation façonnent fondamentalement les représentations apprises et doivent être traités comme un problème de mesure.

Auteurs originaux : Suranjana Sooraj, Xuyang Chen, Madhumitha Venkatesan, Dongyu Liu

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Suranjana Sooraj, Xuyang Chen, Madhumitha Venkatesan, Dongyu Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à reconnaître différents types de musique en lui montrant des images des ondes sonores. Vous pourriez dessiner les ondes sous forme de ligne, remplir l'espace sous la ligne avec de la couleur (aire), transformer les ondes en barres verticales, ou disperser des points sur la page.

Le papier « VEIL » pose une question simple mais délicate : le robot est-il réellement en train d'apprendre la musique, ou apprend-il simplement à reconnaître le style de dessin ?

Voici la décomposition de leurs découvertes en utilisant des analogies de la vie quotidienne :

1. Le problème : « Le détournement du codage visuel »

Considérez le robot comme un étudiant passant un examen.

L'idéal : L'étudiant lit l'histoire (les données de séries temporelles) et comprend l'intrigue.
La réalité (le détournement) : L'étudiant réalise que si l'histoire est dessinée avec des lignes rouges, la réponse est « A », mais si elle est dessinée avec des barres bleues, la réponse est « B ». L'étudiant ne lit pas l'histoire ; il mémorise simplement le style de la police de caractères.

Les auteurs appellent cela le « détournement du codage visuel » (Visual Encoding Hijacking). Le robot devient si doué pour reconnaître la forme du graphique (comme l'épaisseur d'une ligne ou la densité des points) qu'il ignore les données réelles qui se trouvent en dessous. C'est comme un chien qui apprend à s'asseoir uniquement quand vous tenez une friandise dans votre main gauche, et non parce qu'il comprend la commande « assis ».

2. L'expérience : Le test de « traduction »

Pour prouver cela, les chercheurs ont agi comme des professeurs de langues.

Ils ont enseigné au robot en utilisant des graphiques linéaires.
Ensuite, ils l'ont testé sur des graphiques à barres sans le réentraîner.
Le résultat : Dans de nombreux cas, le robot a échoué lamentablement. C'était comme apprendre à quelqu'un à parler français, puis lui tendre un dictionnaire allemand en attendant qu'il comprenne. Le robot avait appris le « Linéais », et non la langue universelle des données.

Cependant, pour certains ensembles de données plus simples, le robot pouvait traduire entre les styles. Cela suggère que pour les problèmes faciles, le robot apprend le signal réel. Pour les problèmes complexes, il repose entièrement sur les « astuces » visuelles du type de graphique spécifique.

3. Le travail de détective : « Où regardez-vous ? »

Les chercheurs ont utilisé un outil spécial (appelé Grad-CAM) qui agit comme une carte de chaleur sur les yeux du robot. Cela montre exactement quelle partie de l'image le robot fixe pour prendre une décision.

Bon comportement : Le robot regarde la forme de l'onde (les données réelles).
Mauvais comportement (détournement) : Le robot regarde les bords des barres, les lignes de la grille ou la densité des points. Il ignore l'histoire et se concentre sur le cadre de l'image.

4. Les « lunettes magiques » (HINT)

Les chercheurs ont tenté de corriger cela en mettant des « lunettes magiques » sur le robot. Ils ont recouvert les parties de l'image sur lesquelles le robot s'obsédait (comme les bords des barres) et l'ont forcé à regarder ailleurs.

Cela a-t-il fonctionné ? Parfois, oui ! Pour certains ensembles de données difficiles, forcer le robot à regarder les « vraies » données a considérablement amélioré son score (parfois de très grandes marges).
Cela a-t-il toujours fonctionné ? Non. Pour certains ensembles de données, masquer les « astuces » a en fait rendu le robot moins performant. Cela signifie que pour certains problèmes, ces astuces visuelles étaient en fait des indices utiles, et les supprimer a dérouté le robot.

5. La grande conclusion

La principale leçon de ce papier est que la façon dont vous dessinez les données compte autant que les données elles-mêmes.

Ce n'est pas seulement un outil : Choisir entre un graphique linéaire ou un graphique à barres n'est pas seulement un choix esthétique ; cela change ce que le robot apprend.
Les scores élevés ne suffisent pas : Le fait qu'un robot obtienne 99 % de précision ne signifie pas qu'il comprend les données. Il pourrait simplement être un maître dans la reconnaissance des styles de graphiques.
Le « détournement » : Si vous changez le style du graphique, le « cerveau » du robot (sa représentation interne) change complètement. Ce n'est pas un apprenant universel ; c'est un apprenant spécifique à un style.

En bref : Si vous voulez qu'un robot comprenne réellement les données de séries temporelles, vous ne pouvez pas simplement lui jeter n'importe quel graphique. Vous devez veiller à ce que le robot ne soit pas simplement en train de mémoriser la police, les couleurs ou les lignes de la grille, mais qu'il soit réellement en train de lire l'histoire que les données racontent.

Résumé Technique : VEIL – Détournement de l'Encodage Visuel dans les Modèles de Vision

Énoncé du Problème

L'article traite d'une lacune critique dans la classification de séries temporelles (TSC) où des séquences numériques sont rendues sous forme d'images de graphiques (ex: graphiques linéaires, à barres, à nuages de points) pour exploiter la puissance des réseaux de neurones convolutifs (CNN). Bien que cette approche ait atteint des performances compétitives, il reste incertain si les modèles apprennent la dynamique temporelle sous-jacente des données ou s'ils s'appuient sur des indices spécifiques à l'encodage visuel introduits par la conception du graphique (ex: continuité du trait, limites des bords, densité des points).

Les auteurs nomment ce phénomène le Détournement de l'Encodage Visuel (Visual Encoding Hijacking) : un comportement où les représentations apprises s'alignent davantage sur le style de rendu que sur la structure de classe temporelle. Cela crée une « illusion d'apprentissage » où les modèles exploitent des artefacts visuels superficiels plutôt que des propriétés de signal authentiques. Les questions de recherche centrales sont :

Des encodages visuels différents produisent-ils des représentations cohérentes ou divergentes de la même série temporelle ?
Les caractéristiques apprises à partir d'un encodage sont-elles transférables à d'autres, ou sont-elles spécifiques à l'encodage ?
Sur quelles preuves visuelles les modèles de TSC basés sur les CNN s'appuient-ils, et est-ce qu'un guidage par l'attention peut atténuer le comportement sensible à l'encodage ?

Méthodologie : Le Cadre VEIL

Les auteurs introduisent VEIL (Visual Encoding Illusion in Learning), un cadre de diagnostic conçu pour évaluer systématiquement comment les encodages de graphiques influencent les représentations apprises. L'étude évalue quatre encodages standards (ligne, aire, barres, nuage de points) à travers 31 jeux de données du benchmark UCR.

La méthodologie emploie un pipeline d'analyse multi-facettes :

Configuration Expérimentale : Tous les modèles utilisent un squelette (backbone) CNN identique et un protocole d'entraînement (optimiseur Adam, arrêt précoce) sur les divisions standard de l'UCR pour garantir que les différences de performance découlent uniquement des choix d'encodage, et non de l'optimisation.
Similitude de Représentation (CKA) : L'alignement des noyaux centrés (Centered Kernel Alignment) est utilisé pour mesurer l'alignement entre les espaces de caractéristiques appris à partir de différents types de graphiques.
Transférabilité Inter-Graphiques : Une sonde linéaire (régression logistique) est effectuée sur les caractéristiques extraites d'un type d'encodage pour classifier les données d'un autre. Cela mesure la limite inférieure de l'information partagée pertinente pour la tâche.
Analyse d'Attribution (Grad-CAM) : La cartographie d'activation de classe pondérée par le gradient (Gradient-weighted Class Activation Mapping) est appliquée pour visualiser la focalisation du modèle, distinguant l'reliance sur la structure du signal, les caractéristiques spécifiques à l'encodage ou les éléments non pertinents (ex: axes).
Analyse Géométrique et de Séparabilité : PCA et UMAP sont utilisés pour visualiser la géométrie des caractéristiques, la dimensionnalité intrinsèque et les motifs de séparation des classes à travers les encodages.
Indice de Sensibilité à l'Encodage (ESI) : Des métriques scalaires ( $ES_{CKA}$ et $ESI_{Probe}$ ) sont dérivées pour quantifier le degré de dépendance à l'encodage au niveau du jeu de données.
Tests de Stress par Perturbation : Des perturbations contrôlées (flou gaussien, fusion de barres, atténuation de l'alpha) sont appliquées pour tester la sensibilité du modèle à des éléments visuels spécifiques.
Guidage d'Attention HINT : Pour tester l'atténuation, les auteurs appliquent HINT (Human Importance-aware Network Tuning), masquant les régions saillantes de Grad-CAM pendant l'entraînement pour forcer le modèle à porter attention à d'autres régions temporelles.

Résultats Clés

1. Divergence de Représentation et Sensibilité à l'Encodage

L'étude constate que les effets d'encodage sont bimodaux et fortement dépendants de la complexité du jeu de données :

Jeux de Données Simples : Les jeux de données à classes binaires (ex: Wine) présentent des scores CKA élevés ( $\approx 0,89–0,98$ ) et un transfert inter-graphique élevé, indiquant des représentations invariantes à l'encodage.
Jeux de Données Complexes : Les jeux de données multi-classes (ex: FordB, Yoga) présentent une divergence substantielle. Les scores CKA chutent considérablement ( $\approx 0,44–0,69$ ), et le transfert inter-graphique est faible. Les modèles entraînés sur ces jeux de données semblent se spécialiser dans les motifs visuels de leur encodage d'entraînement spécifique.
Corrélats de la Sensibilité : La sensibilité à l'encodage est plus fortement associée au nombre de classes qu'à la longueur de la séquence. Les jeux de données multi-classes montrent une sensibilité élevée même avec des séquences courtes, tandis que les jeux de données binaires restent souvent robustes malgré des longueurs variables.

2. Comportement du Modèle et Perturbations

Biais Inductif : Aucun encodage unique ne domine systématiquement tous les jeux de données. Au lieu de cela, les types de graphiques agissent comme des priors inductifs distincts.
Impact des Perturbations : Les perturbations ciblées provoquent des chutes de précision inégales. Les graphiques à barres restent comparativement robustes aux perturbations fines, suggérant une dépendance à des motifs structurels grossiers, tandis que d'autres encodages sont plus sensibles à des indices visuels spécifiques.
Décalages d'Attribution : L'analyse Grad-CAM révèle que les modèles se concentrent souvent sur des caractéristiques spécifiques à l'encodage (ex: bords de barres, densité de points) plutôt que sur les tendances temporelles pures, bien que cela ne prouve pas définitivement que ces indices sont des « raccourcis » plutôt que des reflets légitimes du signal.

3. Efficacité du Guidage d'Attention HINT

L'application du guidage d'attention basé sur HINT donne des résultats mitigés, confirmant qu'il ne s'agit pas d'une solution universelle :

Cas de Succès : Sur les jeux de données divergents en termes d'encodage (faible CKA, ESI élevé), HINT a considérablement amélioré les performances (ex: ToeSegmentation2 +38,46 %, Ham +23,81 %).
Cas d'Échec : Sur les jeux de données invariants à l'encodage ou là où les représentations étaient déjà efficaces, HINT a soit apporté un bénéfice négligeable, soit dégradé les performances (ex: Computers -36,00 %, SonyAIBORobotSurface1 -14,14 %).
Conclusion : Le guidage par l'attention réduit le comportement sensible à l'encodage uniquement lorsqu'il est soutenu par des preuves convergentes à travers plusieurs diagnostics (CKA, transfert, UMAP). Il doit être traité comme une intervention de diagnostic plutôt que comme une stratégie d'atténuation fiable.

Contributions et Signification

L'article apporte trois contributions principales :

Formalisation du Détournement de l'Encodage Visuel : Les auteurs définissent et distinguent le « détournement » (comportement dépendant de l'encodage sapant l'alignement) de l'évidence légitime spécifique à l'encodage qui reflète fidèlement les propriétés du signal.
Le Cadre de Diagnostic VEIL : Une approche systématique combinant similitude de représentation, transférabilité et attribution pour évaluer les effets de l'encodage, allant au-delà des simples mesures de précision.
Preuve Empirique de Biais Inductif : Une étude sur 31 jeux de données démontrant que le choix de l'encodage est un biais inductif critique dans la TSC basée sur l'image, provoquant des variations substantielles dans l'alignement des représentations et l'attention du modèle.

Signification :
L'article recadre la TSC basée sur les graphiques non pas simplement comme une décision de modélisation, mais comme un problème de représentation et de mesure. Il étend le concept de perception graphique des lecteurs humains aux modèles de vision, montrant que les choix de conception de visualisation façonnent fondamentalement ce que les modèles apprennent. Les conclusions suggèrent qu'une haute précision en TSC n'implique pas nécessairement une compréhension sémantique des dynamiques temporelles ; les modèles peuvent exploiter des artefacts de rendu. Par conséquent, les auteurs préconisent des protocoles d'évaluation conscients de l'encodage pour garantir que le raisonnement du modèle s'aligne sur des structures interprétables par l'humain.