Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

Titre de l'article

Non-identifiabilité des explications déduites du comportement des modèles dans les réseaux profonds de jugement d'authenticité des images

1. Problématique

L'utilisation croissante des réseaux de neurones profonds (DNN) pour prédire les jugements humains (par exemple, l'authenticité d'une image générée par IA) pose un problème fondamental : une prédiction performante ne garantit pas que le modèle utilise les mêmes informations que les humains, ni qu'il expose ces informations de manière fiable.

• Le défi : Les méthodes d'explication post hoc (comme les cartes de chaleur d'attribution) sont souvent utilisées pour inférer les mécanismes cognitifs humains. Cependant, ces explications reposent sur l'hypothèse qu'elles sont robustes et stables.
• L'objectif : L'étude vise à tester cette hypothèse dans le domaine de l'authenticité des images. Elle cherche à déterminer si des modèles capables de prédire avec précision les notes d'authenticité humaines produisent des explications cohérentes, à la fois à l'intérieur d'une même architecture (différentes initialisations aléatoires) et entre différentes architectures.

2. Méthodologie

Données :

• Utilisation du jeu de données AIGCIQA2023, contenant 2 400 images générées par IA.
• Après filtrage des catégories non naturelles (illustrations, arts), 1 367 images ont été retenues.
• Chaque image a été évaluée par des participants humains sur trois échelles : Qualité, Authenticité et Correspondance (cohérence avec le prompt). L'analyse se concentre sur l'authenticité (MOS - Mean Opinion Score).

Architectures et Entraînement :

• Modèles : Six architectures de vision par ordinateur pré-entraînées et gelées (frozen) ont été utilisées comme extracteurs de caractéristiques : VGG-16, VGG-19, ResNet-152, DenseNet-161, EfficientNetB3 et Barlow Twins (auto-supervisé).
• Tête de régression : Une tête de régression légère (deux couches cachées) a été ajoutée pour prédire les notes d'authenticité humaines.
• Protocole : Pour chaque architecture, 10 variantes ont été entraînées avec des initialisations aléatoires différentes (Monte-Carlo cross-validation) pour évaluer la stabilité.
• Analyse de variance : Une décomposition par corrélation partielle a été utilisée pour distinguer la variance spécifique à l'authenticité de la variance partagée avec la qualité de l'image.

Méthodes d'Explication (Interprétabilité) :
Trois méthodes ont été employées pour générer des cartes d'attribution :

1. Grad-CAM : Basé sur les gradients (méthode d'attribution).
2. MPM (Multi-scale Pixel Masking) : Basé sur le masquage de pixels (méthode de perturbation).
3. LIME : Basé sur l'approximation par un modèle de substitution (surrogate) local.

Mesures de Cohérence :

• Cohérence intra-architecture : Similarité des cartes d'attribution entre les 10 variantes d'une même architecture (corrélation pixel et IoU - Intersection sur Union).
• Cohérence inter-architecture : Similarité des cartes d'attribution moyennes (prototypes) entre différentes architectures.
• Ensembles (Ensembles) : Création de modèles combinés (Bagging et Stacking) pour voir si l'agrégation améliore la prédiction et permet une attribution au niveau de l'image.

3. Contributions Clés

1. Démonstration de la non-identifiabilité : L'article prouve que la performance prédictive élevée ne suffit pas à valider les explications d'un modèle. Des modèles performants peuvent utiliser des signaux différents (ou même erronés par rapport à la tâche cible) pour parvenir aux mêmes résultats.
2. Distinction Qualité vs Authenticité : Identification que certaines architectures (notamment VGG) apprennent à prédire l'authenticité en se basant principalement sur la qualité technique de l'image plutôt que sur des indices spécifiques à l'authenticité.
3. Effet Rashomon en psychologie cognitive : Mise en évidence que même lorsque des modèles sont cohérents en interne, ils produisent des explications divergentes entre eux, rendant difficile l'inférence sur les mécanismes cognitifs humains à partir d'un seul modèle.
4. Solution par Ensembles : Proposition d'utiliser des modèles d'ensemble pour améliorer la prédiction comportementale et générer des cartes d'attribution au niveau de l'image, bien que cela ne résolve pas totalement le problème de l'interprétation unique.

4. Résultats Principaux

Performance Prédictive :

• Les modèles atteignent environ 80 % du plafond de bruit (noise ceiling) humain (corrélation PLCC ~0.62-0.63 pour les meilleurs modèles comme Barlow Twins).
• Barlow Twins et DenseNet161 sont les meilleurs prédicteurs.
• VGG16/19 montrent une performance décente mais reposent presque entièrement sur la qualité de l'image (corrélation partielle avec l'authenticité proche de zéro une fois la qualité retirée).

Cohérence des Explications :

• Intra-architecture : La cohérence est généralement élevée pour certaines architectures (VGG, Barlow Twins, ResNet) mais plus faible pour d'autres (DenseNet, EfficientNet) selon les métriques (IoU).
• Inter-architecture : L'accord entre les architectures est faible, même pour les modèles ayant des performances prédictives similaires. Les cartes de chaleur (Grad-CAM, MPM, LIME) ne se superposent pas significativement entre architectures différentes.
• Relation avec l'authenticité : Les images jugées plus authentiques par les humains tendent à produire des explications plus cohérentes (surtout pour EfficientNetB3 et Barlow Twins), suggérant que les indices d'authenticité sont plus stables pour les modèles que les indices de non-authenticité.

Ensembles :

• Les modèles d'ensemble (Bagging et Stacking) surpassent tous les modèles individuels en termes de précision (RMSE plus bas, PLCC plus élevé).
• Ils permettent de générer des cartes d'attribution au niveau de l'image via le masquage de pixels (MPM), montrant une ségrégation spatiale des éléments associés à l'authenticité.

5. Signification et Conclusion

• Mise en garde pour les sciences cognitives : Les résultats suggèrent que les explications post hoc générées par des modèles performants doivent être considérées comme des preuves faibles des mécanismes cognitifs humains. Le fait qu'un modèle prédise bien le comportement humain ne signifie pas qu'il utilise les mêmes "indices" (cues) que l'humain.
• Problème de l'indétermination : Il existe un "effet Rashomon" où plusieurs modèles différents expliquent les mêmes jugements humains par des voies différentes. Sans consensus inter-architecture, il est impossible d'identifier quel modèle (le cas échéant) reflète la véritable cognition humaine.
• Implication pratique : Pour les applications critiques (comme la détection de deepfakes), se fier à l'explication d'un seul modèle est risqué. L'approche par ensembles améliore la prédiction, mais l'interprétabilité reste un défi majeur.
• Conclusion finale : La réussite prédictive seule ne valide pas un modèle comme modèle explicatif de la cognition. La cohérence des explications est une condition nécessaire (mais non suffisante) pour l'interprétation psychologique, et cette cohérence fait souvent défaut à travers différentes architectures.