Explanatory Interactive Machine Learning for Bias Mitigation in Visual Gender Classification

1. Problématique

Le domaine de l'apprentissage automatique (ML) souffre fréquemment de biais de données, où les modèles apprennent des corrélations spuriaires (fausses associations) plutôt que des caractéristiques pertinentes. Dans les tâches de classification visuelle, comme la classification du genre, les modèles ont tendance à se fier à des stéréotypes visuels (vêtements, objets de fond, contexte) plutôt qu'aux traits physiques du sujet lui-même.

Les approches actuelles d'atténuation des biais modifient souvent le processus d'entraînement de manière automatique, mais elles offrent peu de contrôle aux utilisateurs. L'Apprentissage Interactif Explicatif (XIL - Explanatory Interactive Learning) propose une alternative en intégrant le feedback humain directement dans la boucle d'apprentissage via les explications du modèle (XAI). Cependant, l'efficacité de ces stratégies pour corriger des biais complexes comme les stéréotypes de genre reste à évaluer.

2. Méthodologie

Les auteurs proposent une étude comparative de deux stratégies XIL de l'état de l'art et d'une nouvelle approche hybride, appliquées à un classifieur de genre.

A. Données et Modèle de Base

• Jeu de données : Un sous-ensemble manuel du dataset MS COCO, contenant 1 830 images (915 hommes, 915 femmes) avec des masques de segmentation précis de la personne. Les pixels hors du masque sont considérés comme « non pertinents » (bruit de fond).
• Modèles : Six architectures CNN pré-entraînées (DenseNet121, EfficientNet-B0, GoogLeNet, MobileNet-V2, ResNet50, VGG16) ont été testées. EfficientNet-B0 a été retenu pour les analyses détaillées en raison de ses performances.
• Méthodes d'explication (XAI) :
  • GradCAM : Méthode post-hoc générant des cartes de chaleur basées sur les gradients.
  • BLA (Bounded Logit Attention) : Module apprenable intégré à l'architecture, fournissant des explications intrinsèquement fidèles.

B. Stratégies d'Intégration du Feedback (XIL)

L'étude compare trois approches pour guider le modèle vers des caractéristiques pertinentes :

1. CAIPI (Counterfactual Augmentation for Interactive Learning) : Génère des contre-exemples synthétiques en appliquant des transformations d'images (inversion, posterisation, etc.) uniquement sur les régions jugées non pertinentes (selon le masque de segmentation), tout en conservant l'étiquette. Cela force le modèle à ignorer ces régions.
2. RRR (Right for the Right Reasons) : Ajoute un terme de pénalité à la fonction de perte (Loss function). Ce terme pénalise les gradients élevés dans les régions non pertinentes, obligeant le modèle à être « juste pour les bonnes raisons ».
3. Approche Hybride : Combine les deux méthodes : augmentation des données via CAIPI suivie d'un entraînement avec la fonction de perte RRR.

C. Protocole Expérimental

• Sélection d'échantillons : Deux stratégies ont été testées pour choisir les images sur lesquelles le feedback est appliqué : l'échantillonnage par incertitude (prédictions ambiguës) et l'échantillonnage par haute confiance (prédictions correctes et sûres).
• Métriques d'évaluation :
  • Précision de classification.
  • DICE Score : Mesure le chevauchement spatial entre les cartes d'attribution du modèle et les masques de vérité terrain.
  • FFP (Foreground Focus Proportion) : Proportion d'attention portée au sujet principal.
  • BFP (Background Focus Proportion) : Proportion d'attention portée au fond (indésirable).
  • BSR (Background Saliency Ratio) : Ratio de l'attention totale portée au fond.
  • Équité : Comparaison des taux d'erreur entre hommes et femmes.

3. Contributions Clés

1. Investigation systématique : Évaluation de la capacité du XIL à détecter et atténuer les biais de genre dans les classifieurs d'images.
2. Nouvelle stratégie hybride : Proposition d'une combinaison CAIPI + RRR pour optimiser simultanément la précision et l'équité.
3. Analyse qualitative et quantitative : Utilisation conjointe de méthodes post-hoc (GradCAM) et auto-explicatives (BLA) pour vérifier si le modèle apprend réellement à se concentrer sur les régions pertinentes.

4. Résultats Principaux

Les résultats, présentés dans le Tableau I et la Figure 4, montrent les tendances suivantes :

• Atténuation des biais et focalisation :
  • Les méthodes XIL améliorent significativement la focalisation sur le sujet (augmentation du FFP et du DICE Score) et réduisent l'attention portée au fond (baisse du BFP et du BSR).
  • CAIPI s'est révélé être la méthode la plus efficace pour améliorer la focalisation sur les régions pertinentes, surpassant souvent RRR seul.
  • L'approche Hybride a montré un potentiel fort pour l'atténuation des biais, combinant les forces des deux méthodes.
• Impact sur la précision :
  • La plupart des approches XIL entraînent une légère baisse de la précision globale par rapport au modèle de base (ex: chute de 74,58 % à ~71 % pour certaines configurations).
  • Exception notable : CAIPI avec échantillonnage par incertitude et $k=1$ a légèrement amélioré la précision (75,42 %), démontrant que l'amélioration de la qualité du modèle ne se fait pas toujours au détriment de la précision.
• Équité (Fairness) :
  • Le modèle de base présentait un déséquilibre (plus d'erreurs sur les femmes : 53,8 % vs 46,2 % pour les hommes).
  • Les stratégies XIL ont permis d'équilibrer ces taux d'erreur, réduisant ainsi le biais de genre.
• Stratégies d'échantillonnage et XAI :
  • Contrairement à l'apprentissage actif classique, l'échantillonnage par haute confiance s'est avéré plus efficace pour l'intégration du feedback XIL que l'échantillonnage par incertitude.
  • La méthode BLA a généralement produit de meilleurs résultats que GradCAM, probablement en raison de sa nature intrinsèque et de son apprentissage conjoint avec le modèle.

5. Signification et Conclusion

Cette étude démontre que l'Apprentissage Interactif Explicatif (XIL) est un outil puissant pour corriger les biais de données dans les systèmes de vision par ordinateur.

• Transparence et Contrôle : Le XIL permet aux utilisateurs de guider le modèle non seulement sur quoi prédire, mais comment prédire, en corrigeant les raisonnements erronés (ex: se fier aux vêtements plutôt qu'au visage).
• Compromis Précision/Équité : Bien qu'il puisse y avoir un léger coût en précision, l'amélioration de l'équité et de la robustesse justifie l'utilisation de ces méthodes.
• Limites et Perspectives : L'étude repose sur des simulations de feedback utilisateur (masques de vérité terrain). Les prochaines étapes doivent inclure des études avec de vrais utilisateurs humains et l'extension de ces méthodes à des problèmes multi-classes ou multi-labels.

En résumé, les auteurs concluent que l'intégration de stratégies comme CAIPI et l'approche hybride permet de créer des classifieurs de genre plus justes et plus transparents, capables de se concentrer sur les caractéristiques visuelles pertinentes plutôt que sur des stéréotypes contextuels.