A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

1. Problématique

Les modèles Vision-Langage (VLM), tels que CLIP, ont révolutionné de nombreuses tâches en reliant la sémantique visuelle et linguistique. Cependant, ils héritent et amplifient les biais sociaux présents dans leurs données d'entraînement massives (images et textes extraits du web). Ces biais se manifestent par des stéréotypes de genre, de race ou d'âge (par exemple, associer systématiquement "infirmière" au féminin et "médecin" au masculin).

Les défis majeurs pour corriger ces biais sont :

• Biais multi-modaux : Les biais sont encodés à la fois dans les embeddings visuels et textuels. Corriger uniquement l'un des deux est insuffisant.
• Coût de l'entraînement : Le réentraînement complet des VLM est computationally impossible. Les méthodes existantes ajoutent souvent des réseaux de débogage, augmentant la complexité et le coût d'inférence.
• Annotations sensibles : La plupart des méthodes nécessitent des jeux de données annotés avec des attributs sensibles (genre, race), ce qui pose des problèmes de vie privée et d'éthique.
• Préservation de l'utilité : Il existe un compromis (trade-off) entre l'équité et la performance de la tâche. De nombreuses méthodes réduisent la précision du modèle (utilité) pour améliorer l'équité.
• Équité intersectionnelle : La plupart des travaux se concentrent sur l'équité de groupe (ex: hommes vs femmes), négligeant les intersections complexes (ex: femmes noires âgées).

2. Méthodologie

Les auteurs proposent une méthode sans entraînement (training-free) et sans données supplémentaires (data-free) qui fournit une solution en forme fermée (closed-form) dans l'espace des embeddings croisés.

A. Construction de Prototypes de Groupe Guidée par LLM

Au lieu d'utiliser des mots-clés fixes, la méthode utilise un Grand Modèle de Langage (LLM) pour générer des prototypes de texte robustes :

1. Pour un prompt d'entrée (ex: "une photo de médecin"), le LLM génère des variantes spécifiques à un groupe (ex: "médecin homme", "médecin masculin") tout en préservant le contexte.
2. Il génère également de multiples paraphrases pour chaque variante afin de capturer la diversité linguistique.
3. Le prototype de groupe $\vec{p}_g$ est calculé comme la moyenne sphérique de l'embedding du prompt original et de ses variantes.

B. Espace de Sous-Espace d'Attributs

La méthode définit un sous-espace d'attributs $\mathcal{A}$ comme l'espace engendré par les directions entre les prototypes de différents groupes. L'objectif est de rendre l'embedding débiaisé $\vec{u}$ orthogonal à ce sous-espace $\mathcal{A}$, tout en préservant le contenu sémantique.

C. Solution en Forme Fermée et Optimisation Pareto

Le cœur de la contribution théorique est la résolution d'un problème d'optimisation pour trouver l'embedding $\vec{u}$ optimal.

• Décomposition : Tout embedding $\vec{e}$ est décomposé en une composante parallèle à l'attribut ($\vec{e}_{A\parallel}$, fuite d'information) et une composante orthogonale ($\vec{e}_{A\perp}$, contenu neutre).
• Objectif : Minimiser une somme pondérée de la fuite d'attribut et de la perte d'utilité (similarité cosinus avec l'original).
• Théorème : Les auteurs démontrent qu'il existe une solution analytique (formule fermée) pour le paramètre $\alpha$ qui définit le point optimal sur la frontière de Pareto. Cette solution garantit des pertes d'utilité bornées théoriquement, sans nécessiter de réglage hyperparamétrique spécifique à la tâche.

Contrairement aux méthodes précédentes qui projettent simplement l'embedding sur l'orthogonal (ce qui peut détruire le contenu), cette méthode trouve un point d'équilibre optimal qui conserve la sémantique tout en éliminant le biais.

3. Contributions Clés

1. Solution Théorique : Première méthode à fournir une solution en forme fermée pour le débogage des VLM, garantissant mathématiquement des pertes d'utilité bornées.
2. Indépendance aux Données et à l'Entraînement : La méthode ne nécessite ni réentraînement du modèle, ni données annotées avec des attributs sensibles. Elle fonctionne directement sur les embeddings.
3. Débiaisage Multi-Modal et Multi-Tâche : Elle corrige simultanément les biais dans les modalités visuelle et textuelle et s'applique à diverses tâches (classification, recherche, génération).
4. Équité Intersectionnelle : La méthode est conçue pour gérer des attributs sensibles complexes et leurs intersections, dépassant les limites de l'équité de groupe simple.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles comme CLIP (ViT-L/14, ResNet50) et BLIP, ainsi que sur Stable Diffusion pour la génération.

• Tâches Évaluées :
  • Classification d'images en zéro-shot (sur CelebA, FACET).
  • Recherche d'images par texte (sur Flickr30K, COCO2017).
  • Génération d'images par texte (sur Stable Diffusion v2.1).
• Performance :
  • La méthode surpasse systématiquement les méthodes de l'état de l'art (SFID, PRISM, Orth-Proj, etc.) sur les métriques d'équité (Equal Opportunity, MaxSkew, Statistical Parity) pour l'équité de groupe et intersectionnelle.
  • Préservation de l'Utilité : Contrairement aux autres méthodes qui subissent une chute de performance notable (ex: baisse du F1-score ou du Recall), la méthode proposée maintient des performances de tâche très proches du modèle de base, voire les améliore dans certains cas.
  • Génération : Pour la génération d'images, la méthode produit des distributions de genre équilibrées pour des prompts neutres tout en respectant fidèlement les prompts explicites (ex: "médecin homme"), évitant le phénomène de sur-correction.

5. Signification et Impact

Cet article représente une avancée majeure dans le domaine de l'équité algorithmique pour les modèles multimodaux.

• Théorique : Il résout le problème du compromis utilité-équité en fournissant des bornes théoriques, passant d'une approche empirique à une approche mathématiquement fondée.
• Pratique : En étant sans entraînement et sans besoin d'annotations sensibles, la méthode est facilement déployable dans des environnements réels où la collecte de données annotées est impossible ou illégale.
• Généralité : Sa capacité à fonctionner sur des tâches de classification, de recherche et de génération en fait une solution unifiée pour le débogage des VLM, comblant le fossé entre la recherche théorique sur l'équité et les applications pratiques.

En résumé, cette méthode offre un cadre robuste et efficace pour rendre les VLM plus justes sans sacrifier leur puissance, en traitant les biais comme un problème géométrique dans l'espace des embeddings plutôt que comme un problème nécessitant un apprentissage lourd.