💬 NLP

Compared to What? Baselines and Metrics for Counterfactual Prompting

Cet article soutient que les évaluations par amorçage contrefactuel standard attribuent souvent à tort la sensibilité des modèles à des facteurs spécifiques, car elles ne tiennent pas compte de la sensibilité générale aux changements de forme superficielle, et propose un cadre robuste comparant les interventions ciblées à des bases de paraphrase pour distinguer les effets réels du bruit incident.

Auteurs originaux : Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

Publié 2026-05-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de déterminer si un indice spécifique (comme le genre d'un patient) influence réellement la décision d'un suspect (un modèle d'IA). Vous modifiez cet unique indice dans une histoire et observez si le suspect change d'avis.

Ce papier soutient que la plupart des détectives commettent une énorme erreur : ils oublient de vérifier si le suspect change d'avis simplement parce que vous avez réécrit l'histoire, même si le sens est resté identique.

Voici la décomposition des conclusions du papier utilisant des analogies simples :

1. Le Problème Central : Le « Piège du Paraphrase »

Imaginez que vous testez si un juge est biaisé contre les personnes nommées « Bob ».

L'Ancienne Méthode : Vous prenez un dossier de cas concernant « Bob » et changez le nom en « Alice ». Le juge change son verdict. Vous concluez : « Aha ! Le juge est biaisé contre Bob ! »
L'Insight du Papier : Mais attendez ! Et si le juge changeait son verdict simplement parce que vous avez changé les mots dans le dossier, et non le nom ? Peut-être que le juge déteste les phrases longues, ou peut-être qu'il se perd dans de nouvelles formulations.

Les auteurs appellent cela le « Piège du Paraphrase ». Ils ont découvert que lorsque vous réécrivez simplement une phrase pour signifier exactement la même chose (un « paraphrase bénin »), l'IA change sa réponse aussi souvent que lorsque vous modifiez chirurgicalement un facteur sensible comme le genre ou la race.

L'Analogie :
C'est comme tester si une voiture est sensible à la couleur de la peinture.

Test Ciblé : Vous peignez la voiture en rouge. Le moteur calé. Vous pensez : « Le rouge fait caler le moteur ! »
La Réalité : Vous prenez ensuite une voiture bleue et la repeignez en bleu (juste une nuance différente de bleu, même sens). Le moteur calé aussi.
Conclusion : Le moteur n'est pas sensible au « rouge » ; il est simplement sensible au fait que quelqu'un touche la peinture.

2. La Solution : Le « Groupe Témoin » pour l'IA

Pour corriger cela, les auteurs proposent une nouvelle règle pour tester l'IA : Vous devez comparer votre « changement spécial » à un « changement ennuyeux ».

Le Changement Spécial : Remplacer « homme » par « femme » dans une histoire médicale.
Le Changement Ennuyeux : Réécrire l'histoire en utilisant des mots différents mais en conservant exactement le même sens (et en changeant le même nombre de lettres/mots).

Si l'IA change d'avis tout autant pour le « changement ennuyeux » que pour le « changement spécial », alors le « changement spécial » n'a en réalité rien fait de spécial. Ce n'était que du bruit.

3. Ce qu'ils ont trouvé (L'Expérience « MedPerturb »)

Les auteurs sont revenus à une étude célèbre affirmant que les modèles d'IA étaient fortement biaisés contre certains genres dans les diagnostics médicaux. Ils ont relancé les tests avec leur nouveau groupe témoin de « changement ennuyeux ».

Le Résultat : Le « biais » a majoritairement disparu.
La Conclusion : Lorsqu'ils ont tenu compte du fait que les modèles d'IA sont généralement sensibles à tous les changements de texte, la sensibilité spécifique au genre a disparu. Sur 120 tests, seuls 5 ont montré un effet réel, et ceux-ci étaient liés à l'ajout d'un langage « coloré » (comme des points d'exclamation), et non au genre.

Analogie : C'est comme réaliser qu'une balance n'est pas cassée parce qu'elle pèse une plume différemment d'un rocher ; c'est juste que la balance oscille chaque fois que vous la touchez. Les études précédentes pensaient que la balance était cassée pour les plumes ; les auteurs ont réalisé que la balance oscille pour tout.

4. De Meilleurs Outils pour le Travail (L'Analogie de la « Règle »)

Le papier soutient également que les outils utilisés par les chercheurs pour mesurer ces changements sont souvent trop brutaux.

L'Outil Brut (Métriques Agrégées) : Imaginez essayer de mesurer le vent en comptant combien de fois un cerf-volant fait une boucle. Si le cerf-volant fait une boucle, vous dites « Vent ! » S'il ne le fait pas, vous dites « Pas de vent ». Cela manque la brise subtile qui fait osciller le cerf-volant sans qu'il fasse de boucle.
- Terme du papier : Taux de retournement (Flip Rate), Information Mutuelle.
L'Outil Précis (Métriques Par Échantillon) : Imaginez utiliser un anémomètre sensible qui mesure la vitesse exacte du vent, même si le cerf-volant ne fait pas de boucle.
- Terme du papier : Divergence JSD, Divergence KL.
L'Outil Directionnel (Régression) : Cela vous dit non seulement combien le vent a soufflé, mais dans quelle direction il a soufflé.
- Terme du papier : Coefficients de Régression.

La Découverte : Les « Outils Précis » (JSD/KL) et les « Outils Directionnels » (Régression) sont bien meilleurs pour détecter les vrais biais. Les « Outils Brutaux » manquent souvent de petits effets réels ou se confondent avec des déséquilibres de classes (comme lorsque 99 % des réponses sont « Oui »).

5. Un Exemple Réel : Le Test « Professeur vs Infirmière »

Pour prouver que leur méthode fonctionne, ils ont testé un biais connu : l'idée que l'IA associe « Professeur » aux hommes et « Infirmière » aux femmes.

Ils ont pris des biographies de professeurs et d'infirmières et ont échangé les genres.
L'Outil Brut : N'a vu qu'un changement minuscule, presque invisible, dans la réponse finale « Oui/Non ».
L'Outil Précis : A observé un décalage clair dans la confiance interne de l'IA.
L'Outil Directionnel : A confirmé que le fait de changer une biographie en « Femme » réduisait systématiquement la confiance de l'IA que la personne était un professeur.

Cela a prouvé que leur méthode peut trouver un vrai biais lorsqu'il existe, mais qu'elle filtre le « faux » biais qui n'était causé que par le fait que l'IA était nerveuse face aux changements de texte.

Résumé des Conseils du Papier

Si vous voulez tester une IA pour des biais, ne changez pas juste un mot et voyez ce qui se passe. Vous devez :

Utiliser un Témoin : Comparez votre changement à une réécriture « ennuyeuse » qui modifie la même quantité de texte.
Correspondre la Taille : Assurez-vous que votre réécriture « ennuyeuse » change le même nombre de mots que votre changement « spécial ».
Utiliser des Règles Sensibles : Ne comptez pas seulement les retournements « Oui/Non » ; observez les décalages subtils dans la confiance de l'IA.
Vérifier la Direction : Utilisez les mathématiques pour voir si le changement pousse l'IA dans une direction spécifique et biaisée.

La Conclusion : De nombreuses études précédentes ont affirmé que l'IA était biaisée parce qu'elles ne réalisaient pas que l'IA réagissait simplement au fait que le texte avait été touché. Une fois que vous tenez compte de cette « sensibilité au toucher », les preuves de biais disparaissent souvent — ou deviennent beaucoup plus claires et spécifiques.

1. Énoncé du problème

Le prompting contrefactuel est une méthode standard pour évaluer les grands modèles de langage (LLM), où les chercheurs modifient chirurgicalement une entrée (par exemple, remplacer « homme » par « femme ») afin d'isoler l'effet d'un facteur spécifique (par exemple, les biais de genre) sur la sortie du modèle. L'hypothèse de base est que tout changement observé dans la sortie est causalement attribuable au changement sémantique ciblé.

Les auteurs soutiennent que cette hypothèse est erronée car elle viole le principe d'inférence causale de l'irrélevance de la variation du traitement.

Le problème : Chaque modification contrefactuelle constitue un « traitement composé ». Elle lie la variable d'intérêt (par exemple, le genre) à des variations incidentes de forme superficielle (par exemple, choix de mots spécifiques, nombre de tokens, formulation).
La conséquence : Il est établi que les LLM sont sensibles aux formulations arbitraires et aux changements de tokens (sensibilité au prompt). Par conséquent, un basculement observé dans la sortie pourrait être causé par le changement de structure du texte plutôt que par la signification sémantique de la perturbation.
Le vide actuel : Les travaux antérieurs interprètent souvent les effets bruts de perturbation (par exemple, un taux de basculement de réponse de 15 %) comme une preuve de biais ou d'infidélité sans les comparer à une distribution « nulle » de changements induits par des modifications bénignes préservant le sens.

2. Méthodologie

Les auteurs proposent un cadre rigoureux pour distinguer les effets ciblés (causés par la variable d'intérêt) de la sensibilité générale du modèle (causée par le bruit de modification du texte).

A. Conception expérimentale

Perturbation ciblée ( $D_{targeted}$ ) : L'intervention standard (par exemple, échange de genre, changement de style).
Perturbation de référence ( $D_{benign}$ ) : Une condition de contrôle conçue pour imiter les changements de surface de la cible sans altérer la variable sémantique.
- Paraphrase ajustée aux tokens : La référence principale. Un LLM paraphrase l'entrée pour préserver le sens mais modifie une fraction de tokens correspondant au pourcentage d'édition de tokens de la perturbation ciblée. Cela contrôle le fait que la sensibilité du modèle évolue avec le nombre de tokens modifiés.
- Phrase fixe : Une référence secondaire où une phrase topiquement non pertinente est ajoutée au début du prompt.
Tests statistiques : Au lieu de comparer des métriques brutes, les auteurs utilisent des tests statistiques pour déterminer si la divergence dans la condition ciblée dépasse significativement la divergence dans la condition de référence.
- Métriques par échantillon : Tests t appariés sur les différences entre les valeurs de divergence ciblée et de référence.
- Métriques agrégées : Tests de bootstrap non paramétriques sur la différence des statistiques agrégées.
- Régression : Utilisée pour les hypothèses directionnelles afin d'estimer l'ampleur et le signe de l'effet systématique.

B. Métriques évaluées

Le papier évalue trois classes de métriques pour quantifier la divergence de sortie :

Métriques agrégées :
- Taux de basculement (Flip Rate) : Fraction d'instances où la réponse catégorielle change.
- Information mutuelle (MI) : Mesure la cohérence des réponses entre les conditions.
- Coefficient Phi ( $\phi$ ) : Distingue l'accord du désaccord systématique.
- Limite : Ces métriques sont peu puissantes et peuvent être dégénérées en cas de déséquilibre de classe.
Métriques distributionnelles par échantillon :
- Divergence de Kullback-Leibler (KL) : Mesure le décalage de la distribution de probabilité sur les options de réponse.
- Divergence de Jensen-Shannon (JSD) : Une variante symétrique et bornée de la KL.
- Avantage : Elles capturent des décalages distributionnels subtils même lorsque la frontière de décision finale n'est pas franchie.
Coefficients de régression :
- Estiment le décalage directionnel ( $\beta$ ) lorsque les perturbations ont un encodage signé (par exemple, +1 pour femme, -1 pour homme). Cela caractérise à la fois l'ampleur et la direction du biais.

3. Contributions clés

Correction méthodologique : Démontre que sans une référence adaptée en ampleur, les résultats contrefactuels sont ininterprétables. Les effets observés reflètent souvent la sensibilité générale au prompt plutôt qu'une sensibilité spécifique à un facteur.
Proposition de cadre : Introduit un cadre de test statistique comparant les perturbations ciblées à des références de paraphrase appariées en tokens.
Analyse des métriques : Prouve empiriquement que les métriques distributionnelles par échantillon (JSD, KL) et la régression sont significativement plus puissantes que les métriques agrégées (Taux de basculement, MI, $\phi$ ), en particulier dans les jeux de données déséquilibrés.
Open Source : Publication de cfprompt, un package Python implémentant ce cadre.

4. Résultats clés

A. Réexamen de MedPerturb (Biais médical)

Affirmation originale : Une étude antérieure affirmait que les LLM étaient très sensibles aux indices de genre et de style des patients dans le triage médical.
Nouvelle découverte : Lorsqu'elles sont comparées à des références de paraphrase appariées en tokens :
- Perturbations de genre : Les effets observés (par exemple, un taux de basculement de 14,9 % pour l'échange de genre) étaient statistiquement indiscernables des effets de la paraphrase de référence (14,1 %).
- Conclusion : Sur 120 tests, seul 5 ont atteint la significativité (tous liés à des perturbations de style « coloré » sur un modèle plus petit). L'affirmation selon laquelle les modèles sont spécifiquement sensibles au genre des patients est largement infondée ; les effets étaient probablement du bruit provenant de la sensibilité générale au texte.

B. Contrôles de validité

Rappel (Contrôle positif) : Lorsque la tâche était explicitement modifiée en « Ce patient est-il un homme ? », le cadre a correctement détecté un effet massif et significatif, prouvant qu'il n'est pas excessivement conservateur.
Précision (Contrôle négatif) : Changer l'âge d'un patient d'un an (une perturbation minimale) n'a produit aucun effet significatif par rapport à la référence, confirmant la spécificité du cadre.

C. Bias-in-Bios (Biais professionnel)

Contexte : Tester si les modèles associent « Professeur » aux hommes et « Infirmière » aux femmes.
Résultats :
- Métriques agrégées : Ont montré de faibles taux de basculement à peine significatifs (par exemple, +0,7 %), conduisant à une conclusion potentielle de « aucun biais ».
- Métriques par échantillon (JSD/KL) : Ont détecté des décalages distributionnels statistiquement significatifs ( $p \approx 10^{-7}$ ).
- Régression : A révélé un biais directionnel clair ( $\hat{\beta} \approx -0,5$ ), indiquant que le remplacement d'une biographie par une version féminine diminue systématiquement les log-odds de l'étiquette « Professeur ».
- Insight : Le biais existe mais opère en dessous de la frontière de décision (décalage des logits sans inversion de la réponse binaire). Seuls la régression et les métriques distributionnelles pouvaient caractériser cela.

D. Replication Q-Pain (Biais racial)

En répliquant une étude sur les disparités raciales dans la gestion de la douleur, les auteurs ont constaté que 4 effets démographiques significatifs sur 5 avaient des effets de référence correspondants significatifs (paraphrase). Cela suggère que les résultats originaux sur le biais racial pourraient avoir été confondus par la sensibilité générale au texte.

5. Importance et orientations pratiques

Ce papier modifie fondamentalement la manière dont le prompting contrefactuel doit être mené dans l'évaluation des LLM.

La référence « nulle » est obligatoire : Les chercheurs doivent inclure une perturbation de référence (spécifiquement, une paraphrase appariée en tokens) pour établir une distribution nulle. Sans cela, les découvertes de « biais » peuvent être des artefacts de la sensibilité au prompt.
Le choix des métriques compte :
- Éviter de se fier uniquement au Taux de basculement ou à la MI, car elles manquent de puissance et échouent en cas de déséquilibre de classe.
- Utiliser JSD/KL pour détecter les décalages distributionnels.
- Utiliser la Régression pour quantifier la direction et l'ampleur des effets.
Appariement des tokens : Les références doivent correspondre au nombre de tokens modifiés par la perturbation cible, car la sensibilité du modèle évolue avec l'ampleur de l'édition.
Implication : De nombreuses affirmations antérieures sur le biais ou l'infidélité des LLM peuvent être exagérées ou mal attribuées. Des biais réels et subtils existent (comme le montre Bias-in-Bios) mais nécessitent des outils statistiques plus sophistiqués pour être détectés.

En résumé, le papier soutient que le prompting contrefactuel n'est pas un diagnostic « plug-and-play » ; il nécessite des contrôles statistiques rigoureux pour séparer le signal (vraie sensibilité au facteur) du bruit (sensibilité générale au prompt).