A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models

Résumé Technique : Un cadre statistique à deux étapes pour l'évaluation de l'interférence associative dans les grands modèles de langage

Énoncé du problème

L'évaluation des biais dans les grands modèles de langage (LLM) repose de plus en plus sur des adaptations de paradigmes psychologiques humains, spécifiquement le Test d'Association Implicite (IAT). Cependant, l'application de ces paradigmes aux modèles génératifs introduit une faille méthodologique fondamentale : la confusion entre la conformité de réponse (si un modèle refuse une requête, produit une sortie filtrée par des protocoles de sécurité ou échoue à respecter les contraintes de formatage) et la classification cohérente avec la tâche (la structure associative sous-jacente de la réponse du modèle).

Dans les évaluations standards, les sorties non conformes (refus ou réponses malformées) sont souvent implicitement traitées comme étant incohérentes avec la tâche. Cela obscurcit l'interprétation des résultats, rendant difficile la distinction entre une véritable atténuation du biais (un résultat « nul ») et la suppression d'une structure mesurable due aux contraintes d'alignement ou aux comportements de refus. Sans séparation de ces processus, les asymétries observées dans les tâches de type IAT peuvent refléter des artefacts de l'adhérence du modèle aux protocoles de sécurité plutôt que des motifs associatifs significatifs.

Méthodologie

Pour remédier à cela, les auteurs proposent un cadre de modélisation hiérarchique à deux étapes qui découple la conformité de la réponse de l'interférence associative conditionnelle. L'étude adapte l'IAT à un design contrôlé à choix forcé utilisant des requêtes contraintes par le format JSON afin de limiter les réponses à une seule étiquette (« A » ou « B »).

Design Expérimental :

• Modèles évalués : Trois LLM contemporains : Claude Sonnet-4, Gemini 2.5 Pro et GPT-5.
• Domaines : Genre–Carrière et Genre–Science.
• Stimuli : 80 items uniques par domaine (20 mots par catégorie), soit un total de 160 essais par modèle par domaine (960 essais au total).
• Conditions : Les essais ont été regroupés en blocs congruents et incongruents.

Le cadre à deux étapes :

1. Étape A (Modèle de conformité) : Une régression logistique multiniveau modélise la probabilité qu'un modèle produise une réponse valide par choix forcé ($Pr(valide)$). Cette étape prend en compte l'hétérogénéité au niveau de l'item et isole les différences de politique de réponse (refus, filtres de sécurité, erreurs de formatage) de la tâche elle-même.
2. Étape B (Modèle d'interférence conditionnelle) : Conditionnellement à une réponse valide, une seconde régression logistique multiniveau estime la probabilité d'une classification cohérente avec la tâche ($Pr(cohérent | valide)$).
   • Estimand primaire : L'ampleur de l'interférence est définie par $\Delta P = P(cohérent | congruent) - P(cohérent | incongruent)$.
   • Un $\Delta P$ positif indique une réduction de la cohérence de la tâche dans les blocs incongruents, analogiquement aux effets d'interférence dans la recherche humaine sur l'IAT.
   • Le modèle utilise une régression logistique bayésienne avec des priors faiblement régularisants et des intercepts aléatoires au niveau de l'item pour capturer l'hétérogénéité lexicale.

Validation :
L'étude emploie une falsification par permutation, où les étiquettes de bloc sont randomisées au sein des modèles et des domaines. Cela confirme que les asymétries observées ne sont pas dictées par un déséquilibre des items ou par des fluctuations aléatoires, mais reflètent une dépendance structurée vis-à-vis des conditions expérimentales.

Résultats Clés

L'étude a révélé que, bien que la conformité soit uniformément élevée pour tous les modèles (probabilités prédites a posteriori > 0,98), l'interférence associative variait sensiblement selon le modèle et le domaine :

• Claude Sonnet-4 : A présenté une forte interférence dans le domaine Genre–Carrière ($\Delta P = 0,086$, IC 95 % [0,026, 0,173]) et un effet plus faible mais crédible dans le domaine Genre–Science ($\Delta P = 0,020$).
• Gemini 2.5 Pro : A montré une interférence atténuée, avec un petit effet dans le domaine Genre–Carrière ($\Delta P = 0,017$) et aucun effet crédible dans le domaine Genre–Science ($\Delta P = 0,002$, l'intervalle inclut zéro).
• GPT-5 : A présenté une interférence minimale ou nulle dans les deux domaines, avec des estimations se regroupant près de zéro et des intervalles de crédibilité englobant zéro (Genre–Carrière : $\Delta P = 0,004$ ; Genre–Science : $\Delta P = 0,001$).

La conformité n'a pas varié de manière crédible selon le type de bloc ou le domaine, validant ainsi que les différences d'interférence observées reflètent des asymétries de réponse structurées.

Contributions Clés

1. Séparation Méthodologique : L'article introduit un cadre rigoureux qui sépare explicitement la conformité (adhérence au format/sécurité) de l'inférence (structure associative). Cela empêche la mauvaise interprétation des comportements de refus comme preuves de biais ou de neutralité.
2. Adaptation de l'IAT aux LLM : Les auteurs adaptent avec succès l'IAT à un format à choix forcé et contraint par JSON, réduisant la variabilité de la génération libre et permettant une comparaison inférentielle directe entre les modèles.
3. Modélisation Hiérarchique : En utilisant des effets aléatoires au niveau de l'item, le cadre répond aux préoccupations selon lesquelles les résultats pourraient être dictés par un sous-ensemble restreint de stimuli, fournissant des estimations robustes de la taille de l'effet sur l'échelle des probabilités ($\Delta P$).
4. Preuve Empirique de l'Hétérogénéité des Modèles : L'étude démontre que les asymétries associatives de type IAT ne sont pas une propriété universelle des LLM. Au contraire, elles dépendent de caractéristiques spécifiques aux modèles, suggérant que les systèmes modernes peuvent présenter des degrés d'interférence variables.

Signification et Revendications

L'article affirme que l'interférence associative n'est pas une propriété inhérente et invariante des grands modèles de langage. La présence d'une forte interférence dans certains modèles (Claude Sonnet-4) et son quasi-absence dans d'autres (GPT-5) suggère que de tels effets peuvent être substantiellement atténués par l'entraînement, les procédures d'alignement (ex: RLHF, filtrage de sécurité) ou des différences architecturales.

Les auteurs soulignent que les résultats nuls doivent être interprétés avec prudence. L'absence d'interférence observée ne prouve pas nécessairement qu'un modèle est « neutre » ou « équitable » ; cela peut simplement refléter la suppression réussie d'une structure mesurable via l'alignement. Inversement, la présence d'interférence indique des schémas de réponse structurés sous des conditions contraintes.

En fin de compte, l'étude plaide pour une évaluation spécifique au modèle dans l'évaluation des biais. Elle met en garde contre le traitement du comportement associatif comme une propriété uniforme des modèles de langage contemporains et souligne la nécessité de distinguer le refus de participer d'un modèle et la structure de ses réponses lorsqu'il participe. Ce cadre offre une approche expérimentale contrôlée pour isoler l'interférence associative, offrant une base plus rigoureuse pour évaluer les schémas de réponse structurés dans l'IA générative.