💬 NLP

The Proxy Presumption: From Semantic Embeddings to Valid Social Measures

Cet article traite de la « présomption de proxy » en science sociale computationnelle en introduisant le protocole de validité de construction (CVP) et la neutralisation contrefactuelle pour valider rigoureusement les représentations sémantiques, en s'assurant qu'elles mesurent des constructions sociales plutôt que des attributs confondants tels que le sujet ou le style.

Auteurs originaux : Baishi Li, Ta Yu, Kelvin J. L. Koa, Ke-Wei Huang

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Baishi Li, Ta Yu, Kelvin J. L. Koa, Ke-Wei Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de mesurer la « créativité » d'une nouvelle invention. Vous décidez d'utiliser une règle high-tech qui mesure la distance entre cette nouvelle invention et les anciennes. Si la distance est énorme, vous déclarez l'invention « très créative ».

Ce papier soutient que, dans le monde de l'Intelligence Artificielle (IA), les chercheurs font exactement cela, mais qu'ils commettent une erreur dangereuse. Ils supposent que, parce que deux choses sont « loin » l'une de l'autre dans les mathématiques de l'IA, elles doivent être « différentes » dans le monde réel. Les auteurs appellent cela la « Présomption de Proxy ».

Voici une explication simple de leur argument, de leur solution et de leurs résultats.

1. Le Problème : La « Règle Confuse »

Les auteurs affirment que les modèles d'IA (spécifiquement ceux qui transforment le texte en nombres, appelés « embeddings ») sont comme un mixeur de cuisine.

La Cible (C) : C'est ce que vous voulez réellement mesurer, comme la « créativité », le « biais » ou la « nouveauté ».
Le Bruit (Z) : C'est tout le reste mélangé, comme le sujet du texte, le style d'écriture de l'auteur, la longueur de la phrase, ou les mots spécifiques utilisés.

Lorsque vous mettez un texte dans ce mixeur d'IA, il recrache un seul nombre (un vecteur). Le problème est que ce nombre est un smoothie à la fois de la Cible et du Bruit.

L'Analogie :
Imaginez que vous voulez mesurer à quel point une soupe est « pimentée ». Vous utilisez un thermomètre. Mais le thermomètre est aussi sensible à la « chaleur » de la soupe (la température).

Si la soupe est chaude et pimentée, le thermomètre indique une valeur élevée.
Si la soupe est chaude mais fade, le thermomètre indique aussi une valeur élevée.

Si vous regardez simplement la lecture élevée et dites : « Aha ! Cette soupe est très pimentée ! », vous avez tort. Le thermomètre mesure en réalité la chaleur, pas le piment.

En IA, les chercheurs regardent souvent la « distance » entre deux textes et disent : « Ce texte est très créatif ! » Mais le papier soutient que l'IA mesure peut-être simplement que le texte porte sur un sujet différent ou est écrit dans un style différent, et non qu'il est réellement plus créatif. Ils confondent la « chaleur » (le bruit) avec le « piment » (le vrai concept).

2. La Preuve Mathématique : Pourquoi Vous Ne Pouvez Pas Simplement « Deviner »

Le papier utilise des mathématiques complexes pour prouver un point simple : Vous ne pouvez pas séparer le piment de la chaleur simplement en regardant la soupe.

À moins d'avoir un outil spécial pour filtrer la chaleur, vous ne pouvez jamais être sûr si la température élevée sur le thermomètre est due aux piments ou simplement à la cuisinière. De même, sans étapes spéciales, une IA ne peut pas savoir si un texte est « créatif » ou simplement « portant sur un sujet différent ». Les mathématiques prouvent que la « règle » de l'IA est fondamentalement confuse.

3. La Solution : Le « Protocole de Validité » (CVP)

Pour corriger cela, les auteurs proposent un nouvel ensemble de règles appelé le Protocole de Validité de Construct (CVP). Imaginez cela comme une liste de contrôle de qualité pour quiconque tente de mesurer des concepts sociaux avec l'IA.

Au lieu de simplement dire : « Voici un score pour la créativité », les chercheurs doivent maintenant prouver que leur règle mesure réellement la créativité et non simplement du bruit. Le protocole comporte trois étapes principales :

Étape 1 : Définir la Recette. Expliquer clairement ce que signifie « créativité » et ce qu'elle ne signifie pas.
Étape 2 : Nettoyer les Ingrédients. Avant de mesurer, utilisez des outils pour éliminer le « bruit ». Par exemple, si vous voulez mesurer le « biais politique », vous pourriez utiliser une IA pour réécrire le texte afin d'éliminer le sujet spécifique (comme « les impôts ») afin de ne mesurer que l'attitude, et non le sujet.
Étape 3 : La « Carte de Validité ». C'est un bulletin de notes qui doit être joint à chaque étude. Il comprend :
- Test de Stabilité : Si vous changez légèrement la police ou l'ordre des mots, le score reste-t-il le même ? (Sinon, la règle est cassée).
- Le Test « Sujet Différent » : Le score change-t-il si vous parlez d'un sujet totalement différent ? Si le score change simplement parce que le sujet a changé, votre règle mesure le sujet, et non le concept.
- Le Test « Monde Réel » : Ce score prédit-il réellement des résultats dans le monde réel ?

4. L'Enquête « Forensique »

Les auteurs n'ont pas seulement parlé de théorie ; ils ont agi comme des détectives. Ils ont examiné 17 articles récents et célèbres qui prétendaient mesurer des choses comme le « biais », l'« idéologie » et la « créativité » en utilisant l'IA.

Ce qu'ils ont trouvé :

La plupart des articles (10 sur 17) ont donné une bonne définition de ce qu'ils mesuraient.
Presque tous les articles ont montré des exemples pour prouver que cela semblait correct.
MAIS, presque AUCUN article n'a fait le travail difficile de prouver que leur règle ne mesurait pas simplement le « bruit ».
- Seul 1 article a prouvé que sa mesure était différente d'autres mesures similaires.
- Zéro article a prouvé que sa mesure ne suivait pas simplement le sujet ou le style d'écriture.
- Zéro article a utilisé les mathématiques strictes requises pour séparer le « piment » de la « chaleur ».

Le Verdict : Les auteurs appellent cela la « Fallacie du Jangle ». C'est lorsque deux études différentes utilisent le même nom (par exemple, « Biais ») mais mesurent en réalité deux choses complètement différentes parce qu'elles n'ont pas vérifié si leurs règles étaient propres. Une étude pourrait mesurer des « mots grossiers », tandis qu'une autre mesure des « sujets politiques », mais elles appellent toutes les deux cela « Biais ».

5. La Conclusion

Le papier conclut que nous ne pouvons pas simplement faire confiance à l'IA pour mesurer des idées humaines complexes comme la « créativité » ou le « biais » en regardant simplement la distance entre les mots.

Si nous voulons que l'IA soit un outil utile pour les sciences sociales, nous devons cesser de traiter les mathématiques de l'IA comme une réponse magique. Nous devons utiliser le Protocole de Validité pour :

Nettoyer les données des distractions (comme le sujet et le style).
Prouver que le score change réellement lorsque le concept change.
Prouver que le score ne change pas lorsque les distractions changent.

Jusqu'à ce que les chercheurs commencent à faire cela, le papier soutient que nous mesurons simplement la « chaleur » de la soupe en faisant semblant de savoir à quel point elle est « pimentée ».

Résumé technique : La présomption de proxy : Des embeddings sémantiques aux mesures sociales valides

1. Énoncé du problème : La présomption de proxy

L'article identifie une crise fondamentale de validité dans l'application du Traitement Automatique du Langage Naturel (TALN) à la Science Sociale Computationnelle (SSC). Bien que le TALN soit de plus en plus utilisé pour mesurer des constructions sociales latentes (par exemple, la nouveauté, la créativité, les biais, l'idéologie) via des embeddings sémantiques, le domaine repose sur une « présomption de proxy ». Cette présomption suppose que les propriétés géométriques des espaces d'embedding (par exemple, la distance ou la similarité cosinus) servent de mesures directes et valides de concepts sociaux théoriques sans validation empirique suffisante.

Les auteurs soutiennent que cette approche constitue un problème de non-identification. Les embeddings non supervisés compressent plusieurs facteurs génératifs en une seule représentation, enchevêtrant la construction cible ( $C$ ) avec des attributs parasites ( $Z$ ), tels que le sujet, le style, le registre, l'auteur et la longueur. Sans désenchevêtrement explicite ou contrôles basés sur la conception, les métriques standard capturent souvent la variance méthodologique (par exemple, les changements de sujet ou de vocabulaire) plutôt que le phénomène social visé. L'article formalise cela comme un problème inverse mal posé où la récupération d'une construction latente à partir d'un texte observé est théoriquement impossible sans hypothèses structurelles ou interventions.

2. Cadre méthodologique

2.1 Formalisation théorique

Les auteurs modélisent la génération de documents comme un processus stochastique $p_\theta(D | c, z)$ , où $D$ est le document, $c$ est la construction cible scalaire, et $z$ est un vecteur d'attributs parasites.

Ambiguïté rotationnelle : S'appuyant sur l'apprentissage de représentations causales (Locatello et al., 2019 ; Schölkopf et al., 2021), l'article démontre que les objectifs non supervisés maximisant la vraisemblance des données ne peuvent pas distinguer entre la base latente réelle et une base arbitrairement rotative. Par conséquent, la dimension d'embedding apprise utilisée pour la mesure est un mélange inextricable de $c$ et $z$ .
Indétermination métrique : Même avec un encodeur parfaitement désenchevêtré, l'application de fonctions géométriques (comme la similarité cosinus ou la distance euclidienne) aux embeddings complets échoue car la métrique peut être dominée par la variance parasite ( $z$ ) plutôt que par la variance de la construction ( $c$ ). Par exemple, une forte similarité cosinus peut refléter des sujets partagés plutôt qu'une similarité conceptuelle.

2.2 Interventions proposées

Pour atténuer l'enchevêtrement, l'article décrit une stratégie d'intervention à trois niveaux :

Désenchevêtrement des entrées : Prétraitement du texte pour réduire la dépendance à $Z$ (par exemple, extraction de segments uniquement pertinents pour la construction via des LLM, normalisation stylistique ou masquage d'entités).
Désenchevêtrement des représentations : Entraînement d'encodeurs pour supprimer $Z$ tout en préservant $C$ en utilisant une suppression adversariale, une projection dans l'espace nul ou un apprentissage contrastif.
Désenchevêtrement méthodologique : Conception de fonctions de notation qui annulent les contributions parasites. Les auteurs proposent la Neutralisation Contrefactuelle, où une mesure est définie comme la différence entre un embedding observé et un embedding « neutralisé » contrefactuel (où le signal de la construction est minimisé mais $Z$ est préservé).

2.3 Le Protocole de Validité de Construction (CVP)

La contribution centrale est le Protocole de Validité de Construction (CVP), un pipeline standardisé adapté de la psychométrie et de l'inférence causale pour valider les mesures basées sur les embeddings. Il se compose de trois phases :

Phase 1 : Conceptualisation : Établissement de la validité de face et de contenu par un examen par des experts. Cela implique de définir la construction, d'énumérer les dimensions parasites et de créer un ensemble d'ancrage de « groupes connus » (exemples élevés, faibles et limites) pour auditer les frontières de décision.
Phase 2 : Opérationnalisation : Conception d'instruments qui réduisent l'enchevêtrement en utilisant les interventions décrites ci-dessus.
Phase 3 : La suite de validité : Un cadre de rapport structuré (une « Carte de Validité ») exigeant cinq types spécifiques de preuves :
1. Fiabilité/Stabilité : Test de la robustesse face aux perturbations (variantes d'encodeur, paraphrase de prompts) en utilisant les coefficients de corrélation intraclasse (CCI).
2. Validité convergente : Corrélation avec une mesure « référence » externe et indépendante de la même construction.
3. Validité discriminante et incrémentale : Démontrer que la mesure est distincte des facteurs parasites (par exemple, sujet, longueur) et ajoute un pouvoir explicatif au-delà d'eux pour une étiquette de validation externe.
4. Validité des groupes connus : Démontrer que la mesure sépare des groupes de construction élevés et faibles pré-spécifiés.
5. Preuves liées au critère : Prédire des résultats en aval dans la direction théorisée tout en contrôlant de fortes variables parasites.

3. Résultats clés et analyse empirique

3.1 Exemple traité (GoEmotions)

Les auteurs ont appliqué le CVP à l'ensemble de données GoEmotions pour mesurer la « gratitude ».

Fiabilité : En variant les encodeurs, les méthodes de regroupement et la normalisation, ils ont obtenu une stabilité élevée (CCI(2,1) = 0,8467).
Validité discriminante : Une analyse de régression a montré que le score proxy était largement récupérable à partir des caractéristiques de sujet ( $R^2 = 0,7762$ ), indiquant un enchevêtrement significatif avec des variables parasites.
Validité incrémentale : Malgré l'enchevêtrement, l'ajout du proxy à un modèle contenant uniquement des caractéristiques parasites a considérablement amélioré la prédiction des étiquettes humaines (l'AUC est passée de 0,9658 à 0,9831), démontrant que le signal de construction existe mais est mélangé au bruit.
Analyse des erreurs : L'audit a révélé des modes d'échec spécifiques, tels que des faux positifs où « merci » était utilisé de manière sarcastique, soulignant la nécessité de l'audit « groupes connus » dans la Phase 1.

3.2 Revue de littérature médico-légale

Les auteurs ont mené une analyse médico-légale de 17 articles influents (2020–2025) proposant des métriques computationnelles pour des constructions sociales.

Constats : Bien que la plupart des articles aient fourni des définitions de construction et des preuves de face/contenu (souvent via des exemples qualitatifs), ils manquaient largement de preuves d'identification rigoureuses.
- Validité discriminante : 0 articles ont pleinement démontré la validité discriminante (éliminant la substitution parasite).
- Validité convergente : Seul 1 article a établi une convergence par rapport à un instrument indépendant au même niveau d'analyse.
- Identification causale : Aucun des articles échantillonnés n'a utilisé de méthodes d'identification causale pour isoler les constructions des confusions ; la confiance a été placée sur des heuristiques ou des contrôles associatifs.
Conclusion : La littérature documente fréquemment qu'un proxy est défini et suffisamment stable pour être calculé, mais démontre rarement qu'il isole la construction visée. Cela crée un risque de « Jangle Fallacy » (erreur de jangle), où différents articles prétendent mesurer la même construction mais suivent en réalité différents mélanges de signal et de bruit.

4. Contributions clés

Résultat de non-identification : Formalisation de la raison pour laquelle les métriques non supervisées ne peuvent pas récupérer de manière fiable des constructions latentes sans hypothèses ou interventions explicites, prouvant que l'indépendance statistique n'implique pas le désenchevêtrement.
Solutions méthodologiques : Proposition de la Neutralisation Contrefactuelle et mise en relation avec les outils existants de débiaisage (suppression adversariale, projection dans l'espace nul).
Le Protocole de Validité de Construction (CVP) : Fourniture d'une norme de rapport destinée à la communauté qui passe de la conceptualisation à une Carte de Validité structurée, garantissant que les mesures sont scientifiquement défendables.
Preuves médico-légales : Documentation de la prévalence de la présomption de proxy dans la littérature récente, montrant un écart systématique entre les proxies géométriques et les mesures sociales valides.

5. Signification et affirmations

L'article se positionne comme une contribution de position et de synthèse, et non comme une norme finale. Sa signification principale réside dans :

Le déplacement du fardeau de la preuve : Affirmation que la « mesure par renommage » (l'équivalence de la distance géométrique avec les concepts sociaux) est insuffisante. La validité doit être démontrée empiriquement, et non supposée.
L'enablement de la science cumulative : En standardisant le rapport de validité (via la Carte de Validité), le protocole vise à rendre les résultats comparables entre les études et à réduire le risque que la fuite de sujet/style se fasse passer pour des signaux sociaux.
La défense de l'inférence en aval : Soulignant que si la construction des variables manque de validité, aucune méthode ML causale en aval ne peut rigoureusement établir la causalité.

Les auteurs déclarent explicitement ne pas viser à interdire l'utilisation de proxies, mais à les rendre testables. Ils reconnaissent les limites, notant que leur codage reflète les pratiques rapportées (qui peuvent sous-estimer les analyses non publiées) et que le CVP lui-même nécessite une itération supplémentaire et des études de cas empiriques prospectives pour quantifier les coûts pratiques et les modes d'échec. L'objectif est de transformer les proxies heuristiques en instruments robustes et scientifiquement défendables pour la Science Sociale Computationnelle.