💰 quantitative finance

AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Cet article démontre que l'utilisation de benchmarks regroupés pour détecter les textes générés par l'IA dans l'écriture académique introduit des biais significatifs selon les pays et les disciplines, et soutient que des benchmarks spécifiques au contexte sont essentiels pour une évaluation précise et équitable.

Auteurs originaux : Shang Wu, Randol Yao

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shang Wu, Randol Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge dans une émission de talents, et que votre tâche consiste à repérer quels chanteurs utilisent une « boîte vocale magique » (une IA) pour paraître parfaits. L'article de Shang Wu et Randol Yao soutient que la méthode actuelle pour repérer ces boîtes vocales magiques est défaillante, car elle ignore les contextes naturels des chanteurs.

Voici une analyse de leurs découvertes à l'aide d'analogies simples :

Le Problème : Une taille unique ne convient pas à tous

Les chercheurs ont constaté que la plupart des méthodes actuelles utilisent une seule « liste de contrôle de référence or » pour juger tout le monde. Cette liste a été élaborée en observant comment l'IA modifie les textes, en supposant que toute écriture humaine part du même point de départ.

L'Analogie :
Imaginez que vous jugiez un concours de cuisine. Vous possédez une liste d'« ingrédients suspects » que les chefs utilisant l'IA pourraient employer.

Le Défaut : Vous appliquez cette même liste à un chef français, un chef japonais et un chef mexicain.
La Réalité : Le chef français utilise naturellement des ingrédients comme le « beurre » et les « échalotes ». Le chef japonais utilise naturellement la « sauce soja » et le « miso ».
L'Erreur : Si votre liste indique « Si vous utilisez du beurre, vous trichez », vous accuserez injustement le chef français d'utiliser une IA, alors qu'il utilise du beurre depuis des siècles. Pendant ce temps, vous pourriez manquer le chef mexicain qui utilise un ensemble d'ingrédients différent que votre liste ne signale pas.

Dans l'article, les « ingrédients » sont des mots spécifiques (comme « notamment », « utiliser » ou « favoriser »). L'étude montre que certains pays et certains domaines académiques utilisent naturellement ces mots tout le temps, bien avant l'existence de l'IA.

L'Expérience : Le test du « Voyage dans le temps »

Pour le prouver, les chercheurs ont examiné des articles scientifiques de 2021 (avant que les outils d'écriture par IA ne soient courants).

L'Attente : Puisque personne n'utilisait encore d'IA, le « détecteur d'IA » aurait dû trouver zéro utilisation d'IA.
Le Résultat avec l'Ancienne Méthode (La Référence Regroupée) : Le détecteur a paniqué. Il a affirmé que les chercheurs aux États-Unis et au Royaume-Uni utilisaient massivement l'IA, tandis que les chercheurs en Russie ou au Brésil n'en utilisaient presque pas.
La Réalité : C'était une fausse alerte. Le détecteur était simplement confus par le fait que les scientifiques américains et britanniques écrivent naturellement dans un style qui ressemble à celui de l'IA. Il confondait un « accent britannique » avec une « voix de robot ».

La Solution : Des Listes de Contrôle Personnalisées

Les chercheurs ont créé une nouvelle méthode : des Références Spécifiques aux Pays et aux Domaines.
Au lieu d'une seule immense liste de contrôle pour tout le monde, ils ont créé 234 petites listes de contrôle personnalisées.

Une liste pour les « Mathématiques aux États-Unis ».
Une liste pour l'« Économie en Chine ».
Une liste pour la « Psychologie en Allemagne ».

L'Analogie :
Maintenant, au lieu de demander au chef français : « Avez-vous utilisé du beurre ? » (ce qui est normal pour lui), le juge demande : « Avez-vous utilisé plus de beurre que d'habitude ? »

Si le chef français utilise sa quantité normale de beurre, le juge dit : « Propre ».
Si le chef français utilise soudainement le double de beurre, le juge dit : « Suspect ».

Les Résultats : Qui est injustement blâmé ?

Lorsqu'ils ont appliqué ces listes de contrôle personnalisées à des articles de 2025 (lorsque l'IA était réellement utilisée), ils ont constaté que l'ancienne méthode créait une carte déformée du monde :

Surestimation (Faux Accusations) : L'ancienne méthode donnait l'impression que les chercheurs des pays anglophones (comme les États-Unis et le Royaume-Uni) et des domaines comme l'« Économie et les Sciences Humaines » utilisaient le plus l'IA.
- Pourquoi ? Parce que leur style d'écriture naturel sonnait déjà « comme l'IA » pour le détecteur générique.
Sous-estimation (Détections Manquées) : L'ancienne méthode donnait l'impression que les chercheurs en Russie, au Brésil, au Japon et en Europe de l'Est, ainsi que dans des domaines comme les « Mathématiques et les Sciences Physiques », utilisaient très peu d'IA.
- Pourquoi ? Parce que leur style d'écriture naturel était si différent du « style IA » que le détecteur ne reconnaissait pas l'IA, même lorsqu'elle était présente.

Pourquoi Cela Compte

L'article conclut que si nous continuons à utiliser la méthode « Une taille unique pour tous », nous allons :

Punir injustement les scientifiques des pays anglophones ou des sciences sociales en les faisant paraître comme des tricheurs.
Lâcher prise à d'autres qui utilisent réellement l'IA, simplement parce que leur style d'écriture est différent.
Créer une inégalité : Cela renforce l'idée que certains groupes sont « moins originaux » que d'autres, non pas parce qu'ils le sont, mais parce que le mètre ruban est cassé.

L'Essentiel :
Pour juger équitablement si un scientifique utilise une IA, vous ne pouvez pas vous contenter d'examiner les mots qu'il utilise. Vous devez comprendre qui il est et ce qu'il écrit habituellement. Vous devez savoir s'il est naturellement un « chef au beurre » avant de l'accuser d'utiliser une boîte vocale magique.

Résumé technique : L'évaluation par l'IA peut biaiser les perceptions

Énoncé du problème
L'article traite d'une faille critique dans les méthodologies actuelles d'estimation de l'utilisation des modèles de langage de grande taille (LLM) dans l'écriture scientifique. Les approches existantes reposent souvent sur un « référentiel regroupé » — une norme globale unique pour la « ressemblance à l'IA » entraînée sur des données agrégées de tous les pays et disciplines. Les auteurs soutiennent que cette approche ignore l'hétérogénéité stylistique préexistante substantielle entre les différents groupes pays-domaine. Étant donné que les conventions d'écriture scientifique, les normes linguistiques et les styles rhétoriques varient considérablement selon la géographie et la discipline, un référentiel unifié risque de confondre la variation stylistique naturelle avec le texte généré par l'IA. Cette confusion peut entraîner une mauvaise classification systématique, où certains groupes semblent utiliser davantage l'IA simplement parce que leur style d'écriture de base correspond plus étroitement au profil « ressemblant à l'IA » regroupé, même en l'absence d'utilisation réelle de LLM.

Méthodologie
L'étude utilise des données de publications à grande échelle provenant de la base de données Dimensions, couvrant les publications de revues en langue anglaise de 2020 à 2025. Les auteurs définissent 18 groupes de pays et 13 domaines d'étude, créant ainsi 234 groupes distincts pays-domaine.

Construction des données :
- Corpus d'entraînement (2020) : Les auteurs échantillonnent jusqu'à 2 000 publications par groupe pays-domaine de 2020 (ère pré-LLM). Ils utilisent ChatGPT-4o-mini pour reformuler les résumés de ces publications en utilisant une procédure en deux étapes « planifier-et-développer ». Cela crée des paires de résumés originaux écrits par des humains et de résumés reformulés par l'IA.
- Corpus d'inférence : Les publications de 2021 (utilisées comme placebo pré-LLM) et de 2025 (ère post-LLM) sont utilisées pour tester les référentiels.
Construction des référentiels :
- Référentiel regroupé : Un seul ensemble de rapports de cotes logarithmiques au niveau des mots est calculé en regroupant toutes les données d'entraînement de 2020 des 234 groupes. Cela établit une base mondiale pour les probabilités d'utilisation des mots dans les textes humains versus IA.
- Référentiels spécifiques aux groupes pays-domaine : 234 référentiels séparés sont construits, où chaque référentiel est entraîné uniquement sur les données au sein de son groupe pays-domaine spécifique.
- Métrique : Pour chaque mot $t$ , le rapport de cotes logarithmiques est calculé comme $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$ , où $P_t$ et $Q_t$ sont respectivement les probabilités d'apparition du mot dans les résumés écrits par des humains et reformulés par l'IA. Les valeurs négatives indiquent des mots plus susceptibles d'apparaître dans le texte IA.
Estimation :
- Les auteurs utilisent un estimateur du maximum de vraisemblance (MLE) pour estimer le poids du mélange ( $\alpha$ ), représentant la fraction de texte modifiée par l'IA.
- Les occurrences de mots au niveau de la phrase sont modélisées comme des événements de Bernoulli. La vraisemblance d'une phrase est modélisée comme un mélange de distributions humaines et IA : $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$ .
- L'estimateur est appliqué deux fois aux données de 2025 : une fois en utilisant le référentiel regroupé ( $\alpha^{pool}_g$ ) et une fois en utilisant le référentiel spécifique au groupe ( $\alpha^g_g$ ).

Principales découvertes

Hétérogénéité stylistique préexistante :
L'analyse des données de 2020 (pré-LLM) révèle une variation significative de l'utilisation de mots « ressemblant à l'IA » entre les groupes. La décomposition ANOVA montre qu'environ 80 % de la variance des rapports de cotes logarithmiques provient des différences entre les pays au sein d'un même domaine, plutôt que des différences entre les domaines. Les simulations de permutation confirment que cette hétérogénéité est réelle et non un bruit statistique.
Biais dans le placebo pré-LLM (2021) :
Lorsque le référentiel regroupé est appliqué aux publications de 2021 (où la véritable utilisation de l'IA devrait être proche de zéro), il produit une distribution fortement biaisée des estimations d'utilisation de l'IA ( $\alpha$ ).
- Surestimation : Les pays à dominance anglaise (par exemple, États-Unis, Royaume-Uni) et des domaines tels que l'économie, la gestion et les sciences humaines montrent des estimations de base artificiellement élevées (jusqu'à 0,17).
- Sous-estimation : Des pays comme la Russie et des domaines tels que les sciences mathématiques et physiques montrent des bases proches de zéro.
- En revanche, les référentiels spécifiques aux groupes pays-domaine produisent une distribution centrée autour de 0,04–0,05 avec une dispersion considérablement réduite (l'écart-type passe de 0,052 à 0,016), fournissant une base plus crédible.
Biais systématique dans les estimations de 2025 :
La comparaison des estimations de 2025 révèle que le référentiel regroupé déforme systématiquement la distribution géographique et disciplinaire perçue de l'utilisation de l'IA :
- Surestimation : L'utilisation de l'IA est surestimée dans les pays à dominance anglaise et les domaines dont les styles d'écriture sont similaires au profil IA regroupé (par exemple, économie, psychologie, informatique).
- Sous-estimation : L'utilisation de l'IA est sous-estimée dans les pays non dominants en anglais (par exemple, Russie, Brésil, Japon) et les domaines ayant des bases stylistiques distinctes (par exemple, sciences mathématiques, sciences biomédicales).

Importance et revendications
L'article soutient qu'une évaluation précise de l'utilisation de l'IA en science nécessite une mesure consciente du contexte plutôt que des normes uniformes. Les auteurs affirment que les référentiels regroupés n'introduisent pas seulement du bruit, mais induisent un biais structuré qui redessine le paysage perçu de l'adoption de l'IA.

Équité et confiance : Les résultats suggèrent que les méthodes de détection actuelles peuvent renforcer les inégalités existantes. Les chercheurs dans les pays à dominance anglaise et à revenu élevé risquent d'être injustement signalés pour une écriture « ressemblant à l'IA » (ce qui pourrait être interprété comme une fluidité), tandis que les chercheurs d'autres régions ou disciplines peuvent être sous-détectés ou faire face à des pénalités de crédibilité différentes.
Implications politiques : Les auteurs mettent en garde contre l'adoption de seuils uniformes de détection de l'IA dans les politiques d'intégrité académique, le filtrage des revues et la conformité des financements. Ils préconisent des référentiels calibrés au contexte pour éviter la distorsion du discours scientifique et l'érosion de la confiance dans des régions ou disciplines spécifiques.
Contribution méthodologique : L'étude démontre que l'ignorance des bases contextuelles conduit à des interprétations fragiles des tendances d'adoption de l'IA. En intégrant des bases spécifiques aux groupes pays-domaine, la crédibilité des comparaisons intergroupes est considérablement améliorée.

L'article conclut que, bien qu'aucun référentiel ne soit parfaitement exempt de biais, le passage vers une mesure consciente du contexte est une étape nécessaire pour garantir une évaluation équitable et précise de l'IA dans l'écriture scientifique.