💬 NLP

How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

Cet article présente un cadre d'évaluation sensible au registre utilisant la divergence maximale moyenne et les caractéristiques lexico-grammaticales de Biber pour démontrer que, bien que les grands modèles de langage s'écartent systématiquement des patterns linguistiques humains, leur degré de ressemblance humaine varie selon le registre de communication et n'est pas déterminé par la taille du modèle.

Auteurs originaux : Björn Nieth (Department Artificial Intelligence in Biomedical Engineering, Chair of AI-supported Therapy Decisions LMU München Munich Germany), Marianna Gracheva (Department of Digital Humanities and

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Björn Nieth (Department Artificial Intelligence in Biomedical Engineering, Chair of AI-supported Therapy Decisions LMU München Munich Germany), Marianna Gracheva (Department of Digital Humanities and Social Studies), Michaela Mahlberg (Department of Digital Humanities and Social Studies, University of Birmingham United Kingdom), Bjoern Eskofier (Department Artificial Intelligence in Biomedical Engineering, University of Birmingham United Kingdom, Munich Center for Machine Learning, Institute of AI for Health Helmholtz Zentrum München Neuherberg Germany), Emmanuelle Salin (Department Artificial Intelligence in Biomedical Engineering)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot d'écrire une histoire, d'envoyer un message texte ou de rédiger un reportage d'actualité. Vous pourriez demander : « Ce que le robot a écrit est-il vrai ? » ou « A-t-il terminé la tâche ? » Mais cet article pose une question différente, plus subtile : « Ce que le robot a écrit donne-t-il l'impression d'avoir été écrit par un humain ? »

Les auteurs soutiennent que le fait qu'un texte produit par un robot soit factuellement correct ne signifie pas qu'il sonne naturel. Pour les humains, la langue varie selon la situation. Un message texte à un ami sonne très différemment d'un article scientifique ou d'un reportage d'actualité. Les auteurs appellent ces différentes situations des « registres ».

Voici un résumé simple de leur étude :

1. Le Problème : La « Vallée de l'étrange » du robot

Imaginez la langue comme une fête déguisée.

Les humains sont excellents pour changer de déguisement. Si vous entrez dans une bibliothèque, vous chuchotez et utilisez un vocabulaire formel. Si vous entrez dans un bar, vous criez et utilisez de l'argot. Vous savez instinctivement quel « déguisement » (registre) convient à la pièce.
Les grands modèles de langage (LLM) sont comme des acteurs très doués pour mémoriser leurs répliques, mais qui oublient parfois de changer de déguisement. Ils pourraient rédiger un reportage d'actualité qui sonne comme une conversation informelle, ou une histoire qui ressemble à un manuel scolaire. Même si les faits sont exacts, l'« ambiance » est décalée, ce qui donne une impression d'unnaturalité au lecteur humain.

2. La Solution : Un « Détecteur de style »

Les chercheurs ont mis au point une nouvelle méthode pour tester ces robots. Au lieu de demander à un humain de lire et de deviner si un texte est réel (ce qui est lent et subjectif), ils ont créé un « détecteur de style » mathématique.

Les 67 caractéristiques : Ils ont utilisé un outil linguistique classique (d'un chercheur nommé Biber) qui décompose le langage en 67 « ingrédients » spécifiques. Il ne s'agit pas seulement de mots, mais de modèles tels que : « À quelle fréquence les gens utilisent-ils le passé ? », « Utilisent-ils des mots courts ou longs ? », « Utilisent-ils la voix passive ? »
La référence humaine : Ils ont rassemblé un énorme corpus d'écrits humains réels pour cinq « pièces » (registres) différentes :
1. Conversation informelle : Vrais échanges entre personnes.
2. Articles académiques : Introductions de recherches en informatique.
3. Guides pratiques : Instructions étape par étape (comme WikiHow).
4. Histoires créatives : Fictions écrites par des utilisateurs.
5. Reportages d'actualité : Articles de la BBC.
Le Test : Ils ont demandé à sept modèles d'IA différents d'écrire dans ces cinq mêmes styles. Ensuite, ils ont utilisé une formule mathématique (appelée MMD) pour mesurer la « distance » entre le style d'écriture de l'IA et le style d'écriture humain.

L'analogie : Imaginez que vous avez un bocal de vraies myrtilles (écrits humains) et un bocal de bonbons à la myrtille artificielle (écrits par l'IA). Les chercheurs ne se contentent pas de les goûter ; ils mesurent la teinte exacte du bleu, la texture et la teneur en sucre. Ils calculent exactement à quelle distance le bonbon se trouve du vrai fruit. Si la distance est énorme, le bonbon a un goût artificiel.

3. Ce qu'ils ont découvert

Les résultats étaient clairs et surprenants :

Aucun robot n'est parfait : Dans chaque test, l'écriture de l'IA était statistiquement « loin » de la façon dont les humains écrivent réellement. Aucun des robots n'a pu imiter parfaitement le style humain.
La taille n'a pas d'importance : Vous pourriez penser qu'un robot plus grand et plus puissant sonnerait plus humain. L'étude a révélé que les modèles plus grands ne sont pas nécessairement meilleurs. Un modèle plus petit (Qwen 8B) a parfois sonné plus humain qu'un modèle géant (Llama 70B), selon le sujet.
Le contexte est roi : Un robot peut être excellent pour rédiger un reportage d'actualité mais terrible pour écrire une conversation informelle. Vous ne pouvez pas juger le « degré d'humanité » d'un robot avec un seul score ; vous devez le tester dans chaque situation spécifique.
Le trait de « famille » : Les robots issus de la même « famille » (comme la famille Llama ou la famille Gemma) avaient tendance à se ressembler, quelle que soit leur taille. Ils semblaient avoir un « accent » ou une « personnalité » partagée qui leur était propre.

4. Pourquoi cela compte (selon l'article)

L'article conclut que nous devons cesser de considérer l'IA uniquement comme un « exécutant de tâches » et commencer à la voir comme un « ajusteur de style ».

Si une IA doit être utilisée dans le monde réel (comme dans les chatbots ou la création de contenu), elle doit s'adapter à la « pièce » spécifique dans laquelle elle se trouve. Les auteurs suggèrent qu'à l'avenir, nous pourrions utiliser cette mesure de « distance » pour entraîner les robots à sonner plus naturellement, leur apprenant essentiellement à mettre le bon déguisement pour la bonne fête.

En résumé : L'article prouve que, bien que l'IA devienne plus intelligente, elle n'a pas encore maîtrisé l'art de sonner comme un humain dans toutes les situations. C'est comme un étudiant très cultivé qui connaît les faits, mais qui sonne encore un peu raide et artificiel lorsqu'il essaie de discuter avec des amis.

Résumé technique : Dans quelle mesure les grands modèles de langage sont-ils humains ? Un cadre d'évaluation linguistique sensible au registre

Énoncé du problème
Alors que la recherche actuelle sur les grands modèles de langage (LLM) privilégie fortement l'exactitude factuelle et les benchmarks de performance des tâches (par exemple, MMLU, questions-réponses spécifiques à un domaine), la question fondamentale de la proximité entre le texte généré par les LLM et le langage humain au niveau linguistique reste sous-explorée. D'un point de vue de la linguistique de corpus, la production du langage humain est intrinsèquement dépendante du contexte ; des contextes communicatifs distincts (registres) donnent naissance à des fréquences spécifiques et à des modèles de co-occurrence de traits linguistiques. Un texte peut être factuellement correct mais linguistiquement « artificiel » s'il ne respecte pas les modèles de son registre cible. Les méthodes de détection existantes reposent souvent sur des embeddings de modèles (qui ne sont pas interprétables par l'humain) ou échouent à mesurer correctement l'alignement au registre, en particulier lorsque les modèles sont conditionnés par des exemples explicites de registre plutôt que d'inférer le registre à partir du contexte situationnel.

Méthodologie
Les auteurs proposent un cadre d'évaluation sensible au registre qui évalue la ressemblance humaine comme un problème à deux échantillons entre la distribution des traits linguistiques d'un corpus de référence humain et un corpus correspondant généré par un LLM.

Génération de données et conditionnement implicite au registre :
- Cinq registres anglais distincts ont été sélectionnés : conversation orale (BNC2014Spoken), écriture académique (S2ORC_ACL), texte instructif en ligne (wikiHow), écriture créative (WritingPrompts) et reportage d'actualités (XSum).
- Des corpus de référence humains ont été collectés et des métadonnées ont été utilisées pour construire des prompts en langage naturel.
- Crucialement, le cadre emploie un conditionnement implicite au registre : les prompts décrivent le contexte situationnel sans inclure d'exemples de texte spécifiques au registre, forçant le modèle à inférer le style cible.
- Sept modèles open-source, adaptés par instruction (allant de 8 à 70 milliards de paramètres, y compris Llama 3, Qwen 3, Gemma 3 et Apertus) ont été évalués dans des configurations zero-shot et few-shot.
Extraction de traits :
- Le cadre utilise les 67 traits lexico-grammaticaux et discursifs introduits par Biber (1988), une norme en linguistique de corpus pour analyser la variation à travers les registres.
- Les textes ont été standardisés à une longueur de 400 tokens lexicaux pour assurer la comparabilité.
Métrique de distance (MMD) :
- L'écart entre les corpus humain et synthétique est quantifié à l'aide du Maximum Mean Discrepancy (MMD) dans un Espace de Hilbert à Noyau Reproductible (RKHS) avec un noyau RBF.
- Le MMD mesure la distance entre les embeddings moyens de deux distributions. Une valeur de zéro implique que les distributions sont identiques.
- Pour établir une ligne de base, les auteurs calculent le MMD entre deux sous-échantillons disjoints du corpus humain ( $MMD_{humain-humain}$ ) afin de générer un Intervalle de Confiance (IC) à 95 %. Si la distance d'un LLM dépasse la borne supérieure de cet IC, cela indique une déviation statistiquement significative par rapport aux modèles du langage humain.

Contributions clés

Un cadre sensible au registre : Une méthode pour évaluer la ressemblance humaine basée sur la différence distributionnelle des traits linguistiques utilisant le MMD, dépassant les métriques spécifiques aux tâches.
Implémentation open-source : La mise à disposition du code, des paramètres de génération et des résultats utilisant les 67 traits de Biber.
Benchmark complet : Une analyse comparative de sept modèles à travers cinq registres, incluant une étude d'ablation sur la stabilité des prompts et les effets de la génération few-shot.

Résultats

Déviation universelle : Dans tous les configurations testées, chaque LLM a produit une distribution de traits linguistiques qui déviait significativement de la ligne de base humaine (dépassant l'IC humain-humain).
Dépendance au registre : Le classement des modèles par « ressemblance humaine » n'est pas cohérent à travers les registres. Par exemple, les modèles Qwen ont obtenu les meilleurs résultats sur la conversation orale, l'écriture créative et les actualités, tandis qu'Apertus 70B était le plus proche des lignes de base humaines pour l'écriture académique et le texte instructif.
Taille du modèle vs Performance : La ressemblance humaine n'est pas dictée par la taille du modèle. Les modèles plus petits (par exemple, Qwen 8B) ont souvent performé aussi bien ou mieux que leurs homologues plus grands (par exemple, Llama 70B) selon le registre.
Biais linguistiques spécifiques :
- Les modèles ont généralement surutilisé les propositions participiales au présent et les nominalisations par rapport aux humains.
- Les modèles ont tendance à produire des mots plus longs et à utiliser plus fréquemment des adjectifs attributifs.
- Les modèles ont montré une variabilité réduite des traits linguistiques par rapport aux humains dans quatre registres sur cinq.
Stabilité des prompts : Bien que les valeurs de distance absolue aient varié avec la formulation des prompts, le classement relatif des modèles est resté cohérent (corrélation $\ge$ 0,985).
Effets few-shot : Fournir des exemples few-shot a généralement réduit la distance par rapport à la distribution humaine, bien que l'effet ait été mineur et parfois préjudiciable (par exemple, pour Llama 8B sur la conversation orale).

Signification et affirmations
L'article affirme que la ressemblance humaine est une propriété dépendante du registre qui doit être évaluée avec une sensibilité au registre. L'agrégation des résultats à travers les registres obscurcit les différences systématiques ; un modèle classé comme « le plus humain » dans un contexte peut ne pas l'être dans un autre.

Les auteurs soutiennent que leur cadre fournit une métrique transparente et interprétable (MMD sur des traits interprétables par l'humain) qui peut être optimisée dans les travaux futurs pour améliorer la production de langage des LLM. En minimisant le MMD entre les textes générés et des échantillons représentatifs de registres, les modèles pourraient être encouragés à produire des textes linguistiquement appropriés à leur but communicatif et à éviter un « effondrement de mode » vers des distributions étroites de traits. L'étude conclut que les LLM actuels, quelle que soit leur taille ou leur architecture, échouent systématiquement à reproduire la pleine variabilité et les modèles spécifiques de co-occurrence du langage humain au sein de registres spécifiques.

1. Le Problème : La « Vallée de l'étrange » du robot

2. La Solution : Un « Détecteur de style »

3. Ce qu'ils ont découvert

4. Pourquoi cela compte (selon l'article)

Articles similaires