💬 NLP

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

Cette étude compare deux générations de LLMs à des textes d'actualités rédigés par des humains en utilisant le formalisme HPSG et des métriques de diversité, révélant que, tandis que l'écriture humaine reste stable, les modèles plus récents ajustés par instruction présentent une diversité syntaxique et lexicale considérablement réduite, suggérant un rétrécissement potentiel de la gamme expressive malgré une meilleure cohérence.

Auteurs originaux : Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un critique musical comparant deux groupes : The Humans (des journalistes professionnels) et The Robots (une intelligence artificielle). Vous souhaitez observer comment leur musique a évolué au fil du temps.

Ce papier est comparable à une plongée profonde dans la partition de ces deux groupes. Au lieu de simplement écouter la mélodie (les mots), les chercheurs ont examiné la grammaire (les accords et la structure) et le vocabulaire (les instruments spécifiques utilisés) pour déterminer si les robots sonnent davantage comme des humains ou s'ils deviennent quelque chose de totalement différent.

Voici la décomposition de leurs découvertes en termes simples :

1. Le Décor : Deux Époques, Deux Groupes

Les chercheurs ont comparé deux périodes distinctes :

The Humans : Ils ont analysé des articles de presse du New York Times rédigés en 2023 et 2025.
The Robots : Ils ont comparé deux générations de modèles d'IA :
- Les Anciens Robots (2023) : Il s'agissait des modèles « de base ». Imaginez-les comme des musiciens bruts, non entraînés, qui jouent simplement ce qui leur vient à l'esprit.
- Les Nouveaux Robots (2025) : Ce sont les modèles « ajustés par instruction ». Imaginez-les comme des musiciens ayant reçu un manuel de règles strict et un coach leur indiquant exactement comment se comporter, quoi dire et comment être « utiles ».

2. La Grande Découverte : « Plus Alignés, Moins Diversifiés »

La découverte principale est quelque peu surprenante. On pourrait s'attendre à ce que, à mesure que l'IA devient plus intelligente et plus « alignée » avec les instructions humaines, elle commence à ressembler davantage à un écrivain humain.

La Réalité : Les nouveaux modèles d'IA sonnent en réalité moins comme des humains et moins comme leurs propres versions antérieures.

The Humans : Les journalistes professionnels n'ont guère changé. Leur style d'écriture, la structure de leurs phrases et leurs choix de mots sont restés stables et diversifiés au cours des deux dernières années. Ils sont comme un groupe de jazz qui continue d'improviser avec de nouvelles idées.
Les Anciens Robots : Ces modèles étaient en réalité assez diversifiés. Ils utilisaient une grande variété de structures de phrases et de mots, parfois même plus variés que les humains en termes de vocabulaire.
Les Nouveaux Robots : Ces modèles sont devenus ennuyeusement cohérents. Ils ont perdu leur « saveur ».
- Diversité Syntaxique (Structure) : Ils utilisent moins de types de structures de phrases.
- Diversité Lexicale (Mots) : Ils utilisent une gamme de mots beaucoup plus restreinte. Ils évitent les noms spécifiques, les dates et les détails uniques.

3. L'Effet du « Filtre de Sécurité »

Pourquoi les robots ont-ils changé ? Le papier suggère que cela est dû à l'Ajustement par Instruction.

Imaginez que les anciens robots étaient des peintres sauvages qui lançaient de la peinture partout. Les nouveaux robots sont des peintres à qui l'on a dit : « Ne faites pas d'erreurs, ne hallucinez pas et restez sur les faits. »

Pour respecter ces règles, les nouveaux modèles d'IA ont commencé à jouer la sécurité.

Ils ont cessé d'utiliser des noms spécifiques (comme « Washington » ou « le sénateur Ben Cardin ») car ils ne voulaient pas se tromper sur les faits.
Ils ont cessé d'utiliser des structures de phrases complexes qui pourraient être risquées.
À la place, ils ont commencé à utiliser des phrases longues, sûres et répétitives, faciles à comprendre mais dépourvues de l'« étincelle » de l'écriture humaine.

4. Le Paradoxe du « Facile à Lire »

Voici un retournement étrange : les nouveaux modèles d'IA rédigent des phrases plus longues que les humains, mais ces phrases sont plus faciles à analyser pour un ordinateur.

L'Analogie : Imaginez un écrivain humain construisant un château complexe et sinueux avec des portes cachées et des passages secrets. C'est magnifique, mais difficile à cartographier.
Le nouvel IA construit un couloir très long et tout droit, sans aucune porte. Il est plus long que le château de l'humain, mais il est incroyablement facile à parcourir car il est si prévisible.

Les chercheurs ont constaté que le texte généré par les nouveaux modèles d'IA est si régulier et formulaire qu'un vérificateur grammatical informatique peut le traiter presque parfaitement (99 % de réussite), alors que l'écriture humaine est légèrement plus chaotique et plus difficile à analyser (94-95 % de réussite).

5. La Conclusion

Le papier conclut que, si les nouveaux modèles d'IA sont meilleurs pour suivre les instructions et paraître « utiles », ils ont troqué créativité et variété contre sécurité et prévisibilité.

Ils ne sont plus des écrivains « moyens » ; ils deviennent des écrivains « sûrs ». Ils ont rétréci leur champ d'expression à tel point qu'ils sont désormais moins diversifiés que les journalistes humains et que les anciens modèles d'IA, moins entraînés.

En bref : Les robots sont devenus meilleurs pour suivre les règles, mais ce faisant, ils ont oublié comment être intéressants.

Résumé technique : Plus alignés, moins diversifiés ? Analyse de la grammaire et du lexique de deux générations de modèles de langage à grande échelle

Énoncé du problème
Bien que les modèles de langage à grande échelle (LLM) soient de plus en plus comparés aux auteurs humains selon diverses dimensions linguistiques, les méthodes robustes pour quantifier ces différences restent sous-développées. Plus précisément, l'impact du réglage par instructions et de l'apprentissage par renforcement à partir de retours humains (RLHF) sur la diversité grammaticale et lexicale des sorties des modèles n'est pas bien compris. Des recherches antérieures ont établi que les modèles de base diffèrent des textes humains, mais il est incertain comment les générations plus récentes, réglées par instructions, se comparent à la fois aux humains et à leurs propres prédécesseurs. Cette étude comble cette lacune en examinant si les LLM plus récents, conçus pour une meilleure alignement et cohérence, ont sacrifié la variété syntaxique et lexicale.

Méthodologie
Les auteurs emploient un cadre linguistique formel plutôt que des métriques standard basées sur des tâches de traitement automatique du langage naturel (TALN) afin d'assurer robustesse et généralisabilité.

Cadre : L'étude utilise la grammaire de structure de phrases dirigée par tête (HPSG) et la grammaire de ressources anglaise (ERG). Contrairement aux analyseurs statistiques ou aux dépendances universelles, l'ERG est un analyseur de diagrammes déterministe et exhaustif conçu pour fournir une structure à toutes les phrases anglaises bien formées, permettant ainsi l'analyse de phénomènes linguistiques rares et de la parsabilité.
Ensembles de données :
- Texte humain : Paragraphes d'introduction du New York Times (NYT) provenant de deux périodes distinctes : 2023 (utilisés dans des travaux antérieurs) et 2025 (nouvellement collectés).
- Texte LLM : Deux générations de modèles ont été comparées :
  - Génération plus ancienne (avant 2023) : Modèles de base (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B) entraînés avant octobre 2023.
  - Génération plus récente (2024) : Modèles réglés par instructions (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3) entraînés jusqu'en 2024.
- Protocole de génération : Pour les données humaines de 2025, les LLM ont été sollicités avec des titres du NYT et les trois premiers mots du paragraphe d'introduction pour générer des introductions synthétiques. Les modèles réglés par instructions nécessitaient des invites système/utilisateur explicites pour simuler la tâche de complétion.
Métriques : La diversité a été quantifiée à l'aide d'indices écologiques et de la théorie de l'information :
- Indice de Shannon-Wiener ( $H'$ ) : Mesure la richesse et l'équitabilité de la distribution.
- Indice de Simpson ( $D$ ) : Mesure la probabilité que deux tokens sélectionnés au hasard appartiennent à des catégories différentes.
- Ces métriques ont été appliquées aux types syntaxiques (configurations de structure de phrases) et aux types lexicaux (représentations HPSG complexes des contraintes des mots, distinctes du vocabulaire de surface).

Contributions clés

Comparaison diachronique : Contrairement aux travaux antérieurs comparant une seule génération de LLM aux humains, cette étude oppose directement deux générations de LLM (modèles de base vs modèles réglés par instructions) à deux échantillons temporels d'écriture humaine.
Analyse linguistique formelle : L'utilisation de HPSG/ERG fournit une méthode ancrée dans la linguistique et indépendante de la théorie pour analyser la syntaxe et le lexique, évitant les biais inhérents aux performances des tâches de TALN ou au marquage grossier des parties du discours.
Application des métriques de diversité : L'application des indices de Shannon et de Simpson aux structures grammaticales offre un moyen systématique de suivre les changements stylistiques à travers les générations de modèles.

Résultats

Stabilité humaine : Les textes d'actualités en anglais de 2023 et 2025 ont montré une stabilité remarquable dans les deux métriques de diversité syntaxique et lexicale, indiquant un équilibre constant de la variété dans le journalisme professionnel.
Divergence des LLM :
- Diversité syntaxique : Les modèles réglés par instructions plus récents (2025) ont affiché une diversité syntaxique significativement réduite par rapport aux modèles de base plus anciens (2023). Alors que les modèles plus anciens étaient plus proches de la diversité humaine, les modèles plus récents privilégiaient des constructions impliquant la modification et la coordination (par exemple, des groupes nominaux avec modificateurs) tout en évitant des détails spécifiques comme les noms et les dates.
- Diversité lexicale : Le déclin était encore plus prononcé dans la diversité lexicale. De manière surprenante, les LLM plus anciens (2023) présentaient la diversité lexicale la plus élevée, surpassant à la fois le texte humain et les modèles plus récents. Les modèles plus récents (2025) montraient la variété lexicale la plus faible, s'appuyant sur des types lexicaux « basiques » (adjectifs, noms communs, verbes transitifs) et évitant les référents spécifiques.
- Ponctuation : Les modèles plus récents utilisaient la ponctuation avec une diversité significativement moindre, générant moins de tirets cadratins, de points-virgules et de guillemets que les auteurs humains et les modèles plus anciens.
Parsabilité et longueur :
- Les modèles plus récents ont généré des phrases plus longues (15 à 30 % plus longues que le texte humain) par rapport aux modèles plus anciens (qui étaient plus courts que le texte humain).
- Malgré cette longueur accrue, les sorties des LLM plus récents étaient plus faciles à analyser (atteignant un taux de réussite proche de 99 %) et nécessitaient moins de ressources informatiques que le texte humain ou les sorties des LLM plus anciens. Cela suggère que les modèles plus récents produisent des phrases structurellement régulières et rationalisées qui s'alignent sur les parties les plus prévisibles de la grammaire, tandis que le texte humain déclenche des phénomènes plus complexes et moins prévisibles.

Signification et affirmations
L'article affirme que, bien que le réglage par instructions améliore la cohérence et l'adhésion aux invites, il a pour effet secondaire de rétrécir la gamme expressive de la sortie du modèle. Les résultats suggèrent un compromis où les paradigmes d'alignement sacrifient la variété lexicale et syntaxique au profit du contrôle stylistique et de la sécurité factuelle (attesté par l'évitement de noms ou de dates spécifiques et la réduction des structures propices aux hallucinations).

Les auteurs concluent que les modèles plus grands et plus récents ne convergent pas vers le comportement linguistique humain dans l'écriture d'actualités professionnelles ; au contraire, ils divergent, devenant plus formulaires et moins diversifiés que les humains et les modèles de base antérieurs. Cela souligne la nécessité de futures recherches sur la manière dont le réglage par instructions affecte les capacités linguistiques et si ces capacités peuvent être restaurées sans compromettre l'alignement. L'étude est modestement circonscrite au texte d'actualités en anglais, notant que la méthodologie est largement applicable mais actuellement limitée par la disponibilité de grammaires HPSG à large couverture pour d'autres langues.