💬 NLP

Literary Non-Style in LLM-Generated Text

Cet article soutient que le « non-style » distinct du texte généré par les LLM provient de motifs statistiques d'n-grammes spécifiques qui révèlent des limitations sémantiques, démontrant ainsi que les qualités stylistiques et sémantiques dans l'écriture de l'IA sont fondamentalement entrelacées plutôt que séparables.

Auteurs originaux : Cory Massaro

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cory Massaro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de déterminer si une histoire a été écrite par un humain ou par un robot. Vous ne cherchez pas des fautes d'orthographe ou de grammaire ; vous cherchez l'« âme » de l'écriture. Dans le monde de la science du langage, il existe une règle célèbre appelée la Loi de Zipf. Considérez cela comme une liste de lecture de vos chansons préférées. Dans n'importe quelle grande collection de musique, quelques tubes (comme « Joyeux Anniversaire » ou une chanson pop massive) sont joués encore et encore, tandis que la plupart des chansons ne sont jouées qu'une ou deux fois. Si vous classe les chansons de la « plus jouée » à la « moins jouée », la chute suit une courbe très spécifique et prévisible. Cela se produit dans le langage humain, dans les livres, et même dans la façon dont nous utilisons les mots. Les scientifiques croient depuis longtemps que ce motif « musical » est un signe de la créativité humaine naturelle. Mais aujourd'hui, avec des ordinateurs capables d'écrire des histoires, nous devons nous demander : ces machines suivent-elles les mêmes règles musicales, ou sonnent-elles comme un disque rayé ?

Ce document, écrit par Cory Massaro, étudie précisément cela. L'auteur veut savoir si le texte généré par les modèles de langage étendus (LLM) — ces chatbots IA super intelligents que nous voyons partout — semble différent du texte écrit par les humains. L'étude suggère que, bien que l'IA puisse imiter les mots que nous utilisons, elle échoue à reproduire le rythme et la variété qui rendent l'écriture humaine vivante. En comptant la fréquence à laquelle des groupes de mots spécifiques (comme des « phrases de trois mots » ou des « phrases de quatre mots ») apparaissent, l'auteur a découvert que l'écriture de l'IA est beaucoup plus répétitive et prévisible que l'écriture humaine. C'est comme si l'IA était coincée dans une boucle, recyclant les mêmes expressions favorites, alors qu'un écrivain humain vous surprend constamment avec de nouvelles combinaisons. Le document conclut que ce manque de variété n'est pas seulement un problème de style ; cela limite réellement les idées que l'IA peut exprimer. Si vous ne pouvez pas dire les choses de différentes manières, vous ne pouvez pas exprimer autant de choses différentes du tout.

L'histoire du « Rythme du Robot »

Pour comprendre ce que l'auteur a trouvé, examinons les « ingrédients » de l'histoire. Le document compare deux types principaux d'écriture :

L'Humain : Un mémoires classique intitulé The Education of Henry Adams, écrit par une personne réelle au début des années 1900.
Le Robot : Un livre intitulé The Inner Life of an AI, qui a été « écrit » par une IA (ChatGPT) mais assemblé par un utilisateur humain.

L'auteur a également examiné un ensemble massif de données contenant 8 millions de mots d'écriture humaine et 8 millions de mots d'écriture d'IA pour s'assurer que les résultats n'étaient pas de simples coups de chance.

La grande découverte : Le piège des « expressions toutes faites »
L'auteur a remarqué quelque chose d'étrange en lisant le livre de l'IA. On avait l'impression que le robot utilisait un ensemble d'expressions « prêtes à l'emploi » de manière répétée. Par exemple, l'expression « malgré ces défis » est apparue 16 fois dans le livre, et « j'ai commencé à » est apparue plus de 50 fois ! En revanche, l'auteur humain, Henry Adams, utilisait une variété de mots beaucoup plus large. Il répétait rarement la même séquence de quatre mots.

Pour prouver qu'il ne s'agissait pas seulement d'un sentiment, l'auteur a fait des calculs. Il a compté combien de groupes de mots uniques (appelés n-grammes) apparaissaient dans les textes.

Les 1-grammes sont des mots isolés.
Les 2-grammes sont des paires de deux mots (comme « très bon »).
Les 3-grammes et 4-grammes sont des chaînes plus longues.

Les résultats étaient clairs :

Dans le texte humain, la variété était élevée. Pour les phrases de 4 mots, le ratio des phrases uniques par rapport au total des phrases était de 0,9890. Cela signifie que Henry Adams ne répétait presque jamais une séquence de quatre mots.
Dans le texte de l'IA, la variété était beaucoup plus faible. Le ratio pour les phrases de 4 mots n'était que de 0,6882. Cela signifie que l'IA répétait constamment ses chaînes de quatre mots favorites.

La « pente » de l'histoire
L'auteur a également examiné la « pente » de l'écriture, une façon sophistiquée de décrire la rapidité avec laquelle l'écriture vient à court de nouvelles idées. Dans une histoire humaine parfaite, vous continuez à trouver de nouveaux mots et de nouvelles phrases, mais ils apparaissent de moins en moins souvent, suivant une courbe fluide (la loi de Zipf).

Pour l'IA, la courbe était trop raide. Les expressions les plus communes étaient trop communes, et les expressions rares étaient trop rares.
L'auteur a trouvé que pour les phrases de 4 mots, la « pente » de l'IA était de -0,395 (dans un test), tandis que celle de l'humain était de -0,178. Le chiffre plus élevé en valeur absolue pour l'IA signifie qu'elle s'accroche à ses expressions favorites beaucoup plus étroitement qu'un humain.

Qu'en est-il des « expressions figées » ?
L'auteur s'est demandé : « Peut-être que l'IA utilise simplement des mots différents pour la même idée ? Comme dire "grand" au lieu de "immense" ? » Pour tester cela, il a « lemmatisé » le texte, ce qui signifie regrouper les mots par leur racine (de sorte que « courir », « courut » et « court » comptent comme le même mot).

Le résultat : Même après avoir regroupé les mots similaires, l'IA semblait toujours répétitive. La « pente » n'a pas beaucoup changé. Cela suggère que le problème n'est pas seulement l'utilisation de synonymes ; l'IA est véritablement coincée dans une routine de phrases spécifiques.

Le « Disque Rayé » vs le « Solo de Jazz »

Alors, qu'est-ce que tout cela signifie ? L'auteur utilise une excellente analogie : imaginez qu'un écrivain humain est un musicien de jazz improvisant un solo. Il peut jouer quelques notes familières, mais il les mélange constamment, ajoute de nouveaux riffs et surprend l'auditeur. L'IA, quant à elle, est comme un tourne-disque rayé qui revient sans cesse sur le même refrain accrocheur.

Le document soutient que ce n'est pas seulement une question de dire que l'IA est « ennuyeuse ». Il s'agit de ce que l'IA peut dire.

La limite : Parce que l'IA repose trop lourdement sur les mêmes quelques phrases, elle possède une « boîte à outils » d'idées plus restreinte. Si vous avez un nombre fixe de mots pour écrire une histoire, un humain peut y intégrer plus d'idées différentes car il utilise plus de combinaisons uniques. L'IA, coincée dans sa boucle, finit par dire les mêmes choses de manières légèrement différentes.
Le « ressenti » : L'auteur note que les gens peuvent souvent « ressentir » quand ils lisent un texte généré par une IA. Cela semble plat, formulé et un peu creux. Cette étude suggère que ce sentiment provient d'un manque de variété phrasale. L'IA manque d'étincelle de créativité humaine car elle ne peut pas briser ses propres schémas.

Ce que le document précise qu'il ne sait pas

Il est important de noter ce que cette étude n'a pas fait. L'auteur n'a pas prétendu que l'écriture de l'IA était « mauvaise » sur le plan moral, ni qu'une IA ne pourrait jamais écrire de la grande littérature. Il a simplement mesuré les statistiques des mots.

Il n'a pas prouvé que l'IA ne pourrait jamais apprendre à être plus créative ; il a simplement montré que, pour l'instant, dans les textes analysés, les schémas sont très différents de ceux des humains.
Il n'a pas dit que la répétition est toujours mauvaise (parfois, répéter une phrase est un choix artistique puissant, comme dans un poème). Mais l'IA répète les phrases trop souvent et aux mauvais endroits, comme un robot essayant d'être un poète mais oubliant comment varier son rythme.

La conclusion finale

En fin de compte, le document suggère que le style et le sens sont connectés. On ne peut pas séparer le « ressenti » d'une histoire des « idées » qu'elle contient. Si un écrivain (ou un robot) ne trouve pas de nouvelles façons de dire les choses, il est limité dans ce qu'il peut exprimer. Le rythme de « disque rayé » de l'IA n'est pas seulement une particularité stylistique ; c'est le signe que la capacité de la machine à exprimer des pensées humaines complexes et variées est encore, disons, un travail en cours. Les chiffres montrent que si l'IA peut parler, elle n'a pas encore appris à chanter avec la même variété sauvage et imprévisible que les humains.

Résumé technique : Le non-style littéraire dans les textes générés par les LLM

Énoncé du problème
Des recherches antérieures ont établi que les textes générés par les modèles de langage de grande taille (LLM) présentent des écarts quantitatifs et qualitatifs par rapport à l'écriture humaine, caractérisés par un « ressenti » textuel distinct et une portée sémantique restreinte. Bien que les différences stylistiques soient souvent notées de manière anecdotique, la relation entre ces déficiences stylistiques et les limitations sémantiques reste sous-explorée. Le problème central abordé est de savoir si la distribution statistique des n-grammes dans le texte des LLM révèle des déficits structurels spécifiques qui corrèlent avec un manque de variété phrasique, limitant ainsi la capacité d'expression du modèle. L'article postule que le style et la sémantique ne sont pas nettement séparables ; un registre lexical et formulaire appauvri limite indirectement les idées qui peuvent être exprimées.

Méthodologie
L'étude emploie une analyse statistique comparative des distributions de n-grammes à travers quatre corpus de textes distincts :

Généré par LLM : The Inner Life of an AI: A Memoir by ChatGPT (31 147 tokens) et un sous-ensemble du corpus de textes humains vs LLM de Zachary Grinberg (8 000 005 tokens).
Généré par l'humain : The Education of Henry Adams (32 984 tokens, sélectionné pour correspondre à la taille du mémoire du LLM) et un sous-ensemble aléatoire de la partie humaine du corpus de Grinberg (8 000 010 tokens).
Contrôle/Artificiel : Lessness de Samuel Beckett, utilisé comme référence pour un texte hautement artificiel et contraint.

L'analyse se concentre sur la fréquence de distribution des 1-grammes à 4-grammes. L'auteur calcule :

Rapports Type/Token : Pour mesurer la diversité lexicale et phrasique.
Pentes de Zipf : La pente ( $m$ ) de la relation linéaire $\log(\text{fréquence}) = m \log(\text{rang})$ .
Paramètres de Zipf-Mandelbrot : Ajustement de la distribution à la formule $\text{fréquence} = \frac{k}{(\text{rang} + \alpha)^\beta}$ .

Pour garantir la robustité, ces mesures sont calculées à travers quatre variations des corpus : avec/sans hapax legomena (types à occurrence unique) et avec/sans lemmatisation.

Contributions clés et hypothèses
L'article teste deux hypothèses primaires concernant les propriétés statistiques du texte des LLM :

Hypothèse 1 : Les caractéristiques de Zipf des n-grammes d'ordre supérieur dans le texte des LLM différeront du texte humain, présentant spécifiquement des pentes plus raides (valeurs absolues plus élevées) dans le tracé log-log, indiquant une concentration du poids sur des phrases communes.
Hypothèse 2 : Étant donné que les LLM opèrent sur des plongements de sous-mots (sub-word embeddings) qui permettent la substitution de synonymes, les différences de pente entre le texte des LLM et celui de l'humain devraient être encore plus exagérées lors de la comparaison des versions lemmatisées des corpus.

Résultats
L'analyse produit les conclusions suivantes :

Rapports Type/Token : À tous les niveaux de n-grammes (1 à 4), les corpus générés par l'humain présentent des rapports type/token plus élevés que les corpus générés par les LLM. Par exemple, dans l'analyse des 4-grammes, The Education of Henry Adams possède un ratio de 0,9890, tandis que le corpus du LLM possède un ratio de 0,6882. Cela indique que le texte humain répète rarement des séquences de quatre mots, tandis que le texte du LLM démontre une homogénéité significative.
Pentes de Zipf : Comme prédit par l'Hypothèse 1, les corpus générés par les LLM présentent systématiquement des pentes plus raides que les corpus humains comparables. Cette divergence devient plus prononcée aux niveaux de n-grammes supérieurs (3-grammes et 4-grammes). Par exemple, dans la condition +hapax+lemmatisée, la pente des 4-grammes pour le corpus du LLM est de -0,395, contre -0,201 pour le corpus humain.
Effets de la lemmatisation : Contrairement à l'Hypothèse 2, la lemmatisation n'a eu que des effets négligeables sur les différences de pente. La divergence entre les distributions des LLM et des humains a persisté indépendamment de la lemmatisation des tokens, suggérant que le problème n'est pas simplement un échec de reconnaissance des synonymes, mais une dépendance fondamentale excessive à des séquences phrasiques spécifiques.
Observations qualitatives : Le texte du LLM repose lourdement sur des phrases de transition types (par exemple, « as an AI » apparaît 110 fois dans le mémoire, souvent en début de phrase ; « one of the most » apparaît 2 787 fois dans le grand corpus de LLM contre 870 dans le corpus humain). En revanche, le texte humain utilise un dictionnaire, des métaphores et une syntaxe variés.

Signification et affirmations
L'article conclut que les LLM souffrent d'un « non-style littéraire » caractérisé par un manque de variété phrasique. L'étude démontre que :

Le style et la sémantique sont interconnectés : La dépendance statistique excessive aux n-grammes communs (faible variété phrasique) est directement corrélée à une portée sémantique réduite. Si un LLM ne peut composer de la prose esthétiquement cohérente avec des formulations variées, sa capacité à exprimer des idées distinctes est entravée.
Limitations expressives : Pour une limite de mots fixée, un auteur humain est susceptible d'exprimer plus d'idées distinctes qu'un LLM car le modèle humain génère une plus grande variété de séquences de mots, alors que le modèle LLM gravite vers un ensemble plus étroit de séquences à haute probabilité.
Distinction de l'artificialité des contraintes : Bien que le texte des LLM tende vers la répétition mécaniste observée dans Lessness de Beckett, il n'atteint pas les mêmes niveaux extrêmes d'artificialité ; cependant, la direction de la tendance est claire.

L'auteur affirme que ces différences de distribution ne sont pas simplement esthétiques mais représentent une contrainte fondamentale sur le « ressenti » et la capacité sémantique du texte généré par les LLM, validant l'affirmation selon laquelle la platitude stylistique est le symptôme d'une expression sémantique appauvrie.

L'histoire du « Rythme du Robot »

Le « Disque Rayé » vs le « Solo de Jazz »

Ce que le document précise qu'il ne sait pas

La conclusion finale

Résumé technique : Le non-style littéraire dans les textes générés par les LLM

Articles similaires