💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Cet article présente un cadre d'évaluation novateur fondé sur des sous-séquences répétées et des entropies de Rényi pour démontrer que, contrairement au langage naturel qui présente une organisation structurelle à long terme stable, les modèles de langage de pointe affichent des déviations systématiques et dépendantes de la taille dans leurs schémas de croissance de l'entropie, révélant ainsi des écarts fondamentaux dans la manière dont ils capturent la structure statistique profonde du texte au-delà de la fluidité superficielle.

Auteurs originaux : Kumiko Tanaka-Ishii

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kumiko Tanaka-Ishii

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Fluidité vs Structure

Imaginez que vous écoutez deux personnes raconter une histoire.

Personne A parle parfaitement. Chaque phrase coule de source, la grammaire est correcte et elle ne bégaye jamais.
Personne B parle aussi parfaitement, mais elle a un secret : elle répète en fait les mêmes quelques phrases encore et encore, ou elle construit une histoire en assemblant de minuscules briques Lego préfabriquées sans jamais créer une nouvelle forme.

Pendant longtemps, nous avons pensé que les grands modèles de langage (LLM) comme GPT devenaient si bons qu'ils ressemblaient exactement à des humains. Mais ce document pose une question plus profonde : Comprennent-ils vraiment comment construire une longue histoire de l'intérieur, ou sont-ils simplement très doués pour paraître fluides à court terme ?

L'auteure, Kumiko Tanaka-Ishii, a développé une nouvelle façon d'« écouter » ces histoires, non pas en vérifiant si elles ont du sens grammaticalement, mais en observant comment elles réutilisent leurs propres mots et motifs sur de longues distances.

L'Outil : Le Détecteur d'« Écho »

Pour trouver la différence, l'auteure utilise un concept appelé Séquences Répétées.

Imaginez un texte comme un long couloir.

Langage Naturel (Humains) : Lorsqu'un humain écrit un roman, il plante des graines au début. Il introduit un personnage, un thème ou une phrase spécifique. Au fur et à mesure que l'histoire avance, il revient à ces graines, les arrose et fait pousser de nouvelles branches. L'histoire fait « écho » à elle-même. Elle réutilise d'anciennes structures pour construire un nouveau sens.
LLM (IA) : L'auteure a découvert que les modèles d'IA agissent souvent comme un disque rayé ou une salle de miroirs. Ils peuvent répéter des choses, mais ils ne semblent pas avoir ce même « écho » structurel profond où les anciennes parties de l'histoire sont activement réorganisées pour soutenir les nouvelles parties.

Le document mesure cela en comptant combien de fois de petits morceaux de texte (comme des séquences de 5 ou 10 lettres) réapparaissent plus loin dans le document.

Les Deux Types de Croissance : Le Jardin vs L'Usine

Le document compare la façon dont l'« information » croît à mesure que le texte s'allonge. Il identifie deux façons principales dont cela peut se produire :

Le Jardin à Loi de Puissance (Langage Naturel) :
Imaginez un jardin où vous continuez à planter de nouvelles fleurs uniques, mais où vous réutilisez aussi toujours le même treillis et la même clôture pour les soutenir. À mesure que le jardin grandit, la variété des fleurs augmente, mais la structure (les clôtures et les treillis) est réutilisée encore et encore.
Le document constate que l'écriture humaine se comporte ainsi. Elle suit un motif « Log-Puissance ». Cela signifie que le texte recycle constamment son propre ADN structurel. C'est efficace et profondément interconnecté.
La Ligne d'Usine (Modèles d'IA) :
Imaginez une usine qui continue de produire des articles. À mesure que l'usine tourne plus longtemps, elle fabrique des articles légèrement différents, mais elle ne semble pas avoir cette même réutilisation récursive profonde de son propre plan interne.
Le document a constaté que les modèles d'IA, en particulier les plus anciens ou plus petits, se comportent différemment. Ils montrent un motif de « Loi de Puissance » qui suggère qu'ils génèrent constamment une nouvelle complexité structurelle sans le même niveau de réutilisation profonde et efficace trouvé dans l'écriture humaine.

L'Expérience : Le Test de « Mélange »

L'auteure a testé cela sur :

Des romans écrits par des humains (provenant de Project Gutenberg).
Des histoires générées par l'IA (créées par GPT-3.5, GPT-4 et des modèles plus récents).

Ils ont égalisé les longueurs pour que la comparaison soit équitable. Ils ont ensuite effectué un « test d'écho » mathématique (utilisant quelque chose appelé Entropie de Rényi) pour voir comment le texte se réutilisait lui-même.

Les Résultats :

Humains : Peu importe la longueur du livre, le motif d'« écho » restait stable. Les humains réutilisaient constamment leurs propres motifs structurels d'une manière prévisible et efficace.
IA : Le motif de l'IA changeait en fonction de la « taille » du modèle.
- Les modèles d'IA plus petits étaient très chaotiques dans la façon dont ils réutilisaient (ou ne réutilisaient pas) la structure.
- À mesure que les modèles d'IA devenaient plus grands (comme GPT-5), ils commençaient à ressembler davantage aux humains, mais ils montraient toujours une différence systématique. Ils s'amélioraient pour imiter l'« écho », mais les mathématiques sous-jacentes de la façon dont ils construisaient leurs histoires restaient distinctes de celles d'un auteur humain.

Le Piège de la « Répétition Maximale »

Le document a également examiné la phrase répétée la plus longue dans un texte (comme trouver la phrase la plus longue qui apparaît deux fois).

Les études précédentes se concentraient sur ces répétitions « extrêmes ».
L'auteure soutient que c'est comme essayer de comprendre une forêt en regardant uniquement l'arbre le plus haut. C'est instable et trompeur.
Au lieu de cela, examiner tous les morceaux répétés (la « distribution ») donne une image beaucoup plus claire et stable de la véritable structure du texte.

La Conclusion

Ce document ne dit pas que l'IA est « mauvaise » ou qu'elle ne peut pas écrire de bonnes histoires. Il dit que les humains et l'IA construisent des histoires différemment.

Les humains écrivent en faisant constamment référence et en recombinant leurs propres mots et structures passés, créant un réseau serré et efficace de sens qui croît d'une manière mathématique spécifique (Log-Puissance).
L'IA écrit en prédisant le mot suivant, ce qui crée un type de motif de croissance différent (plus proche de la Loi de Puissance). Même les modèles d'IA les plus intelligents n'ont pas tout à fait maîtrisé l'art humain du « recyclage structurel » sur de longues distances.

L'auteure conclut que nous avons besoin de nouveaux outils pour mesurer l'IA. Nous ne pouvons pas simplement demander : « A-t-elle réussi le test ? » ou « Est-elle fluide ? ». Nous devons demander : « Construit-elle son monde comme un humain ? » Et pour l'instant, la réponse est : Pas tout à fait.

Résumé technique : Les séquences répétées révèlent des écarts entre les modèles de langage de grande taille et le langage naturel

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) démontrent une grande fluidité et cohérence dans des contextes locaux, il reste un défi ouvert de déterminer s'ils capturent l'organisation statistique à long terme du langage naturel. Les méthodes d'évaluation existantes, qui reposent fortement sur des benchmarks basés sur des tâches ou des analyses de contexte court, ne fournissent qu'une preuve indirecte concernant la structure globale du texte généré. Des travaux antérieurs ont identifié des problèmes tels que la répétition excessive et la diversité réduite dans les sorties des LLM, suggérant qu'une haute performance aux tâches ne garantit pas une structure à long terme semblable à celle de l'humain. Plus précisément, il manque des diagnostics quantitatifs capables de distinguer comment le langage naturel et les LLM réutilisent des éléments structurels établis sur de longues étendues.

Méthodologie
Les auteurs proposent un cadre d'évaluation complémentaire basé sur la distribution des sous-séquences répétées à travers différentes échelles, reliant ces statistiques aux entropies de Rényi d'ordre supérieur.

Comptage des sous-séquences répétées : La méthode définit le nombre de blocs répétés ( $D_m$ ) de longueur $m$ au sein d'une séquence de longueur $n$ . Contrairement aux analyses se concentrant sur les répétitions maximales (qui peuvent être numériquement instables), cette approche examine la distribution de toutes les sous-séquences répétées.
Entropie de Rényi d'ordre supérieur : Les auteurs relient le spectre des blocs répétés aux entropies de Rényi ( $H_\alpha$ ) d'ordre $\alpha \ge 2$ . Cela permet une caractérisation de la croissance de l'entropie sur une longueur finie. L'entropie empirique $\hat{H}_\alpha(m)$ est calculée sur la base de la fréquence des types de blocs observés.
Caractérisation fonctionnelle : L'article modélise la croissance du nombre effectif de blocs distinguables ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) en utilisant deux formes sous-linéaires :
- Ansatz de loi de puissance : $\log_2 S_m \propto m^\beta$ , associé à l'expansion des degrés de liberté structurels.
- Ansatz logarithmique-puissance : $\log_2 S_m \propto (\log_2 m)^\gamma$ , associé à une forte réutilisation structurelle où la longueur de description croît lentement par rapport à la longueur de la séquence.
Procédure d'estimation : Une estimation en deux étapes est employée pour gérer les effets de taille finie. D'abord, un terme de correction ( $\Delta_\alpha$ ) dérivé des polynômes de Touchard est estimé sur la base du rapport entre le nombre total de blocs et le nombre de blocs distincts. Ensuite, les exposants $\beta$ et $\gamma$ sont ajustés aux valeurs d'entropie empirique corrigées.

Configuration expérimentale
L'étude compare des textes en langage naturel à des textes générés par GPT à travers quatre générations de modèles : gpt-3.5turbo, gpt-4o-mini, gpt-5-mini et gpt-5.

Ensembles de données : Des textes en langage naturel ont été échantillonnés à partir de Project Gutenberg (romans) pour correspondre aux distributions de longueur des sorties GPT. Tous les textes ont été prétraités pour supprimer les métadonnées et les caractères non alphabétiques.
Contrôles : Les expériences ont été menées sur 100 textes par catégorie, avec des distributions appariées en longueur pour contrôler les effets de la longueur de la séquence. Des tests supplémentaires sur des essais et des écrits scientifiques ont confirmé que les tendances observées dans les récits étaient cohérentes à travers les genres.

Résultats clés

Adéquation du modèle : Sur l'ensemble des ensembles de données, le modèle logarithmique-puissance a généralement fourni un meilleur ajustement ( $R^2 > 0,97$ ) pour le langage naturel que le modèle de loi de puissance, en particulier pour les textes plus longs. Cela suggère que la croissance de l'entropie du langage naturel est dominée par la réutilisation structurelle plutôt que par une expansion continue de nouveaux degrés de liberté structurels.
Stabilité du langage naturel : Le langage naturel a présenté des motifs de croissance de l'entropie stables (exposants moyens $\beta$ et $\gamma$ ) à travers différents ensembles de données et longueurs de texte, malgré la variabilité entre les textes individuels. Cela indique une forme d'« universalité faible » au niveau de la population.
Déplacements systématiques chez les LLM : En revanche, les textes générés par GPT ont montré des déplacements systématiques et statistiquement significatifs des exposants estimés à mesure que la taille du modèle augmentait.
- Les modèles plus petits (par exemple gpt-3.5turbo) montraient une forte préférence pour le modèle log-puissance mais avec des caractéristiques d'exposant différentes.
- À mesure que la taille du modèle augmentait jusqu'à gpt-5, $\beta$ et $\gamma$ augmentaient de manière monotone, s'éloignant des motifs stables du langage naturel.
- Des tests statistiques (tests t de Welch à deux échantillons) ont confirmé une séparation claire entre le langage naturel et les sorties de GPT-5 ( $p \approx 0$ ).
Comparaison avec la répétition maximale : Bien que la croissance des sous-séquences répétées de manière maximale (exposant $\eta$ ) ait montré une certaine convergence entre gpt-5 et le langage naturel, la méthode proposée basée sur la distribution a révélé des différences plus prononcées et systématiques dans l'organisation à long terme.

Contributions clés

Formulation distributionnelle : L'article propose une formulation distributionnelle de la répétition qui permet une caractérisation de la croissance de l'entropie sur une longueur finie via les entropies de Rényi d'ordre supérieur, dépassant l'instabilité des statistiques de répétition maximale.
Diagnostic structurel : Il démontre des différences systématiques entre le langage naturel et le texte généré par les LLM dans le comportement de croissance de l'entropie. Plus précisément, il révèle que tandis que le langage naturel présente des motifs stables dominés par la réutilisation, les LLM présentent des déplacements systématiques dans l'organisation structurelle qui corrélatent avec la taille du modèle.

Signification et affirmations
L'article affirme que l'entropie des sous-séquences répétées sert de diagnostic structurel quantitatif capable de révéler des différences systématiques dans l'organisation à long terme qui sont invisibles pour la fluidité de surface ou les évaluations basées sur des tâches.

Les auteurs interprètent l'échelle logarithmique-puissance dans le langage naturel comme une preuve de « forte réutilisation structurelle », où les textes sont générés par la recombinaison et le ré-indexage de ressources linguistiques partagées. En revanche, les exposants changeants chez les LLM suggèrent une manifestation plus faible de cette organisation « structure-comme-référence », potentiellement due à l'objectif de prédiction du token suivant et à l'utilisation de contexte fini. Le travail établit que les LLM actuels les plus avancés, malgré leur fluidité, ne répliquent pas entièrement l'organisation statistique à long terme du langage naturel, fournissant ainsi une nouvelle métrique pour évaluer la fidélité structurelle du texte généré.