Drift and selection in LLM text ecosystems

Cet article propose un cadre mathématique exact pour analyser comment la boucle de rétroaction entre la génération et l'apprentissage du texte par les IA, sous l'effet combiné de la dérive et de la sélection, peut soit appauvrir le corpus public vers un état superficiel, soit préserver des structures complexes selon les critères de publication.

L'essentiel

Imaginez que l'intelligence artificielle (IA) et les humains écrivent ensemble un immense livre, appelé « l'Internet ». Ce livre est si grand qu'il sert de manuel d'apprentissage pour les nouvelles générations d'IA.

Le problème, c'est que ce livre change tout le temps. Les IA écrivent des pages, les humains les publient, et ensuite, les nouvelles IA apprennent à écrire en lisant ce qui a été publié. C'est une boucle infinie.

Cet article de Søren Riis explique ce qui se passe dans cette boucle avec deux forces principales : la dérive (le hasard) et la sélection (le filtre).

Voici une explication simple, avec des images pour mieux comprendre.

1. La Dérive : Le « Bruit de fond » qui efface les détails

Imaginez que vous avez un grand sac de billes de toutes les couleurs (c'est notre texte actuel). Vous voulez en faire une nouvelle copie pour l'année prochaine. Vous prenez un échantillon de billes au hasard pour faire cette copie.

• Ce qui se passe : Si vous avez une bille rouge très rare (un mot bizarre ou une phrase originale), il y a de fortes chances qu'elle ne soit pas tirée dans votre échantillon. Elle disparaît.
• L'analogie : C'est comme si vous essayiez de copier un dessin complexe en regardant seulement quelques pixels au hasard. À force de copier sur copie, les détails fins disparaissent. Les mots rares s'éteignent, et le texte devient de plus en plus « moyen », de plus en plus générique.
• Le résultat : Sans intervention, le texte public devient superficiel. Il perd sa richesse, ses nuances et ses structures complexes. C'est ce qu'on appelle la « dérive ».

2. La Sélection : Le Filtre du Chef d'Orchestre

Maintenant, imaginons qu'avant de publier le nouveau livre, un éditeur (ou un algorithme) le relise.

• Cas A : La Sélection « Descriptive » (Le miroir)
  L'éditeur dit : « Publiez tout ce qui ressemble à ce qu'on a déjà vu. »

  • Résultat : C'est comme regarder dans un miroir déformant. On ne fait que répéter ce qui est déjà là. Le texte devient encore plus plat et prévisible. L'IA n'apprend plus rien de nouveau, elle tourne en rond. C'est une impasse.

• Cas B : La Sélection « Normative » (Le juge exigeant)
  L'éditeur dit : « Publiez seulement ce qui est correct, créatif ou utile. Si une phrase est logique mais ennuyeuse, on la rejette. Si elle est brillante, on la garde. »

  • L'analogie : C'est comme un entraînement de sport. Si vous ne courez que sur du plat, vous ne devenez pas un bon athlète. Mais si vous vous entraînez avec des obstacles (vérification, logique, créativité), vous gardez votre forme.
  • Résultat : Même si le texte est filtré, il conserve sa profondeur. Les structures complexes survivent parce qu'elles sont « validées » par le filtre. L'IA continue d'apprendre des choses subtiles.

3. La Leçon pour l'Avenir

L'auteur nous dit que le futur de l'IA dépend de comment nous filtrons les textes.

• Si nous laissons les IA s'entraîner uniquement sur ce qu'elles ont produites elles-mêmes, sans vérification stricte, nous risquons un effondrement : le texte deviendra un bruit blanc, répétitif et vide de sens.
• Mais si nous utilisons des filtres intelligents (comme vérifier les faits, exiger de la logique ou récompenser la nouveauté), nous pouvons maintenir un environnement riche.

En résumé :
L'IA est comme un écho dans une grotte.

• Si vous laissez l'écho rebondir sans contrôle (dérive), le son devient un bourdonnement informe.
• Si vous avez un gardien qui ne laisse passer que les chants clairs et justes (sélection normative), la musique reste belle et complexe.

Cet article nous donne les outils mathématiques pour comprendre exactement comment éviter que notre « bibliothèque numérique » ne se transforme en un mur de bruit, et comment la garder vivante et intelligente.

Résumé technique

1. Problématique

L'article aborde le phénomène de boucle de rétroaction dans les écosystèmes de texte public : les modèles de langage (LLM) génèrent du texte qui est publié, filtré par des humains ou des algorithmes, puis intégré dans les corpus d'entraînement des générations futures de modèles.
Le problème central est de comprendre comment cette récursivité affecte la structure du texte public. Les travaux antérieurs ont montré que l'utilisation répétée de données synthétiques peut entraîner un effondrement du modèle (model collapse), une perte de diversité ou la disparition des formes rares. Cependant, il manquait un cadre théorique unifié capable de séparer les effets de la dérive neutre (réutilisation sans filtre) de ceux de la sélection (publication basée sur des critères de qualité, de vérification ou de nouveauté).

2. Méthodologie

L'auteur développe un cadre mathématique exactement soluble basé sur des agents n-grammes à ordre variable. Ce choix méthodologique permet d'éviter les approximations des modèles neuronaux complexes pour obtenir des résultats analytiques rigoureux sur la dynamique des distributions.

• Modélisation du processus : Le système est modélisé comme une boucle récursive où un corpus est utilisé pour ajuster un modèle n-gramme, qui génère ensuite un nouveau texte. Ce nouveau texte remplace une fraction $\alpha$ du corpus original.
• Deux forces distinctes :
  1. La Dérive (Drift) : Résulte de la réutilisation finie de corpus sans filtre de qualité. Elle est analogue à la dérive génétique neutre (modèle de Wright-Fisher) en biologie des populations.
  2. La Sélection : Résulte de règles de publication, de classement ou de vérification qui filtrent ce qui entre dans le corpus public. L'auteur distingue deux types de publication :
     • Descriptive : Le texte publié reflète simplement le statut statistique actuel (pas de critère de qualité externe).
     • Normative : Le texte est filtré selon des critères de qualité, de correction ou de nouveauté (ex: vérification de code, preuves mathématiques).
• Outils théoriques : Utilisation de la théorie des graphes (graphes de De Bruijn), de la théorie des probabilités (martingales, processus de Wright-Fisher) et de la théorie de l'information (divergence KL, entropie).

3. Contributions Clés et Résultats

A. La Dérive Neutre et la Disparition des Formes Rares

• Théorème 1 (Dérive) : Dans un cadre sans lissage (unsmoothed), la réutilisation finie d'un corpus entraîne inévitablement la disparition des formes rares (mots ou phrases peu fréquentes).
  • Le processus suit une martingale : l'espérance de fréquence d'un mot reste constante, mais la variance accumulée par l'échantillonnage fin conduit à l'extinction ou à la fixation des formes.
  • Résultat : Dans la limite d'un corpus infini, l'ensemble des points fixes des distributions n-grammes forme un polytope convexe. Les points extrêmes de ce polytope correspondent aux distributions uniformes sur des cycles simples dans le graphe de De Bruijn.
  • Conséquence : Sans sélection, le texte tend vers des états « plats » (shallow) où la structure profonde est perdue au profit de cycles périodiques simples.

B. Sélection et Publication Normative

• Théorème 2 (Points fixes sous sélection) : L'auteur analyse l'impact de la publication sur la profondeur structurelle du texte.
  • Publication Descriptive : Si les agents publient ce qu'ils génèrent sans critère de qualité, le corpus converge vers une distribution n-plate (n-shallow). Cela signifie que la distribution des blocs de texte de longueur $r$ peut être entièrement reconstruite à partir d'une fenêtre de contexte de taille $n$. La « profondeur » (la capacité à prédire au-delà de $n$) s'effondre, rendant la « lookahead » (regard en avant) inutile.
  • Publication Normative : Si la publication est guidée par des critères normatifs (vérification, qualité), le corpus peut converger vers un point fixe non n-plate. La structure profonde est préservée car le filtre rejette les continuations qui ne satisfont pas le critère, même si elles sont statistiquement probables à court terme.
  • Bornes : La divergence de Kullback-Leibler (KL) entre la distribution du corpus et celle générée par un modèle n-gramme simple est strictement positive sous sélection normative. L'auteur établit une borne supérieure optimale pour cette divergence : $L \log_2 s$ bits, où $L$ est la profondeur cachée et $s$ la taille de l'alphabet.

C. Héritage et Apprentissage

• Théorème 3 (Héritage de l'entropie croisée) : Les apprenants ultérieurs (nouveaux LLM) entraînés sur ce corpus filtré héritent de la conditionnelle publique (la distribution des prochains tokens) résultant de la dynamique de sélection.
  • Peu importe l'architecture du modèle (n-gramme ou transformeur), l'optimisation par minimisation de l'entropie croisée converge vers la conditionnelle publique $q$.
  • Si le corpus a été appauvri par la dérive descriptive, le modèle apprendra une structure plate. Si le corpus a été enrichi par la sélection normative, le modèle pourra apprendre des structures complexes.

D. Illustrations Expérimentales

Des expériences exactes sur des corpus littéraires (Conan Doyle, Austen, Darwin) et des données synthétiques confirment les théorèmes :

• La dérivation neutre réduit rapidement la rétention du vocabulaire et des trigrammes (structures d'ordre supérieur).
• La publication descriptive fait chuter la divergence KL vers zéro (effondrement de la structure).
• La publication normative maintient une divergence KL stable et positive, prouvant la persistance de la structure profonde.

4. Signification et Implications

1. Compréhension de l'Effondrement des Modèles : L'article fournit une explication mécaniste précise de l'effondrement (model collapse). Il montre que ce n'est pas une fatalité inévitable, mais le résultat d'une publication descriptive (réutilisation sans filtre) qui érode la variance et la structure.
2. Importance du Filtrage Normatif : Pour éviter la dégradation des données d'entraînement futures, il est crucial d'intégrer des mécanismes de sélection normative (vérification, correction, évaluation de la qualité) dans le cycle de publication. Ces mécanismes agissent comme un garde-fou qui préserve la diversité et la complexité structurelle du texte.
3. Conception des Corpus d'Entraînement : Les résultats suggèrent que la composition des futurs corpus d'entraînement pour les LLM ne doit pas être passive. La manière dont le texte est filtré et sélectionné avant d'être réintégré dans le cycle détermine la richesse des modèles futurs.
4. Généralité du Cadre : Bien que le modèle utilise des n-grammes pour la solvabilité exacte, les auteurs argumentent que les forces de dérive et de sélection sont structurelles et s'appliquent également aux architectures neuronales modernes (Transformers), qui agissent comme des approximations de ces dynamiques de distribution.

En résumé, ce papier établit une théorie mathématique rigoureuse démontrant que la sélection est le seul mécanisme capable de maintenir la richesse structurelle dans un écosystème de texte généré par l'IA, tandis que la simple réutilisation (dérive) conduit inévitablement à un appauvrissement et à une perte de complexité.