Résumé technique : L'auto-entraînement ne lisse pas le langage — il le restructure

Énoncé du problème

La caractérisation prédominante de l'auto-entraînement successif sur les modèles de langage (LLM) est celle d'un « lissage » ou d'un « effondrement du modèle », où la diversité diminue, les distributions se rétrécissent et le texte converge vers un attracteur de faible entropie. Parallèlement, la littérature sur les empreintes linguistiques des LLM observe que le texte généré par machine est statiquement riche en marqueurs de surface spécifiques (connecteurs discursifs, atténuateurs, tirets cadratins) par rapport aux bases humaines. Cependant, aucune de ces littératures n'a correctement décrit le mécanisme de cette dérive distributionnelle. L'explication théorique dominante attribue la dégradation à un mécanisme fondé sur la fréquence : les événements rares sont sous-échantillonnés et disparaissent. Cet article soutient que cette caractérisation est incomplète et que le phénomène est mieux décrit comme une bifurcation structurelle plutôt qu'un lissage uniforme.

Méthodologie

Les auteurs ont mené des expériences d'auto-entraînement contrôlées sur cinq modèles couvrant trois familles d'architectures (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B et OPT-1.3B).

• Protocole : Chaque modèle a subi 11 générations d'auto-entraînement pur. À partir d'un point de contrôle publié, le modèle a généré 3 000 textes (256 jetons chacun) en utilisant l'échantillonnage par noyau ($p=0.95, T=0.9$), et le corpus résultant a été utilisé pour affiner le modèle pendant un epoch. Ce cycle s'est répété sans mélange de données humaines.
• Sélection des caractéristiques : Dix-sept caractéristiques linguistiques ont été sélectionnées a priori et stratifiées par Profondeur Structurelle ($d(\phi)$), définie comme le nombre minimum de dépendances syntaxiques imbriquées nécessaires pour licencier la caractéristique dans une phrase :
  • $d=0$ (Surface/Lexicale) : Marqueurs discursifs, atténuateurs, tirets cadratins, points d'exclamation.
  • $d=1$ (Syntaxe locale) : Passé régulier ($V+ed$), conjonctions en début de phrase, coordination simple.
  • $d=2$ (Structure de la proposition) : Questions, incises, voix passive, passé irrégulier, propositions relatives/adverbiales.
  • $d=3$ (Inter-propositionnelle/Humeur) : Constructions au subjonctif.
• Analyse : Les auteurs ont suivi la fréquence relative de ces caractéristiques au fil des générations. Ils ont calculé les taux de dégradation par caractéristique ($\lambda$) via une régression OLS et testé les corrélations par rapport à la profondeur structurelle ($d$) et à la fréquence de base ($f$). Un modèle à effets mixtes a été utilisé pour tenir compte de la structure imbriquée des données ($N=85$ paires caractéristique-modèle).

Contributions clés

1. Formalisation de l'Hypothèse de Profondeur Structurelle (SDH) : L'article propose que le taux de dérive par génération d'une caractéristique linguistique est prédit principalement par sa profondeur structurelle ($d$) et secondairement par sa dépendance à la stochasticité de l'échantillonnage ($\sigma$). L'hypothèse postule une compétition entre une « pénalité de profondeur » (les structures profondes se dégradent en raison des coûts de probabilité multiplicatifs) et une « prime de dépendance à l'échantillonnage » (les marqueurs de surface s'amplifient en raison de la dynamique « les riches s'enrichissent » dans l'échantillonnage stochastique).
2. Documentation du « Paradoxe de la complexité superficielle » : Les auteurs démontrent que, bien que les proxies agrégés de « complexité » (profondeur de l'arbre de dépendance, ratio type-jeton, longueur moyenne des mots) augmentent pendant l'auto-entraînement, les caractéristiques sous-jacentes de structure propositionnelle (questions, passives, subordination) s'effondrent. Cela masque la bifurcation dans les analyses stylométriques standard.
3. Validation inter-modèles : L'étude fournit des preuves contrôlées sur cinq modèles et trois familles d'architectures, montrant que l'effet de gradient de profondeur est robuste aux différences architecturales et aux corpus d'entraînement.
4. Réfutation des explications basées uniquement sur la fréquence : Grâce à des tests statistiques directs, l'article démontre que la profondeur structurelle est un prédicteur significativement plus fort de la dégradation des caractéristiques que la fréquence de base.

Résultats clés

• Bifurcation des caractéristiques : Les marqueurs de surface ($d=0$) se sont amplifiés de manière significative (par exemple, les marqueurs discursifs ont augmenté de +126 %, les atténuateurs de +44 %), tandis que les structures syntaxiques profondes ($d \ge 2$) se sont effondrées (par exemple, les points d'interrogation ont chuté de 92 %, la voix passive de 56 %, les subjonctifs de 53 %).
• Monotonie : Le changement moyen par génération était monotone décroissant avec la profondeur structurelle :
  • $d=0$ : +24,9 %
  • $d=1$ : -10,0 %
  • $d=2$ : -47,2 %
  • $d=3$ : -52,7 %
• Significativité statistique :
  • Regroupés sur cinq modèles ($N=85$), la corrélation de Spearman entre la profondeur structurelle et le taux de dégradation était de $\rho = 0,540$ ($p < 10^{-6}$).
  • En revanche, la corrélation entre la fréquence de base et le taux de dégradation était faible et non significative dans le test regroupé ($\rho = 0,225, p = 0,039$).
  • Un modèle à effets mixtes a confirmé que le coefficient de profondeur était hautement significatif ($p < 0,001$), tandis que la fréquence ne l'était pas.
• L'« Exception qui confirme la règle » : Les points d'exclamation ($d=0$) se sont effondrés de 99,3 %. Les auteurs attribuent cela à l'équation SDH : bien qu'ils soient superficiels ($d=0$), leur taux de base sous échantillonnage par noyau était trop faible pour déclencher la boucle d'amplification « les riches s'enrichissent », provoquant leur dégradation malgré leur faible profondeur.
• Expérience témoin : Un contrôle apparié où les modèles ont été affinés sur du texte humain (OpenWebText) plutôt que sur du texte auto-généré a produit une corrélation proche de zéro ($\rho = 0,039, p = 0,88$), confirmant que le gradient de profondeur est spécifique au régime d'auto-entraînement.

Signification et revendications

L'article prétend restructurer deux littératures distinctes :

1. Effondrement du modèle : Il offre une explication structurelle plutôt que purement statistique de l'effondrement. Il soutient que l'effondrement n'est pas simplement la perte de jetons rares, mais l'érosion systématique de la machinerie syntaxique profonde, entraînée par la pénalité de probabilité multiplicative de la traversal des dépendances imbriquées dans la génération autorégressive.
2. Empreintes des LLM : Il fournit une explication mécaniste du pourquoi les marqueurs canoniques du texte machine (connecteurs discursifs, atténuateurs) sont exactement ce qu'ils sont : ce sont les survivants et amplificateurs d'un effondrement gradué par la profondeur.
3. Avertissement méthodologique : L'article soutient que le recours à des métriques d'empreintes agrégées (comme c'est la norme en stylométrie) masque systématiquement la bifurcation du langage sous l'auto-entraînement. Cela a des implications directes pour la curation des données d'entraînement (suggérant la nécessité de privilégier le texte riche en structure propositionnelle) et la détection (suggérant que les détecteurs reposant sur la complexité agrégée peuvent échouer lorsque les modèles subissent un entraînement récursif).

Les auteurs restent modestes concernant les seuils spécifiques pour les modèles plus grands (7B+), notant que leurs expériences s'étendent de 124M à 2,8B de paramètres, mais affirment que la direction et l'ordre du gradient de profondeur sont cohérents à travers les échelles testées. Ils notent également que les résultats sont actuellement limités à l'anglais et à des distributions de prompts spécifiques.