Experimental evidence of progressive ChatGPT models self-convergence

Cette étude révèle que les modèles ChatGPT récents subissent un phénomène de « convergence automatique » caractérisé par une réduction mesurable de la diversité de leurs textes générés, attribuée à l'infiltration croissante de données synthétiques dans leurs ensembles d'entraînement.

L'essentiel

Imaginez que les intelligences artificielles (comme ChatGPT) sont comme de grands chefs cuisiniers.

1. Le problème : La cuisine qui se mange elle-même

Normalement, un chef apprend à cuisiner en goûtant des milliers de plats faits par des humains (des livres, des articles, des recettes). C'est ce qu'on appelle les "données humaines".

Mais voici ce qui se passe aujourd'hui :

• De plus en plus de gens utilisent ces chefs pour écrire leurs propres recettes (des emails, des devoirs, des articles).
• Ces nouvelles recettes sont ensuite publiées sur Internet.
• Le chef, pour apprendre, va ensuite "goûter" à nouveau tout ce qui est sur Internet, y compris les recettes qu'il a lui-même aidé à écrire.

C'est comme si un chef cuisinier passait son temps à manger uniquement les plats qu'il a déjà cuisinés, au lieu d'aller au marché acheter de nouveaux légumes.

2. L'expérience : Le test de la "Paraphrase"

Les chercheurs de cette étude ont voulu voir si ce phénomène rendait les chefs "paresseux" ou "répétitifs".

Ils ont pris un texte original (un résumé d'un livre classique, écrit par un humain) et ils l'ont demandé à plusieurs versions de ChatGPT (de la version 3.5 à la toute récente 5.2) en leur disant : "Réécris ce texte avec tes propres mots" (c'est ce qu'on appelle une paraphrase).

Ils ont fait cela deux fois :

1. Mode "Robot strict" (Température 0) : Le chef doit être très précis, sans improviser.
2. Mode "Artiste créatif" (Température 1) : Le chef doit être libre, créatif, et varier son style.

Ensuite, ils ont comparé les résultats. Ils ont mesuré à quel point les nouvelles versions de ChatGPT se ressemblaient entre elles, même quand on leur demandait d'être créatifs.

3. La découverte effrayante : La "Convergence"

Les résultats montrent quelque chose de très inquiétant pour les versions récentes (ChatGPT 5) :

• Autrefois : Si vous demandiez à un chef de réécrire un texte de 10 façons différentes, vous obteniez 10 plats très différents. C'était varié.
• Aujourd'hui : Si vous demandez à la nouvelle version de ChatGPT de faire la même chose, elle produit des textes qui se ressemblent énormément. C'est comme si le chef, ayant trop mangé ses propres plats, a oublié comment varier les saveurs. Il répète toujours les mêmes phrases, les mêmes structures, même quand on lui demande de faire du "bruit" ou de l'improvisation.

Les chercheurs appellent cela la "Convergence Automatique" (ou Model Self-Convergence).

• Ce n'est pas un "effondrement" total (où le robot ne parle plus que du charabia).
• C'est une perte de diversité. Le robot devient un "miroir" qui ne fait que refléter ce qu'il a déjà vu, au lieu d'innover.

4. Pourquoi est-ce grave ?

Imaginez que vous demandez à un écrivain de vous raconter une histoire.

• Si c'est un humain, il peut raconter l'histoire de 100 façons différentes selon son humeur.
• Si c'est un ChatGPT "convergent", peu importe comment vous lui posez la question, il vous racontera toujours la même histoire, avec les mêmes mots-clés, parce que son "cerveau" est rempli de ses propres anciennes histoires.

Le danger, c'est que l'Internet se remplit de textes écrits par des IA. Si les futures IA apprennent sur ces textes, elles vont devenir de plus en plus répétitives, de moins en moins créatives, et finiront par ne plus pouvoir apprendre de nouvelles idées humaines. C'est un cercle vicieux.

En résumé

Cette étude nous dit : Attention ! Plus nous laissons les IA s'entraîner sur des données qu'elles ont elles-mêmes générées, plus elles perdent leur capacité à être surprenantes et variées. Elles commencent à se ressembler toutes, comme des clones qui répètent les mêmes phrases, même quand on leur demande d'être créatifs.

C'est comme si, en voulant devenir meilleurs, les chefs avaient oublié comment cuisiner autre chose que ce qu'ils ont déjà mangé.

Résumé technique

1. Problématique : La Convergence Automatique des Modèles (Model Self-Convergence)

L'article aborde un problème émergent lié à l'évolution des Grands Modèles de Langage (LLM), distinct du concept connu de « effondrement du modèle » (model collapse).

• Contexte : Les LLM sont traditionnellement entraînés sur des données humaines provenant d'Internet. Cependant, avec la prolifération massive des LLM, une partie croissante des données disponibles sur le web est désormais générée par l'IA (textes synthétiques).
• Le Phénomène : Les auteurs définissent la « convergence automatique des modèles » (model self-convergence) comme la tendance des versions successives d'un même LLM (ici ChatGPT) à produire des sorties textuelles de plus en plus similaires entre elles, même lorsqu'elles sont sollicitées pour générer des paraphrases variées.
• Hypothèse : Cette convergence n'est pas due à une dégradation algorithmique, mais à la contamination progressive des jeux de données d'entraînement par des données synthétiques générées par les versions précédentes du modèle. Cela réduit la diversité stochastique du modèle, le forçant à répéter des structures de texte déjà vues plutôt qu'à innover.

2. Méthodologie

Pour quantifier ce phénomène, les auteurs ont conçu une expérience rigoureuse comparant différentes versions de ChatGPT sur une période donnée.

• Données d'entrée (Corpus de référence) :

  • Utilisation de résumés de chapitres de livres littéraires provenant de deux guides d'étude humains reconnus : CliffNotes et SparkNotes.
  • Sélection de 443 chapitres dont les résumés existent dans les deux guides, assurant ainsi un corpus entièrement humain et pré-LLM (extrait de Kryciski et al., 2022).
  • Contrainte de longueur : 100 à 2 000 mots pour éviter le surajustement (overfitting) sur des textes trop courts ou trop longs.

• Protocole Expérimental :

  • Modèles testés : Sept versions de ChatGPT (de GPT-3.5 Turbo à GPT-5.2) couvrant différentes dates de coupure des connaissances (knowledge cutoff dates).
  • Génération : Pour chaque texte original, les modèles ont généré des paraphrases via l'API.
  • Paramètres de température :
    • Température 0 : Mode déterministe (répétition maximale).
    • Température 1 : Mode stochastique (maximisation de la diversité et de la créativité).
    • Note : La version GPT-5 ne permettait pas de modifier la température (fixée à 1 par défaut).
  • Prompt : Identique pour tous les modèles : « Répondez uniquement à la question, aucun contexte supplémentaire. Veuillez paraphraser le texte suivant : ».

• Métrique d'Analyse :

  • Utilisation de l'algorithme ARPaD (All Repeated Patterns Detection) pour détecter les motifs répétés.
  • Calcul du Rapport de Pourcentage de Similarité (SPR - Similarity Percentage Ratio) : Mesure le pourcentage de mots non chevauchants issus de motifs communs entre deux textes, normalisé par la longueur du texte.
  • Analyse des motifs sur des longueurs variables (de 3 à 20 mots).

3. Résultats Clés

Les résultats contredisent l'intuition selon laquelle les modèles plus récents devraient être plus diversifiés grâce à des données d'entraînement plus vastes.

• Augmentation de la Similarité (SPR) :

  • Pour la température 1 (mode stochastique), les versions récentes (série GPT-5) montrent une augmentation drastique du SPR entre les paraphrases générées.
  • Pour des motifs longs (15-20 mots), les modèles récents réutilisent les mêmes séquences de mots avec une fréquence beaucoup plus élevée que les modèles anciens (GPT-3.5/4). Le SPR peut être 20 à 30 fois plus élevé pour les modèles récents sur des motifs longs.
  • Cela indique une perte de capacité à « improviser » ou à varier le vocabulaire, même lorsque le paramètre de stochasticité est maximal.

• Convergence Température 0 vs Température 1 :

  • Historiquement, l'écart (spread) entre les résultats en température 0 (déterministe) et température 1 (stochastique) était large : les modèles anciens différenciaient clairement les deux modes.
  • Pour les modèles récents (GPT-5.1, 5.2), cet écart se réduit dangereusement. Les résultats en température 1 commencent à ressembler à ceux de la température 0, suggérant que le modèle a perdu sa capacité à générer de la vraie diversité aléatoire.

• Comparaison des Versions :

  • Les versions GPT-4o et 4.1 (même date de coupure) montrent des comportements similaires.
  • Les versions GPT-5 et 5.1, bien qu'ayant la même date de coupure, présentent des comportements différents, mais tous deux dégradés par rapport aux versions antérieures en termes de diversité textuelle.
  • La version GPT-5.2 montre une légère amélioration par rapport à la 5.1, mais reste globalement moins diversifiée que les versions antérieures (GPT-3.5/4).

4. Contributions Principales

1. Définition du concept de « Model Self-Convergence » : L'article formalise un nouveau phénomène où les LLM convergent vers des sorties identiques non pas à cause d'un entraînement récursif intentionnel (comme dans le model collapse classique), mais à cause de l'infiltration passive de données synthétiques dans l'Internet public utilisé pour l'entraînement.
2. Preuve Empirique Longitudinale : C'est la première étude à mesurer systématiquement cette dégradation de la diversité textuelle à travers plusieurs versions successives d'un même modèle commercial (ChatGPT) sur une période de temps réelle.
3. Méthodologie de Détection : L'application de l'algorithme ARPaD et du SPR pour quantifier la perte de diversité stochastique offre une nouvelle métrique technique pour évaluer la santé des LLM au-delà des simples benchmarks de précision.

5. Signification et Implications

• Menace pour l'Innovation : Si les LLM ne peuvent plus générer de textes variés et imprévisibles, leur utilité pour la créativité, la rédaction et la résolution de problèmes complexes diminue. Ils risquent de devenir des boucles de rétroaction qui répètent indéfiniment les mêmes structures de phrases.
• Contamination des Données : L'étude met en lumière le danger de l'« internet contaminé ». Plus les humains utilisent l'IA pour générer du contenu (emails, devoirs, articles), plus ce contenu devient la norme dans les données d'entraînement futures, rendant impossible la distinction entre le savoir humain authentique et le savoir synthétique.
• Obsolescence Potentielle : Les auteurs suggèrent que sans intervention (comme le nettoyage strict des données d'entraînement pour ne garder que du contenu humain pur, ou l'utilisation exclusive de données pré-LLM), les LLM pourraient devenir obsolètes, incapables d'absorber de nouvelles connaissances humaines car leur propre contenu synthétique deviendra statistiquement plus probable que le contenu humain.
• Différence avec le Model Collapse : Contrairement au model collapse où le modèle produit du « charabia » (gibberish) après plusieurs itérations d'entraînement sur ses propres sorties, la self-convergence se caractérise par des sorties qui restent grammaticalement correctes mais deviennent structurellement identiques et stériles.

En conclusion, cet article alerte sur un point de bascule critique pour l'industrie de l'IA : la qualité des modèles ne dépend plus seulement de leur architecture, mais de la pureté de leurs données d'entraînement face à l'inondation de contenu généré par l'IA elle-même.