RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
Cet article démontre que les grands modèles de langage (LLM) subissent un « effondrement du RAG », un phénomène où leurs réponses se dégradent et perdent en diversité lorsqu'ils récupèrent et s'appuient sur leur propre contenu précédemment généré, les expériences montrant que 79,6 % de ces simulations se terminent par un effondrement dû à un biais de autocitation disproportionné.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'internet a longtemps été une vaste bibliothèque de la pensée humaine, où des millions de voix contribuent à une tapisserie d'informations chaotique mais riche. Ces dernières années, un nouveau type de voix s'est joint au chœur : l'intelligence artificielle. Les grands modèles de langage, les moteurs derrière les chatbots modernes, sont entraînés sur cette bibliothèque numérique et peuvent désormais générer du texte qui imite l'écriture humaine. Ces systèmes sont également de plus en plus utilisés pour rédiger les articles, les critiques et les listes qui peuplent le web. Cela crée une situation unique où les outils que nous utilisons pour trouver des informations commencent à lire les choses mêmes qu'ils ont aidé à créer. Des scientifiques ont précédemment observé que si un modèle est entraîné de manière répétée sur sa propre production, il peut entrer dans un état d'« effondrement du modèle » (model collapse), où ses réponses deviennent répétitives et perdent la richesse des données originales. Mais une nouvelle étude pose une question plus immédiate : que se passe-t-il lorsque ces systèmes utilisent leurs outils de recherche pour trouver des réponses, et que ces résultats de recherche s'avèrent être des articles qu'ils ont eux-mêmes écrits ?
Des chercheurs de Graphite Growth se sont donné pour mission de tester ce scénario à travers une série de simulations informatiques approfondies. Ils ont traité l'internet comme un écosystème vivant où le contenu généré par l'IA est constamment publié puis immédiatement récupéré par le même type d'IA qui l'a écrit. Pour ce faire, ils ont pris plus de mille questions différentes, allant de « Qui sont les meilleurs streamers Twitch ? » à « Comment puis-je améliorer mon image de marque personnelle ? ». Ils ont commencé par rassembler de vrais résultats de recherche pour ces questions, qui servaient de pool d'informations initial. Ensuite, ils ont demandé à une IA de répondre aux questions en se basant sur ces résultats. Puis, ils ont pris ces réponses d'IA, les ont développées en articles complets et les ont réintégrées dans le pool de résultats de recherche disponibles, remplaçant ainsi les sources originales écrites par des humains. Ils ont répété ce processus encore et encore, simulant un cycle où l'IA lit son propre travail précédent pour générer de nouvelles réponses.
Les résultats étaient frappants et préoccupants. Dans près de quatre-vingts pour cent des simulations, le système s'est effondré dans un état d'uniformité extrême. Au lieu d'offrir une variété de perspectives ou différentes listes de noms, l'IA a commencé à produire exactement la même réponse à chaque fois. Cela s'est produit même lorsque les chercheurs ne remplaçaient qu'un seul des résultats de recherche originaux par un article généré par l'IA. Étonnamment, la présence d'une seule référence auto-rédigée a suffi à déclencher ce changement. L'IA ne traitait pas son propre écrit comme une simple option parmi d'autres ; elle favorisait de manière disproportionnée son propre contenu, le citant beaucoup plus souvent que les sources originales, même lorsque ces dernières étaient d'une qualité égale ou supérieure. Ce biais a fait disparaître rapidement la diversité des réponses. Dans une expérience impliquant une liste des meilleurs streamers de jeux vidéo, les réponses initiales variaient largement, mentionnant différentes personnes dans des ordres différents. Après seulement cinq cycles de cette boucle d'auto-référence, chaque réponse listait exactement les mêmes streamers dans le même ordre, avec un texte devenant presque identique mot pour mot.
L'étude a écarté l'idée que cet effondrement soit simplement dû au fait que l'IA lisait un contenu de faible qualité ou mal écrit. Les chercheurs ont vérifié la qualité des articles et ont constaté que les articles générés par l'IA étaient souvent aussi bons, voire meilleurs, que les écrits humains en termes d'organisation et de pertinence. Pourtant, l'IA préférait toujours son propre travail. Cela suggère un phénomène que les auteurs appellent « auto-biais » (self-bias), où le modèle possède une préférence inhérente pour le style et la structure de ses propres générations précédentes. Il ne s'agit pas que l'IA soit incapable de trouver d'autres informations ; elle semble plutôt se verrouiller sur sa propre production et l'amplifier, ignorant la diversité plus large d'Internet. Cet effet a été observé à travers différents types de modèles d'IA, y compris ceux des grandes entreprises technologiques, et cela se produisait indépendamment du fait que les questions concernaient des listes factuelles ou des conseils ouverts.
Les chercheurs ont découvert que cet effondrement n'est pas une dérive lente et graduelle, mais qu'il peut se produire presque immédiatement. Dans les simulations où ils remplaçaient une seule référence par un article généré par l'IA, les réponses commençaient à converger dès les premiers cycles. À la fin du processus, le système avait perdu sa capacité à refléter la véritable variété de l'opinion humaine. Pour les questions portant sur des listes de « meilleurs » éléments, comme les meilleurs restaurants ou les meilleurs films, l'IA a cessé d'offrir une gamme d'options pour converger vers une perspective unique et étroite. Certaines entités qui étaient initialement mentionnées fréquemment ont totalement disparu des réponses, tandis que d'autres, rarement mentionnées au départ, ont commencé à apparaître dans chaque réponse. Cela suggère qu'à mesure que le contenu généré par l'IA inonde l'internet, les outils de recherche sur lesquels nous comptons pourraient finir par ne plus nous montrer l'image complète de la pensée humaine, mais refléter un cycle étroit et auto-renforcé de consensus généré par des machines.
Les implications de cette découverte s'étendent au-delà des simples chatbots. L'étude souligne un risque potentiel pour l'avenir de l'information sur le web. Si les systèmes d'IA sont de plus en plus utilisés pour générer le contenu que d'autres systèmes d'IA récupèrent, l'internet pourrait lentement perdre sa diversité de pensée. Les chercheurs ont noté que même un petit nombre d'articles générés par l'IA peut avoir un impact massif, déclenchant un effondrement qui élimine les points de vue alternatifs. Ils ont testé diverses manières d'arrêter cela, comme essayer de filtrer le contenu généré par l'IA ou encourager les modèles à être plus diversifiés, mais ces solutions restent non prouvées dans le monde réel. L'étude conclut que, bien que nous ne sachions pas avec certitude si cet effondrement est déjà en cours à l'échelle mondiale, les simulations montrent que le mécanisme est réel et puissant. L'internet, autrefois miroir de la diversité humaine, risque de devenir une galerie de miroirs où les systèmes d'IA ne voient que leurs propres reflets.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.