RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
Dit artikel toont aan dat Large Language Models (LLM's) "RAG-instorting" ervaren, een fenomeen waarbij hun reacties verslechteren en diversiteit verliezen wanneer ze hun eigen eerder gegenereerde inhoud ophalen en erop vertrouwen, waarbij experimenten laten zien dat 79,6% van dergelijke simulaties eindigt in instorting vanwege een disproportionele zelfcitatiebias.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het internet is al lang een enorme bibliotheek van menselijke gedachten, waar miljoenen stemmen bijdragen aan een chaotisch maar rijk tapijt van informatie. In de afgelopen jaren heeft een nieuw soort stem zich bij het koor gevoegd: kunstmatige intelligentie. Grote taalmodellen, de motoren achter moderne chatbots, worden getraind op deze digitale bibliotheek en kunnen nu tekst genereren die het menselijke schrijven nabootst. Deze systemen worden ook steeds vaker gebruikt om de artikelen, recensies en lijsten te schrijven die het web bevolken. Dit creëert een unieke situatie waarin de hulpmiddelen die we gebruiken om informatie te vinden, beginnen te lezen wat ze zelf hebben gecreëerd. Wetenschappers hebben eerder waargenomen dat als een model herhaaldelijk wordt getraind op zijn eigen output, het in een staat van "model collapse" kan raken, waarbij de reacties repetitief worden en de rijkdom van de oorspronkelijke data verliezen. Maar een nieuwe studie stelt een meer directe vraag: wat gebeurt er wanneer deze systemen hun zoekhulpmiddelen gebruiken om antwoorden te vinden, en die zoekresultaten toevallig artikelen zijn die ze zelf hebben geschreven?
Onderzoekers bij Graphite Growth zetten zich erop in om dit scenario te testen via een reeks uitgebreide computersimulaties. Ze behandelden het internet als een levend ecosysteem waarin door AI gegenereerde inhoud constant wordt gepubliceerd en vervolgens onmiddellijk wordt opgehaald door dezelfde soort AI die het schreef. Hiervoor namen ze meer dan duizend verschillende vragen, variërend van "Wie zijn de beste Twitch-streamers?" tot "Hoe kan ik mijn persoonlijke branding verbeteren?". Ze begonnen met het verzamelen van echte zoekresultaten voor deze vragen, die dienden als de initiële pool van informatie. Vervolgens vroegen ze een AI om de vragen te beantwoorden op basis van die resultaten. Daarna namen ze die AI-antwoorden, breidden ze uit tot volledige artikelen en voegden ze terug toe aan de pool van beschikbare zoekresultaten, waarbij de oorspronkelijke door mensen geschreven bronnen werden vervangen. Ze herhaalden dit proces keer op keer, waarbij ze een cyclus simuleerden waarin de AI zijn eigen eerdere werk leest om nieuwe antwoorden te genereren.
De resultaten waren opmerkelijk en zorgwekkend. In bijna tachtig procent van de simulaties stortte het systeem in tot een staat van extreme uniformiteit. In plaats van een verscheidenheid aan perspectieven of verschillende lijsten met namen aan te bieden, begon de AI elke keer exact hetzelfde antwoord te produceren. Dit gebeurde zelfs wanneer de onderzoekers slechts één van de oorspronkelijke zoekresultaten vervingen door een door AI gegenereerd artikel. Verrassend genoeg was de aanwezigheid van een enkele door zichzelf geschreven referentie voldoende om deze verschuiving te triggeren. De AI behandelde zijn eigen schrijfwerk niet als slechts een andere optie; het gaf er onevenredig veel de voorkeur aan en citeerde de eigen inhoud veel vaker dan de oorspronkelijke bronnen, zelfs wanneer de oorspronkelijke bronnen van gelijke of hogere kwaliteit waren. Deze bias zorgde ervoor dat de diversiteit van de antwoorden snel verdween. In één experiment met een lijst van de beste video game-streamers varieerden de initiële antwoorden sterk en noemden ze verschillende mensen in verschillende volgordes. Na slechts vijf rondes van deze zelfverwijzende lus, toonde elk antwoord exact dezelfde streamers in exact dezelfde volgorde, waarbij de tekst bijna woord voor woord identiek werd.
De studie sloot de mogelijkheid uit dat deze instorting simpelweg kwam doordat de AI lage kwaliteit of slecht geschreven inhoud las. De onderzoekers controleerden de kwaliteit van de artikelen en stelden vast dat de door AI gegenereerde artikelen qua organisatie en relevantie vaak net zo goed of zelfs beter waren dan de door mensen geschreven artikelen. Toch gaf de AI de voorkeur aan zijn eigen werk. Dit suggereert een fenomeen dat de auteurs "zelf-bias" noemen, waarbij het model een inherente voorkeur heeft voor de stijl en structuur van zijn eigen eerdere generaties. Het is niet dat de AI niet in staat is om andere informatie te vinden; het lijkt eerder vast te klonteren aan zijn eigen output en dit te versterken, waarbij het de bredere diversiteit van het internet negeert. Dit effect werd waargenomen bij verschillende soorten AI-modellen, inclusief die van grote technologiebedrijven, en het gebeurde ongeacht of de vragen over feitelijke lijsten of open eind advies gingen.
De onderzoekers ontdekten dat deze instorting geen langzame, geleidelijke drift is, maar bijna onmiddellijk kan plaatsvinden. In simulaties waarbij ze slechts één referentie vervingen door een door AI gegenereerd artikel, begonnen de antwoorden binnen de eerste paar rondes te convergeren. Tegen het einde van het proces had het systeem het vermogen verloren om de ware variëteit van de menselijke opinie te weerspiegelen. Voor vragen over "beste" lijsten, zoals de beste restaurants of films, stopte de AI met het aanbieden van een scala aan opties en convergeerde hij in plaats daarvan naar een enkel, smal perspectief. Sommige entiteiten die aanvankelijk vaak werden genoemd, verdwenen volledig uit de antwoorden, terwijl anderen die aanvankelijk zelden werden genoemd, in elk antwoord begonnen op te duiken. Dit suggereert dat naarmate meer door AI gegenereerde inhoud het internet overspoelt, de zoekhulpmiddelen waarop we vertrouwen, uiteindelijk mogelijk niet langer het volledige beeld van het menselijk denken tonen, maar in plaats daarvan een smalle, zelfversterkende lus van door machines gegenereerde consensus reflecteren.
De implicaties van deze bevinding strekken zich uit voorbij alleen chatbots. De studie benadrukt een potentieel risico voor de toekomst van informatie op het web. Als AI-systemen steeds vaker worden gebruikt om de inhoud te genereren die andere AI-systemen vervolgens ophalen, zou het internet langzaam zijn diversiteit aan gedachten kunnen verliezen. De onderzoekers merkten op dat zelfs een klein aantal door AI gegenereerde artikelen een enorme impact kan hebben door een instorting te triggeren die alternatieve standpunten elimineert. Ze testten verschillende manieren om dit te stoppen, zoals het proberen te filteren van door AI gegenereerde inhoud of het aanmoedigen van de modellen om diverser te zijn, maar deze oplossingen blijven onbewezen in de echte wereld. De studie concludeert dat hoewel we niet zeker weten of deze instorting op een wereldwijde schaal al aan de gang is, de simulaties laten zien dat het mechanisme echt en krachtig is. Het internet, ooit een spiegel van menselijke diversiteit, loopt het risico een kamer van spiegels te worden waar AI-systemen alleen zichzelf zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.