In de moderne wereld van kunstmatige intelligentie leren machines steeds vaker van de inhoud die ze zelf creëren. Deze cyclus, bekend als recursieve training, vindt plaats wanneer een model nieuwe gegevens genereert en die nieuwe gegevens vervolgens worden teruggevoerd in het systeem om de volgende versie van het model te trainen. Hoewel dit zou kunnen lijken op een manier om kennis eindeloos uit te breiden, maken wetenschappers zich al lang zorgen over een fenomeen dat "model collapse" wordt genoemd. In dit scenario begint de machine het contact met de werkelijkheid te verliezen, waarbij het geleidelijk de ware variëteit van de wereld die het bedoeld was te begrijpen, vergeet en in plaats daarvan convergeert naar een smalle, vertekende gemiddelde. Dit is bijzonder gevaarlijk in de geneeskunde, waar AI-systemen worden gebruikt om synthetische patiëntendossiers te genereren om onderzoek naar zeldzame ziekten te ondersteunen of de privacy te beschermen. Als deze synthetische dossiers gebrekkig zijn, zouden de modellen die op hen getraind zijn gevaarlijke fouten kunnen maken, terwijl de instrumenten die gebruikt worden om deze gebreken te ontdekken vaak onduidelijk zijn geweest.

Een team van onderzoekers uit Noorwegen zette zich scharpe om precies te onderzoeken hoe deze degradatie plaatsvindt wanneer machines medische gegevens herhaaldelijk genereren. Ze richtten zich op een specifiek type fout dat vaak een "hallucinatie" wordt genoemd, wat in de context van medische dossiers een patiëntendossier betekent dat iets onmogelijks beschrijft, zoals een persoon die een hartaanval krijgt nadat diegene al is overleden. De onderzoekers wilden weten of deze overduidelijke fouten op recordniveau het belangrijkste probleem waren, of dat er iets subtielers aan de hand was waardoor de gegevens faalden. Om dit te achterhalen, bouwden ze een rigoureus experiment met behulp van echte gegevens uit een grote database van een intensive care-afdeling. Ze namen deze echte gegevens en gebruikten vier verschillende soorten AI-generatoren om nieuwe, synthetische patiëntendossiers te creëren. Vervolgens namen ze deze synthetische dossiers en gebruikten ze om nieuwe modellen te trainen, waarbij ze dit proces twintig keer achter elkaar herhaalden, waardoor een keten van generaties ontstond waarbij elke stap volledig afhankelijk was van de output van de vorige.

De resultaten onthulden een schokkende waarheid: de gegevens faalden niet omdat de machines onzinnige verhalen begonnen te schrijven over onmogelijke patiënten. In plaats daarvan faalden de gegevens omdat ze hun diversiteit verloren. Naarmate de generaties vorderden, werden de synthetische dossiers steeds meer met elkaar gelijk, waardoor de unieke combinaties van symptomen en aandoeningen die in het echte leven bestaan, werden uitgewist. De onderzoekers ontdekten dat binnen slechts vijf generaties de gegevens zo uniform waren geworden dat ze een computer niet langer konden leren hoe hij patiëntuitkomsten kon voorspellen, waardoor ze effectief nutteloos werden voor hun beoogde doel. De machines hadden geen nieuwe, wilde fouten uitgevonden; ze waren simpelweg gestopt met het uitvinden van iets nieuws. Ze stortten in tot een smal, repetitief patroon dat statistisch veilig leek, maar klinisch dood was.

Deze bevinding daagt de manier uit waarop wetenschappers en toezichthouders momenteel naar fouten zoeken. De studie toonde aan dat de standaardinstrumenten die gebruikt worden om "hallucinaties" te tellen — die controleren of een specifiek record in een database van echte mensen bestaat — misleidend waren. Deze instrumenten markeerden vaak duizenden records als fouten, simpelweg omdat ze zeldzaam of niet waargenomen waren, ook al waren die records medisch wel plausibel. Sterker nog, de onderzoekers vonden dat de records die door deze standaardinstrumenten als "hallucinaties" werden gemarkeerd, vaak juist de enige waren die de gegevens in leven hielden. Het echte falen was onzichtbaar voor deze instrumenten: het verlies van de complexe, overlappende patronen die medische gegevens bruikbaar maken. De machines loog niet; ze werden simpelweg saai, en daarmee vernietigden ze de voorspellende kracht van de gegevens.

De onderzoekers testten vier verschillende soorten AI-generatoren om te zien of ze anders gedrag vertoonden. Eén type, een robuuste variational autoencoder, faalde het snelst door volledig het vermogen te verliezen om onderscheid te maken tussen patiënten die opnieuw in het ziekenhuis zouden worden opgenomen en zij die dat niet zouden doen. Dit deed het door al zijn gegevens te laten instorten tot één enkel, gemiddeld profiel. Andere generatoren, zoals die gebaseerd op adversarial random forests en conditional generative adversarial networks, faalden langzamer maar verloren nog steeds hun vermogen om uitkomsten te voorspellen. Zij deden dit door richting extreme waarden te drijven of nieuwe, onrealistische patronen van symptomen te verzinnen. Een diffusion model, een nieuwer type generator, gedroeg zich anders; het dreef richting de extremen van de gegevensverdeling, waarbij records met zeer hoge of zeer lage waarden werden gecreëerd die technisch mogelijk maar statistisch zeldzaam waren. Ondanks deze verschillende paden naar falen was het eindresultaat hetzelfde: de gegevens verloren hun vermogen om de werkelijkheid te vertegenwoordigen.

Cruciaal was dat de studie vond dat de "hallucinaties" waar toezichthouders en het publiek zich zorgen over maakten — records die duidelijk onmogelijk of onzinnig waren — eigenlijk quite zeldzaam waren. In veel gevallen bevatte minder dan één procent van de synthetische records waarden die medisch onmogelijk waren. Het echte gevaar was niet de aanwezigheid van deze onmogelijke records, maar de afwezigheid van de diverse, realistische records. De machines genereerden geen nepverhalen; ze genereerden een wereld die te perfect, te gemiddeld en te uniform was om bruikbaar te zijn. Dit suggereert dat de huidige focus op het vangen van individuele fouten in synthetische gegevens het grotere plaatje mist. De veiligheid van deze systemen hangt minder af van het controleren of een enkele rij gegevens feitelijk correct is, en meer van het waarborgen dat de gehele dataset de rijke, chaotische variëteit van de menselijke ervaring behoudt.

De implicaties van dit werk reiken verder dan alleen medisch onderzoek. De onderzoekers betogen dat de term "hallucinatie" vaak de verkeerde term is voor wat er gebeurt in gestructureerde data. In de wereld van tekst is een hallucinatie een verzonnen feit. In de wereld van medische gegevens is het falen vaak een verlies van getrouwheid (fidelity), waarbij de gegevens stoppen met het reflecteren van de ware distributie van de populatie. De studie suggereert dat we onze focus moeten verleggen van het tellen van onmogelijke records naar het meten van de diversiteit en structuur van de gegevens. Als we alleen zoeken naar de overduidelijke fouten, missen we wellicht de stille erosie van kwaliteit die de gegevens onbruikbaar maakt voor het trainen van toekomstige AI. De onderzoekers benadrukken dat duidelijke labels en herkomst (provenance) essentieel zijn. We moeten weten wanneer data synthetisch is en de kwaliteit ervan gedurende de hele levenscyclus monitoren om te voorkomen dat het de kennisbasis van toekomstige systemen stilzwijgend degradeert.

Uiteindelijk dient de studie als een waarschuwing tegen de aanname dat meer data altijd beter is. Wanneer AI-systemen de toestemming krijgen om van hun eigen output te eten zonder waarborgen, worden ze niet noodzakelijkerwijs creatiever of nauwkeuriger. In plaats daarvan lopen ze het risico gevangen te raken in een lus van hun eigen creatie, waarbij ze data produceren die echt lijkt, maar de essentie van de werkelijkheid verloren heeft. De onderzoekers concluderen dat het behoud van de diversiteit van gegevens niet alleen een technische vereiste is, maar een fundamentele noodzaak voor de betrouwbaarheid van kunstmatige intelligentie. Zonder dat riskeert de belofte van synthetische data om velden zoals de geneeskunde te revolutioneren, ondermijnd te worden door de systemen die er juist voor ontworpen zijn. De weg vooruit vereist een nieuwe vocabulaire en nieuwe metrieken die het verlies van diversiteit kunnen detecteren voordat de data volledig instort, zodat de machines die we bouwen ook daadwerkelijk de complexe, gevarieerde wereld blijven weerspiegelen die ze bedoeld zijn te dienen.