Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

Deze position paper betoogt dat modelinstorting, veroorzaakt door het trainen van generatieve AI op eigen outputs, dreigt de democratisering van AI te ondermijnen door de kwaliteit en efficiëntie van data te verslechteren, waardoor minder-resourcerijke en gemarginaliseerde gemeenschappen onevenredig worden benadeeld via versterkte culturele vooroordelen en milieukosten.

De kern

Het Grote Geheel: De "Stochastische Papegaai" in de Kolenmijn

Stel je een kanarie in een kolenmijn voor. In het verleden gebruikten mijnwerkers kanaries om gevaarlijke gassen te detecteren; als het vogeltje stopte met zingen, wisten de mijnwerkers dat ze moesten vluchten.

Dit artikel stelt dat low-resource gemeenschappen (mensen die minder voorkomende talen spreken of in armere regio's wonen) de "kanaries" zijn. Zij zijn de eersten die het gevaar voelen van een fenomeen dat Model Collapse (modelinstorting) wordt genoemd.

Wat is Model Collapse?
Stel je een spel "Telefoon" voor dat wordt gespeeld door een groep fotokopieermachines.

1. Je begint met een duidelijke, originele foto (Echte Menselijke Data).
2. Je maakt een kopie. Deze is iets wazig.
3. Je neemt die wazige kopie en maakt er een nieuwe kopie van. Deze wordt nog waziger.
4. Je blijft dit doen, kopieën van kopieën maken.

Uiteindelijk wordt het beeld een modderige, onherkenbare warboel. De details verdwijnen en alleen de meest voorkomende, generieke vormen blijven over.

In de wereld van AI gebeurt dit wanneer nieuwe AI-modellen worden getraind op data die is gegenereerd door oude AI-modellen. Omdat AI de neiging heeft om de meest voorkomende patronen die het ziet te herhalen, gaan de "zeldzame" en "unieke" details in de loop van de tijd verloren. De AI wordt een Stochastische Papegaai – het nabootst de geluiden die het hoort, maar begrijpt de betekenis niet, en over generaties heen herhaalt het alleen de luidste, meest voorkomende geluiden, terwijl het de stille, unieke vergeet.

Het Probleem: Waarom Armere Gemeenschappen Eerst Worden Getroffen

Het artikel stelt dat hoewel dit "kopieerspel" iedereen pijn doet, het de culturen van low-resource gemeenschappen veel sneller vernietigt. Hier is waarom, met behulp van drie hoofdmetaforen:

1. Het "Rijk versus Arm" Data-Dieet

Stel je twee mensen voor die proberen gezond te blijven.

• De Rijke Persoon (High-Resource): Heeft een enorme voorraadkast vol met vers, echt voedsel (Echte Menselijke Data). Zelfs als ze wat verwerkt, nep voedsel (AI-genererde data) eten, hebben ze zo veel echt voedsel dat hun dieet gezond blijft.
• De Strijdende Persoon (Low-Resource): Heeft een zeer kleine voorraadkast. Ze hebben slechts een paar blikken echt voedsel. Als ze moeten vertrouwen op verwerkt, nep voedsel om hun maag te vullen, raken ze zeer snel het echte voedsel kwijt.

De Claim van het Artikel: Low-resource talen (zoals veel Afrikaanse of inheemse talen) hebben zeer weinig data op internet. Als AI begint met het vullen van het internet met AI-genererde tekst, zullen deze talen bijna onmiddellijk "vergiftigd" worden, omdat ze niet genoeg echte data hebben om het neppe spul te verdunnen. Hun unieke culturele "smaak" zal als eerste verdwijnen.

2. De "Echo-kamer" van Macht

Stel je een stadsplein voor waar iedereen schreeuwt.

• De luidste stemmen (Engels, westerse cultuur, dominante standpunten) worden al door iedereen gehoord.
• De stille stemmen (minderheidsgroepen, specifieke lokale dialecten) zijn nauwelijks hoorbaar.

Wanneer AI leert van het internet, fungeert het als een megafoon die alleen de luidste stemmen versterkt. Naarmate AI meer content genereert, herhaalt het die luidste stemmen keer op keer. De stille stemmen worden volledig overstemd.
De Claim van het Artikel: Model Collapse werkt als een "Waarde-Lock". Het bevriest de cultuur in het verleden, vergrendelt de dominante standpunten en wist de pogingen van gemarginaliseerde groepen om sociale normen te veranderen of hun taal terug te eisen. De AI vergeet de "staarten" van de verdeling – de zeldzame, unieke en diverse manieren waarop mensen spreken.

3. De "Koolstofkosten" van het Proberen het te Repareren

Stel je voor dat je een lekend dak probeert te repareren.

• De Rijke Persoon kan het zich veroorloven om nieuwe dakpannen te kopen en een ploeg in te huren om het te repareren.
• De Strijdende Persoon moet proberen het te dichten met tape en karton, wat hen hun spaargeld kost en het huis heter maakt.

De Claim van het Artikel: Om Model Collapse te stoppen, hebben onderzoekers meer echte data nodig. Maar het verzamelen van echte data is duur en vereist enorme energie (computers die heet draaien).

• Low-resource gemeenschappen wonen vaak in gebieden die al te lijden hebben onder klimaatverandering en energietekorten.
• Zij dragen de milieukosten van het trainen van deze enorme AI-modellen, maar krijgen het minste voordeel ervan.
• Zij kunnen het zich niet veroorloven om genoeg echte data te "kopen" om hun talen te redden van het wissen door AI-genererde ruis.

De "Stochastische Papegaai" Analogie

Het artikel grijpt terug op een oud idee: AI is een "Stochastische Papegaai". Het begrijpt niet; het voorspelt alleen het volgende woord op basis van statistieken.

• Het Standpunt van het Artikel: Hoewel AI slimmer is geworden, is het nog steeds een papegaai. Als je een papegaai alleen de meest voorkomende zinnen voert, stopt hij met het zeggen van iets interessants.
• Het Gevaar: Voor low-resource gemeenschappen zijn de "interessante zinnen" (hun unieke cultuur, straattaal en geschiedenis) de eerste dingen die de papegaai vergeet, omdat ze statistisch gezien zeldzaam zijn.

Wat Wil het Artikel Dat We Doen?

De auteurs doen een Oproep tot Actie. Ze zeggen dat we niet kunnen wachten tot de AI volledig kapot is om ons hier zorgen over te maken.

1. Luister naar de Kanaries: Low-resource gemeenschappen moeten de leiders zijn in dit gesprek, niet een nagedachte.
2. Bescherm de Echte Data: We moeten speciale "veilige zones" van data creëren die gegarandeerd echte menselijke content zijn, niet gegenereerd door AI, specifiek voor deze kwetsbare talen.
3. Detecteer het Nep: We hebben betere tools nodig om AI-genererde tekst op te sporen, zodat we deze kunnen filteren voordat het de trainingsdata vergiftigt.
4. Accepteer het Risico: Het artikel erkent dat de AI misschien niet globaal voor een lange tijd zal breken, maar voor specifieke, kleine gemeenschappen gebeurt de "breuk" nu al.

Samenvatting

Het artikel waarschuwt dat naarmate AI meer content genereert, het een feedbacklus creëert die AI "dommer" en meer repetitief maakt. Dit proces werkt als een filter dat het zeldzame en unieke verwijdert. Omdat low-resource gemeenschappen al minder vertegenwoordigd zijn online, lopen hun unieke culturen en talen het grootste risico om door dit proces te worden gewist, waardoor ze alleen een gehomogeniseerde, dominante versie van de wereld overhouden.

Technische samenvatting

Technische Samenvatting: Modelinval als Bedreiging voor Communities met Beperkte Middelen

Probleemstelling
Het artikel behandelt het fenomeen van modelinval, gedefinieerd als de verslechtering van prestaties en diversiteit van generatieve modellen wanneer deze worden getraind op data die is geproduceerd door eerdere generaties van vergelijkbare modellen. Naarmate kunstmatig gegenereerde content zich verspreidt (geschat op ~30% van het internet tegen 2025), vertrouwen opeenvolgende modelgeneraties steeds meer op "synthetische" data. Dit creëert een feedbacklus waarbij modellen overfitten op dominante patronen in de trainingsverdeling, waardoor zeldzame of "staart"-voorbeelden systematisch worden gewist.

De auteurs betogen dat, hoewel modelinval een algemeen technisch risico is, het een disproportioneel en existentieel gevaar vormt voor communities met beperkte middelen en gemarginaliseerde groepen. Deze gemeenschappen lijden al onder:

1. Ondertegenwoordiging: Hun data bezet de "staarten" van wereldwijde dataverdelingen.
2. Milieugelijkheid: Zij dragen het zwaarste gewicht van het koolstofvoetafdruk en de infrastructuurkosten van het trainen van grote modellen, zonder evenredige voordelen te oogsten.
3. Culturele Bias: Grote Taalmodellen (LLM's) neigen naar het versterken van hegemonische standpunten en het "vastzetten" van verouderde sociale normen.

Het artikel stelt dat modelinval fungeert als een "wis-motor", die de verwijdering van talen met beperkte middelen en culturele nuances uit de digitale sfeer versnelt, waardoor inspanningen om AI te democratiseren worden ondermijnd.

Methodologie en Theoretisch Kader
Dit werk is een positiepaper die bestaande theoretische en empirische literatuur synthetiseert in plaats van nieuwe experimentele resultaten presenteert. De methodologie omvat:

• Literatuursynthese: Het integreren van bevindingen over modelinval (bijv. Shumailov et al., 2024; Dohmatob et al., 2024) met kritiek op LLM's met betrekking tot bias en milieukosten (bijv. Bender et al., 2021; Strubell et al., 2019).
• Theoretische Toepassing: Het toepassen van het concept van neuronale schaalwetten op scenario's met synthetische data. De auteurs maken gebruik van de bevinding dat zelfs kleine fracties synthetische data (ongeveer 1%) schaalvergelijkingen kunnen veranderen, wat leidt tot een "glazen plafond" waarbij het vergroten van de datasetgrootte geen evenredige prestatieverbeteringen meer oplevert.
• Analogie uit de Cognitieve Wetenschap: Het trekken van parallellen tussen modelinval en geïterdeerde leerprocessen (IL) in de cognitieve wetenschap, waarbij wordt opgemerkt dat IL weliswaar kan leiden tot regularisatie, maar ook het risico loopt op het verlies van expressiviteit en het vergeten van verschillen tussen nauw verwante datapunten zonder externe interventie.
• Kritische Analyse van Definities: Het engageert met recente debatten (specifiek Schaeffer et al., 2025) over de definitie van modelinval. De auteurs onderscheiden drie types: (1) progressieve onmogelijkheid om oorspronkelijke verdelingen te passen, (2) vervorming van dataverdelingen (verlies van staarten), en (3) afnemende marginale waarde van extra data.

Belangrijkste Bijdragen

1. Intersectorale Risico-analyse: De primaire bijdrage van het artikel is het koppelen van het technische mechanisme van modelinval aan de sociaaleconomische realiteiten van communities met beperkte middelen. Het betoogt dat modelinval geen uniforme bedreiging is, maar een gestratificeerde, waarbij gemarginaliseerde groepen eerst het "slechtst mogelijke scenario" tegenkomen omdat hun data al schaars is en zich aan de verdelingsstaarten bevindt.
2. Het "Driedubbele" Nadeel: De auteurs identificeren een cumulatief nadeel voor communities met beperkte middelen:
   • Data-schaarste: Beperkte real-world data maakt hen kwetsbaarder voor overschrijving door synthetische data.
   • Milieukosten: De toegenomen rekenkracht die nodig is om modelinval te bestrijden (door meer data te verzamelen of grotere modellen te trainen), verergert milieuschade, wat deze gemeenschappen disproportioneel treft.
   • Culturele Uitwissing: Het "vastzetten"-effect wordt versterkt, waarbij dominante standpunten wortelen terwijl minderheidsdialecten, code-switching en herwonnen taal systematisch worden vergeten.
3. Herwaardering van de "Stochastische Papegaai": De auteurs herzien de analogie van de "Stochastische Papegaai" (Bender et al., 2021) en betogen dat deze fundamenteel blijft. Zij stellen dat zelfs met multimodale vooruitgang LLM's statistisch geworteld blijven in waargenomen patronen, waardoor ze vatbaar zijn voor frequentie-bias die modelinval aandrijft.
4. Kritiek op Mitigatiestrategieën: Het artikel benadrukt de beperkingen van huidige oplossingen. Zo wordt "data-curatie" (filteren van synthetische data) steeds moeilijker naarmate generatieve modellen overtuigender worden. Bovendien kunnen geautomatiseerde curatietools per ongeluk legitieme, laagfrequente linguïstische variaties verwijderen die door gemarginaliseerde groepen worden gebruikt.

Resultaten en Observaties
Als theoretische positiepaper presenteert het werk geen nieuwe empirische metrieken, maar synthetiseert het bestaande bevindingen om zijn argumenten te ondersteunen:

• Verstoring van Schaalwetten: Citerend Dohmatob et al. (2024b) merkt het artikel op dat het bereiken van een tienvoudige reductie in testverlies met 10% synthetische data een orde-grootte toename in datasetgrootte vereist in vergelijking met schone data, wat de kosten drastisch verhoogt.
• Verdelingsverschuiving: Refererend naar Figuur 1 (gebaseerd op GPT-2 perplexiteit) illustreert het artikel dat talen met beperkte middelen (bijv. Albanees, Indonesisch) al hogere perplexiteitsverdelingen bezetten (de "staarten") in vergelijking met talen met veel middelen (bijv. Engels). Modelinval voorspelt dat deze staarten als eerste zullen verdwijnen.
• Kostenasymmetrie: Citerend Kandpal & Raffel (2025) benadrukt het artikel dat de kosten van het verwerven van echte data 10–1000 keer hoger zijn dan de rekenkosten van training. Deze economische barrière verhindert dat communities met beperkte middelen zich "uit" modelinval kopen door simpelweg meer echte data te verzamelen.

Betekenis en Oproep tot Actie
Het artikel concludeert dat, hoewel de ernst van modelinval in algemene contexten wordt betwist, het een onmiddellijke en ernstige bedreiging vormt voor communities met beperkte middelen en gemarginaliseerde groepen. De auteurs betogen dat de academische discours te veel gefocust is geweest op settings met veel middelen en theoretische modellen, en de specifieke kwetsbaarheden van deze populaties heeft verwaarloosd.

De Oproep tot Actie:

• Prioritering: De NLP- en AI-fairness-gemeenschappen met beperkte middelen moeten de voorhoede vormen in het onderzoek naar en het mitigeren van modelinval.
• Data-soevereiniteit: Er is een dringende behoefte om datasets te construeren en te onderhouden die gegarandeerd echte, cultureel authentieke data bevatten voor duizenden ondervertegenwoordigde talen (bijv. Ndebele, Pedi, Sotho).
• Nieuwe Onderzoeksrichtingen: Het artikel schetst open vragen met betrekking tot:
  • Hoe modelinval agglutinerende talen (die lang-gestreepte woordverdelingen hebben) anders beïnvloedt dan analytische talen.
  • De impact van code-switching op verschuivingen in dataverdelingen.
  • Het ontwikkelen van hanteerbare metingen voor modelinval en detectie van synthetische data.
  • Strategieën voor het "verminderen" van inval, zoals zelftoezichtend leren of versterkend leren om robuuste, buiten-de-verdeling-kenmerken te bevorderen.

Uiteindelijk stelt het artikel dat zonder onmiddellijke interventie de online representatie van meerdere culturen het risico loopt ernstig beschadigd of gewist te worden voordat de schade kan worden hersteld.