Technische Samenvatting: Model Collapse als Culturele Evolutie

Probleemstelling

Hoewel "model collapse"—de progressieve degradatie van Large Language Models (LLM's) die getraind zijn op hun eigen output—is gekarakteriseerd via statistische schattings-theorie (bijvoorbeeld verlies van de verdelingstaart, vermindering van diversiteit), ontbreekt er in de bestaande literatuur een linguïstische verklaring voor welke structuren degraderen, in welke volgorde en waarom. Huidige beschrijvingen schetsen de statistische mechanica van collapse, maar slagen er niet in om onderscheid te maken tussen generieke degradatie en specifieke linguïstische fenomenen die worden gedreven door de dynamiek van culturele transmissie. Bovendien is er behoefte aan inzicht in de vraag of de afweging tussen compressie en expressiviteit, een kernconcept in de evolutie van de menselijke taal, ook de zelftraining van LLM's reguleert.

Methodologie

De auteurs kaderen LLM zelftraining in als een geval van geïtererd leren, een raamwerk uit de theorie van culturele evolutie waarbij taal wordt gevormd door ketens van lerenden. Zij leiden vijf falsifieerbare voorspellingen af uit deze theorie, waarbij onderscheid wordt gemaakt tussen bevestigende tests (verwacht bij generieke collapse) en uniek discriminerende tests (specifiek voor de dynamiek van geïtererd leren).

Experimentele Opzet

• Modellen: LLaMA-2-7B en Mistral-7B.
• Generaties: 10 generaties van zelftraining.
• Talen: Engels, Duits en Turks.
• Pijplijn:
  • Zaaddata: Er werden twee voorwaarden gebruikt: (1) Natuurlijke zaad (50k passages uit The Pile) en (2) Geregulariseerde zaad (50k passages gegenereerd vanuit een PCFG met consistente argumentstructuur en regelmatige morfologie) om ruisverwijdering als alternatieve verklaring voor de waargenomen patronen uit te sluiten.
  • Training: Bij elke generatie wordt het basismodel ($M_0$) fijngefineerd op 50.000 gegenereerde passages. Cruciaal is dat fijnfinen altijd start vanaf het bevroren basismodel $M_0$, en niet vanaf de gewichten van de vorige generatie, om data-geïnduceerde degradatie te isoleren van parameterdrift.
  • Filtervoorwaarden: Er werden drie voorwaarden getest om de "compressie–communicatie-afweging" te isoleren:
    1. Geen Filter: Pure transmissie.
    2. Willekeurig Filter: 70% van de data uniform behouden (generieke bottleneck).
    3. Kwaliteitsfilter: De top 70% behouden op basis van onafhankelijke taakevaluatie (QA, NLI, samenvatting) om communicatieve druk te simuleren.
• Maten: Vier linguïstisch onderbouwde, collapse-robuste maten werden bijgehouden:
  1. Zipf-exponent ($\alpha$): Verkleining van de verdeling.
  2. Morfologische Regulariteit ($\rho_M$): Aandeel regelmatige vormen.
  3. Constructiediversiteit ($D$): Shannon-entropie van syntactische constructies, gestratificeerd op frequentie.
  4. Compositionele Systematiciteit ($\sigma$): Topografische gelijkenis tussen betekenis- en vormruimtes, gevalideerd met effectieve rang (eRank) en positionele ontkoppeling (posdis) om ervoor te zorgen dat toenames geen artefacten zijn van het instorten van de ruimte.

Belangrijkste Bijdragen

1. Theoretische Uitbreiding: Brengt het raamwerk van geïtererd leren (Ren et al., 2024) expliciet uit tot natuurlijke taal, met vijf falsifieerbare voorspellingen en een gecategoriseerde discriminerende status.
2. Discriminerende Testen: Gaat verder dan generieke beschrijvingen van "model collapse" door specifieke voorspellingen te testen die de dynamiek van geïtererd leren onderscheiden van eenvoudige statistische degradatie.
3. Empirische Validatie: Voert systematische tests uit over 10 generaties, twee architecturen en drie typologisch verschillende talen, inclusief kritieke controles (geregulariseerde zaden, meervoudige filtervoorwaarden).
4. Pijplijnprincipes: Leidt concrete ontwerpprincipes voor zelftrainingspijplijnen af op basis van de compressie–communicatie-afweging.

Belangrijkste Resultaten

Alle vijf de voorspellingen afgeleid uit de theorie van culturele evolutie werden bevestigd met grote effectgroottes (Hedges' $g > 1.6$; Bayesfactoren $BF_{10} > 100$).

• P1 (Frequentie-afhankelijk Verlies): Lage-frequentie varianten gaan verloren voordat hoge-frequentie varianten dat doen. De LLM-gradiënt komt overeen met de log-lineaire curve van menselijke regularisatie (Morgan en Levy, 2016) met $R^2 = 0,94$.
• P2 (Monotone Regulariteit): Morfologische patronen regulariseren in alle talen (bijvoorbeeld onregelmatige werkwoorden worden regelmatig), wat bevestigt dat de bias naar eenvoud wordt versterkt.
• P3 (Dimensiespecifieke Degradatie): Constructies degraderen in een specifieke volgorde: Pragmatisch (bijvoorbeeld clefts, retorische vragen) $\to$ Morfologisch $\to$ Syntactisch (bijvoorbeeld eenvoudige transitieve zinnen). Dit sluit aan bij de formele–functionele dissociatie in LLM's en de verankering in Constructiegrammatica ($r=0,73$).
• P4 (Niet-monotone Compositie – Kritieke Test):
  • Traject: Bij ongefilterde zelftraining stijgt de compositionele systematiciteit ($\sigma$) aanvankelijk (piekend rond generatie 3) voordat deze daalt. Dit niet-monotone traject blijft bestaan zelfs bij maximaal regelmatige zaaddata, waardoor ruisverwijdering wordt uitgesloten.
  • Filtereffect: Willekeurig filteren slaagt er niet in compositie te handhaven (het traject komt overeen met ongefilterd). Alleen kwaliteitsgebonden filteren (die communicatieve druk simuleert) handhaaft hoge compositie ($\sigma \approx 0,48$ bij generatie 10 versus $0,31$ voor ongefilterd).
  • Betekenis: Dit levert het eerste bewijs op LLM-schaal dat de compressie–communicatie-afweging de linguïstische structuur reguleert; compressie alleen leidt tot degeneratieve talen, terwijl communicatieve druk compositie in stand houdt.
• P5 (Verdelingsverkleining): Zipf-exponenten nemen monotoon af, wat verlies van de staart bevestigt.

Betekenis en Claims

Het artikel herformuleert model collapse niet louter als een statistisch falen, maar als een fenomeen van culturele transmissie.

• Verklarende Kracht: De theorie van geïtererd leren vult het gat dat door statistische accounts wordt gelaten door de volgorde en aard van linguïstische degradatie te verklaren (bijvoorbeeld waarom pragmatische constructies verdwijnen voordat syntactische constructies dat doen).
• Mens-LLM Parallellen: De nauwe overeenkomst tussen LLM-regularisatiegradiënten en menselijk gedragsdata suggereert dat frequentie-afhankelijke regularisatie voortkomt uit een frequentie-onafhankelijke bias naar eenvoud die interageert met een transmissiebottleneck, en niet uit een mens-specifieke cognitieve architectuur.
• Ontwerpimplicaties: De resultaten bieden concrete principes voor zelftrainingspijplijnen:
  1. Gebruik taakgebonden (kwaliteits)filtering in plaats van willekeurig filteren om gestructureerde output in stand te houden.
  2. Gebruik evaluatoren uit verschillende modelfamilies om verdelingsimitatie te voorkomen.
  3. Behandel bottleneckbreedte (bijvoorbeeld temperatuur, datavolume) als een instelbare parameter die de convergentiesnelheid naar de prior van het model reguleert.

De auteurs concluderen dat zonder communicatieve druk zelftraining onvermijdelijk leidt tot degeneratieve talen, terwijl kwaliteitsgebonden filteren het evenwicht tussen leerbaarheid en expressiviteit kan handhaven dat nodig is voor robuuste compositie.