Technische Samenvatting: Het Fenomeen van de Fairness Collapse

Probleemstelling

Naarmate door AI gegenereerde tekst de trainingscorpora van taalmodellen (LLM's) steeds vaker vervuilt, ontstaat er een kritiek risico op "model collapse": een fenomeen waarbij recursieve training op synthetische data leidt tot een progressief verlies van distributionele diversiteit en prestatievermindering. Hoewel eerder onderzoek heeft vastgesteld dat model collapse zich manifesteert als een afname in standaard taalmodellering-metrieken (bijv. perplexiteit) en prestaties bij downstream-taken, blijft het onduidelijk of dit proces bestaande sociale vooroordelen versterkt of juist afzwakt.

De auteurs hypothetiseren een specifieke faalmodus die zij "fairness collapse" noemen. Dit fenomeen stelt dat recursieve training op zelfgegenereerde data een feedbackloop creëert waarbij demografische stereotypen (specifiek de associatie tussen gender en beroep) stilletjes worden versterkt over opeenvolgende generaties. Cruciaal is dat de auteurs voorstellen dat deze versterking van vooroordelen kan optreden voordat traditionele indicatoren van model collapse (zoals een toename in perplexiteit of een daling in nauwkeurigheid) zichtbaar worden, wat een aanzienlijk risico vormt waarbij modellen degraderen in rechtvaardigheid terwijl ze in standaardmetrieken stabiel lijken of zelfs verbeteren.

Methodologie

Data en Model

• Dataset: De studie maakt gebruik van de Bias in Bios corpus, een collectie door mensen geschreven professionele biografieën geannoteerd met gender en beroep. Om de effecten van recursieve training te isoleren van inherente dataset-onbalans, hebben de auteurs een gebalanceerde subset samengesteld bestaande uit 27.752 biografieën over 28 beroepen (ongeveer 2 miljoen tokens).
• Basemodel: Experimenten werden uitgevoerd met Qwen2.5-0.5B.
• Trainingsregimes: De auteurs vergeleken drie gecontroleerde strategieën voor voortgezette pre-training (geïllustreerd in Figuur 2):
  1. Human-only: Herhaalde training op de oorspronkelijke menselijke corpus (baseline).
  2. Iterative Regeneration: Synthetische data wordt gegenereerd door het model uit de vorige iteratie ($M_{\theta_t}$), maar de volgende trainingsronde wordt geïnitialiseerd vanuit een vers basemodel ($M_{\theta_0}$). Dit isoleert het effect van geregenereerde data van cumulatieve parameterupdates.
  3. Recursive Contamination: Het model wordt continu getraind op zijn eigen gegenereerde outputs. $M_{\theta_t}$ genereert synthetische data en dient als de initialisatie voor de volgende trainingsiteratie ($M_{\theta_{t+1}}$), wat een gesloten feedbackloop creëert.

Synthetische Datageneratie

Er werden twee generatiestrategieën gebruikt om synthetische biografieën te creëren:

1. Seeded Generation: Modellen vervolgen door mensen geschreven prefixes (seeds) van variërende lengtes (5 tot 50 tokens). Dit maakt nauwkeurige controle mogelijk over de proportie door het model gegenereerde inhoud binnen een sample.
2. Few-Shot Generation: Modellen genereren biografieën op basis van prompts die $K=3$ door mensen geschreven voorbeelden van een specifiek beroep bevatten.

Evaluatieprotocol

• Fairness Metrieken:
  • Occupation Prediction Accuracy: Een paargewijde classificatietaak die bepaalt of een biografie overeenkomt met de ware beroepsgroep versus een semantisch gerelateerd alternatief.
  • Equality of Opportunity (EO) GAP: Meet de verschillen in true positive rates tussen mannelijke en vrouwelijke biografieën voor elk beroep. De geaggregeerde score is de root mean square (RMS) van de beroepsgebonden gaten.
  • Likelihood Asymmetry: Gekleurde conditionele likelihood-verschillen (NLL-GAP) die de verschillen in token-waarschijnlijkheid tussen genders binnen hetzelfde beroep meten.
  • Externe Benchmarks: CrowS-Pairs (stereotype voorkeur) en SoFA (sociale rechtvaardigheidsbias).
• Algemene Prestatie-metrieken:
  • Perplexity (PPL): Gemeten op de trainingsdata die bij elke iteratie wordt gebruikt.
  • MMLU: Multitask nauwkeurigheid over diverse domeinen (wetenschap, recht, geneeskunde, etc.) om algemene capaciteitsdegradatie te monitoren.
• Data Kwaliteitsmetrieken: Wasserstein-afstand (uitlijning van embedding-distributie) en MTLD (lexicale diversiteit).

Belangrijkste Resultaten

1. Degradatie van Fairness gaat vooraf aan Model Collapse

De centrale bevinding is dat degradatie van rechtvaardigheid (fairness) aanzienlijk eerder optreedt dan conventionele indicatoren van model collapse.

• In recursieve seeded training steeg de EO GAP van 13,18 (Iteratie 0) naar 19,38 (Iteratie 5).
• Tegelijkertijd verbeterde de perplexiteit (nam af) van 16,07 naar 10,55, en de MMLU-nauwkeurigheid daalde slechts geleidelijk (van 42,14 naar 32,08).
• Vergelijkbare trends werden waargenomen in few-shot generatie, waarbij de fairness-metrieken verslechterden ondanks een stabiele of verbeterende taalmodellering-prestatie in de vroege iteraties.

2. Amplificatie van Demografische Associaties

Recursieve training versterkte bestaande vooroordelen in plaats van willekeurige ruis te introduceren:

• Directional Drift: Vrouwelijk geassocieerde beroepen (bijv. "verpleegkundige") verschoven naar steeds negatievere EO-waarden (wat wijst op een sterkere bias tegen vrouwen in die rollen), terwijl mannelijk geassocieerde beroepen (bijv. "professor") naar positieve waarden driften.
• Likelihood Asymmetry: Metrieken zoals NLL-GAP en CrowS-Pairs vertoonden progressief sterkere demografische asymmetrieën over de iteraties heen, zelfs toen het vermogen van het model om het volgende token te voorspellen (perplexiteit) verbeterde.

3. Recursieve vs. Iteratieve Regimes

• Recursive Contamination produceerde de meest ernstige en monotone degradatie van rechtvaardigheid. Het cumulatieve effect van het updaten van hetzelfde model op zijn eigen outputs versnelde de amplificatie van vooroordelen.
• Iterative Regeneration (waarbij het basemodel telkens opnieuw wordt geïnitialiseerd) vertoonde een tragere en minder consistente degradatie van rechtvaardigheid, hoewel amplificatie van vooroordelen nog steeds aanwezig was. Dit sugggeert dat hoewel blootstelling aan bevooroordeelde synthetische data de primaire drijfveer is, de recursieve parameterupdate-loop het effect verergert.

4. Ontkoppeling van Lexicale Diversiteit en Rechtvaardigheid

Analyse van de lexicale diversiteit (MTLD) en Wasserstein-afstanden toonde aan dat verschuivingen in rechtvaardigheid kunnen accumuleren zelfs zonder dramatische oppervlakkige distributionele instorting. Terwijl MTLD-scores relatief stabiel bleven, bewogen de groep-geconditioneerde verschillen (EO GAP) aanzienlijk, wat aangeeft dat geaggregeerde metrieken er niet in slagen de erosie van rechtvaardigheid te vangen.

Betekenis en Claims

Het artikel claimt een specifieke vroegtijdige faalmodus in de training van taalmodellen te hebben geïdentificeerd: Fairness Collapse.

• Stille Amplificatie: De primaire betekenis is de demonstratie dat vooroordelen "stil" kunnen toenemen terwijl standaardmetrieken (perplexiteit, MMLU) suggereren dat het model goed presteert of zelfs verbetert. Dit daagt de aanname uit dat het monitoren van standaard taalmodellering-metrieken voldoende is om degradatie in modelveiligheid of rechtvaardigheid te detecteren.
• Risico van Synthetische Besmetting: Naarmate synthetische tekst een groter deel van web-corpora wordt, vormt de hier beschreven recursieve feedbackloop een kritiek risico. Modellen die op dergelijke data worden getraind, kunnen steeds meer bevooroordeeld raken tegen specifieke demografische groepen voordat er een duidelijke instorting in de kwaliteit van de generatie wordt gedetecteerd.
• Beperkingen: De auteurs merken bescheiden op dat hun bevindingen specifief zijn voor de Bias in Bios dataset (gender/beroep in het Engels), relatief kleine decoder-only modellen, en vaste generatieconfiguraties. Zij beweren niet dat deze resultaten universeel generaliseerbaar zijn naar alle model-schaalniveaus of gevoelige attributen zonder verdere validatie.

Concluderend levert dit werk empirisch bewijs dat de "vloek van recursie" zich verder uitstrekt dan alleen distributionele instorting en ook de stille amplificatie van sociale vooroordelen omvat, wat nieuwe monitoringstrategieën noodzakelijk maakt die specifiek rechtvaardigheidsmetrieken bijhouden naast traditionele prestatie-indicatoren.