💬 NLP

Where does output diversity collapse in post-training?

Deze studie toont aan dat de ineenstorting van outputdiversiteit in nagestelde taalmodellen voornamelijk wordt veroorzaakt door de samenstelling van de trainingsdata tijdens het trainingsproces, en niet door het generatieformaat of inferentiemethoden.

Oorspronkelijke auteurs: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Waarom worden slimme chatbots steeds saaier? Een onderzoek naar het "verlies van creativiteit"

Stel je voor dat je een groep jonge, nieuwsgierige studenten hebt (de basis AI-modellen). Ze zijn slim, maar soms wat chaotisch. Ze kunnen een verhaal schrijven, een wiskundig probleem oplossen of een code schrijven op duizenden verschillende manieren. Ze zijn divers, net als een echte klas.

Om ze "betrouwbaarder" en "hulpvaardiger" te maken, ondergaan ze een speciale training (de post-training). Dit is als een strenge schoolopleiding waar ze leren wat de "beste" antwoorden zijn. Maar er is een probleem: na deze training zijn ze niet alleen beter, ze zijn ook extreem saai. Ze geven allemaal precies hetzelfde antwoord, alsof ze een kopieerapparaat zijn geworden.

Deze studie van onderzoekers aan de Universiteit van Sheffield vraagt zich af: Waar gaat die diversiteit precies verloren? Is het de methode van lesgeven, of is het de inhoud van de lesboeken?

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen.

1. De drie verschillende scholen

De onderzoekers keken naar drie verschillende "scholen" die allemaal dezelfde basisstudenten (het Olmo 3-model) opleiden, maar met een andere aanpak:

De "Think"-school (De Denkers): Deze studenten krijgen les van twee specifieke leraren die heel goed zijn in logisch redeneren (Chain-of-Thought). Ze moeten eerst hun gedachten opschrijven voordat ze antwoorden.
De "Instruct"-school (De Instructeurs): Deze studenten krijgen les van veel verschillende bronnen (zoals GPT-3.5, GPT-4, enzovoort). Ze leren van een brede mix van voorbeelden en hoeven niet altijd eerst te "denken" in het openbaar.
De "RL-Zero"-school (De Zelfleraren): Deze studenten krijgen geen lesboeken. Ze leren puur door zelf te proberen en direct feedback te krijgen op hun antwoorden (beloning of straf), zonder tussenkomst van leraren.

2. Het grote geheim: Het is niet de methode, maar de lesboeken

Het verrassende resultaat is dat waar de diversiteit verdwijnt, afhangt van wat ze hebben geleerd, niet van hoe ze werden getraind.

Bij de "Think"-school: De diversiteit stort in tijdens de eerste lesfase (Supervised Fine-Tuning). Omdat ze alleen van twee leraren leren, worden ze al snel een spiegel van die twee. Het is alsof je een kind alleen maar laat luisteren naar twee zussen; het kind gaat precies zoals zij praten en denkt. Zodra ze die twee stemmen hebben overgenomen, is er weinig ruimte meer voor eigen creativiteit.
Bij de "Instruct"-school: De eerste lesfase is minder erg, omdat ze van zoveel verschillende bronnen leren. Maar dan komt de tweede fase (DPO, een soort "keuzetraining" waar ze leren wat mensen niet leuk vinden). Hier wordt de diversiteit hard weggeveegd. Het is alsof de leraar zegt: "Alles wat niet perfect is, mag je niet meer doen." Hierdoor worden ze extreem uniform.

Conclusie: Als je wilt dat je AI divers blijft, moet je zorgen voor een brede mix van lesmateriaal (veel verschillende leraren), niet alleen een paar "perfecte" voorbeelden.

3. Het "Denkproces" is niet de boosdoener

De "Think"-school gebruikt een trucje: ze laten de AI eerst haar gedachten opschrijven (Chain-of-Thought) voordat ze het antwoord geeft. Sommigen dachten: "Misschien maakt dat lange denkproces de AI saai?"

De onderzoekers deden een experiment: ze lieten de "Denkers" niet meer denken, maar direct antwoorden geven.

Het resultaat: De AI werd niet diverser. Ze bleef saai.
De les: De saaiheid zit niet in de vorm van het antwoord (met of zonder gedachten), maar zit diep in het brein van de AI (in de gewichten). De AI heeft tijdens het leren geleerd dat er maar één "goed" antwoord is. Het is als een pianist die een liedje zo vaak heeft geoefend dat hij geen andere variaties meer kan bedenken, ongeacht of hij nu hard of zacht speelt.

4. Saaie antwoorden zijn soms goed, soms slecht

Niet alle verlies van diversiteit is even erg. De onderzoekers keken naar twee soorten "saaier worden":

Het verwijderen van fouten (Goed): Bij wiskundige problemen is het fijn als de AI alleen het juiste antwoord geeft. Als de AI 16 keer een fout antwoord geeft en 1 keer een goed antwoord, is het "saai" worden (alleen het goede antwoord geven) eigenlijk een verbetering. Het is alsof een leraar alle fouten uit een werkboek verwijdert.
Het uniform maken van goede antwoorden (Slecht): Bij creatieve taken (zoals een verhaal schrijven) of ethische vragen (wat vind je van een controversieel onderwerp?), is saaiheid slecht. Als de AI altijd precies hetzelfde verhaal vertelt of altijd hetzelfde standpunt inneemt, verliest ze haar menselijkheid. Hier is de "saaiheid" een verlies aan perspectief.

5. Wat betekent dit voor de toekomst?

De boodschap is duidelijk: Je kunt de saaiheid niet oplossen door de AI later "los te laten" (tijdens het gebruik).

Als je een AI hebt getraind met te weinig variatie in de lesboeken, is ze al "gebroken" voordat ze begint.
Om een diverse AI te krijgen, moet je tijdens het trainen zorgen voor een enorme, gevarieerde mix van data (veel verschillende leraren, veel verschillende stijlen).
Het toevoegen van een "denkproces" (Chain-of-Thought) helpt bij de nauwkeurigheid, maar maakt de AI niet creatiever.

Kort samengevat:
Stel je voor dat je een bakker bent. Als je alleen maar bloem van één specifieke boer gebruikt (smalle data), krijg je altijd dezelfde smaak brood, hoe goed je ook kneedt (de trainingsmethode). Wil je een gevarieerde bakkerij? Dan moet je bloem van veel verschillende boeren kopen. De saaiheid zit in de ingrediënten, niet in de oven.

Probleemstelling

Gefine-tuned taalmodellen (LLMs) produceren na het post-training proces (zoals SFT, DPO en RLHF) aanzienlijk minder gevarieerde output dan hun basisversies. Dit fenomeen, bekend als output diversity collapse (instorting van output-diversiteit), ondermijnt methoden voor inferentie-tijd schaling (zoals self-consistency en pass@k sampling) en riskeert het homogeniseren van modeloutput bij creatieve en waarde-beladen taken.

Bestaand onderzoek schrijft deze instorting vaak toe aan specifieke algoritmen (bijv. DPO of RLHF), maar faalt erin om het effect van de samenstelling van de trainingsdata te scheiden van het effect van de trainingsmethode zelf. Ook is het onduidelijk of de instorting wordt veroorzaakt door de generatie-indeling (bijv. Chain-of-Thought) of door de geleerde modelweegs.

Methodologie

De auteurs voeren een gecontroleerde experimentele studie uit met de Olmo 3 model-familie (7B parameters). Ze volgen drie parallelle post-training lijnen (lineages) die elk dezelfde drie fasen doorlopen (SFT $\to$ DPO $\to$ RL), maar verschillen in data en strategie:

Think-lijn: Getraind op synthetische Chain-of-Thought (CoT) redeneringssporen van twee leraren (QwQ-32B en DeepSeek-R1).
Instruct-lijn: Getraind op een breder, multi-bron dataset (GPT-3.5/4, etc.) waarbij de CoT-sporen worden verwijderd en de focus ligt op directe instructie-opvolging.
RL-Zero-lijn: Reinforcement Learning direct toegepast op het basismodel, waarbij SFT en DPO volledig worden overgeslagen.

Experimentele opzet:

Tasks: Evaluatie over 15 verschillende taken (samenvatting, code, redenering, instructie-opvolging, creatief schrijven, waarde-pluralisme).
Metrics: Vier diversiteitsmaten:
- EAD: Lexicale diversiteit (unieke n-grams).
- SBERT: Semantische diversiteit (cosine-afstand tussen zinsembeddings).
- NLI: Logische diversiteit (mate van wederzijdse implicatie of tegenstrijdigheid).
- Vendi Score: Het effectieve aantal verschillende output-modi.
Aanvullende experimenten:
- CoT-suppressie: Bij de "Think"-modellen wordt de CoT-generatie tijdens inferentie onderdrukt (directe antwoorden) om te testen of het format de oorzaak is.
- Kwaliteit-gefilterde analyse: Diversiteit wordt opgesplitst in een "kwaliteitscomponent" (verwijdering van foutieve antwoorden) en een "residu-component" (echte verenging onder correcte antwoorden).

Belangrijkste Bijdragen

Data-samenstelling bepaalt de instortingslocatie: De auteurs tonen aan dat waar de diversiteit instort, sterk correleert met de samenstelling van de trainingsdata en niet alleen met het algoritme.
Instorting zit in de weegs, niet in het format: Het onderdrukken van CoT tijdens inferentie herstelt geen diversiteit, wat bewijst dat de instorting in de modelweegs is ingebakken tijdens het trainen.
Taak-afhankelijke trade-offs: De verdeling tussen "nuttige" diversiteitsreductie (verwijdering van fouten) en "schadelijke" homogenisatie (verlies van correcte variatie) is afhankelijk van de taak.

Resultaten

1. De locatie van de instorting varieert per lijn:

Think-lijn: Er is een enorme instorting (62% verlies aan SBERT-diversiteit) tijdens de SFT-fase. Dit komt door de smalle data van slechts twee leraren. De DPO-fase heeft hier weinig extra effect omdat de diversiteit al op een bodem is gekomen.
Instruct-lijn: De SFT-fase heeft minder impact (38% verlies) dankzij de bredere multi-bron data. De grootste instorting treedt echter op tijdens de DPO-fase (23% extra verlies), waar het algoritme agressief de "staarten" van de verdeling wegneemt.
RL-Zero: Deze lijn, die SFT en DPO omzeilt, behoudt de meeste diversiteit (93% van de basisdiversiteit), wat aantoont dat supervisie en preferentie-optimalisatie de hoofdoorzaken zijn.

2. CoT is een betrouwbaarheidsmechanisme, geen diversiteitsbeperker:

Het verwijderen van CoT-sporen bij de "Think"-modellen tijdens inferentie leidt tot een daling in nauwkeurigheid (vooral bij moeilijke taken zoals wiskunde en code), maar herstelt geen diversiteit.
De output blijft even uniform, ongeacht of het model redeneert of direct antwoordt. Dit bevestigt dat de diversiteitsinstorting een eigenschap is van de geleerde verdeling (weights), niet van het output-formaat.

3. Kwaliteit vs. Echte Homogenisatie:

Bij wiskundige taken (bijv. GSM8K) is een groot deel van de diversiteitsdaling toe te schrijven aan het verwijderen van incorrecte antwoorden (kwaliteitscontrole).
Bij creatieve schrijftaken en waarde-pluralisme (bijv. PRISM, WritingPrompts) is de verenging echter "echt": zelfs onder de correcte of hoogwaardige antwoorden zijn er minder variaties.
Gevolg: Modellen met een hoge instorting (zoals Think) profiteren minder van inferentie-tijd schaling (bijv. meer samples nemen) omdat de extra samples vaak identiek zijn. RL-Zero-modellen, hoewel minder accuraat op enkele taken, behouden meer variatie in correcte antwoorden en profiteren meer van sampling.

Betekenis en Conclusie

De studie concludeert dat output-diversiteit instorting primair wordt bepaald door de samenstelling van de trainingsdata tijdens het post-training proces, en niet louter door de gekozen optimalisatie-algoritmen.

Praktische implicaties: Om diversiteit te behouden, moeten practitioners de bron van hun SFT-data verbreden (meer leraren, diverse stijlen) in plaats van alleen te vertrouwen op algoritme-aanpassingen.
Beperkingen van huidige methoden: Het gebruik van smalle datasets (zoals twee leraren voor CoT) leidt tot een onherroepelijke "diversiteitsvloer" die niet kan worden opgeheven door inferentie-tijd trucjes.
Toekomst: Er is een behoefte aan methoden die diversiteit selectief behouden waar deze nuttig is (bijv. creatief schrijven, ethische discussies) en onderdrukken waar het schadelijk is (bijv. feitelijke fouten), en onderzoek naar het verlagen van de "diversiteitsvloer" door veranderingen in de preferentie-optimalisatie-doelfunctie.

Kortom: Data is de drijvende kracht achter diversiteitsverlies; algoritmen zijn slechts de uitvoerders.