💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

Het artikel introduceert Diverse-NS, een lengte-gecontroleerde dataselectiestrategie die de systematische bias naar kortere outputs in taalmodellen vermindert, waardoor de diversiteit en expressiviteit van reacties bij diverse creatieve taken aanzienlijk wordt verbeterd terwijl de kwaliteit behouden blijft.

Oorspronkelijke auteurs: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Gepubliceerd 2026-02-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Kort en Saai" Valstrik

Stel je voor dat je een zeer getalenteerde schrijver hebt (een Large Language Model) die is getraind om behulpzaam, veilig en beleefd te zijn. Je vraagt de schrijver om een verhaal te schrijven.

Het probleem is dat de schrijver, in een poging om "perfect" en veilig te zijn, is gaan handelen als een zenuwachtige student die een toets maakt. Ze zijn bang om te veel te schrijven omdat ze denken dat kortere antwoorden betere antwoorden zijn.

Waarom? Omdat de tools die worden gebruikt om hun werk te beoordelen (diversiteitsmetingen) kapot zijn. Deze tools zijn als een rechter die denkt dat een zin van 3 woorden "creatiever" is dan een paragraaf van 30 woorden, simpelweg omdat hij korter is. De schrijver merkt dit op en begint je korte, veilige, repetitieve antwoorden te geven om een goed cijfer te halen.

De auteurs noemen dit de "Brevity Bias" (Kortheidsvooroordeel). Het is als een chef die stopt met het toevoegen van kruiden omdat de proever alleen van flauw eten houdt. Het resultaat is dat de AI minder creatief, minder expressief wordt, en uiteindelijk beginnen alle AI-outputs precies hetzelfde te klinken (een fenomeen genaamd "model collapse").

De Oplossing: "Diverse, not Short" (Diverse-NS)

De auteurs hebben een nieuwe strategie ontwikkeld genaamd Diverse, not Short (Diverse-NS). Zie dit als een nieuw trainingsprogramma voor de schrijver dat het kapotte beoordelingssysteem repareert.

Zo werkt het, stap voor stap:

Het "Twee-Ontwerpen-Spel":
De onderzoekers vragen de AI om twee keer een verhaal te schrijven.
- Ontwerp A: De AI schrijft natuurlijk (zijn standaard, vaak saaie stijl).
- Ontwerp B: De AI krijgt de opdracht om het verhaal te herschrijven met een specifieke regel: "Maak het interessanter en gevarieerder, maar houd exact dezelfde lengte aan als Ontwerp A."
De "Eerlijke Rechter" Filter:
Normaal gesproken, als je om meer creativiteit vraagt, wordt de tekst langer. Maar de onderzoekers hebben een strikte regel: Als Ontwerp B langer is dan Ontwerp A, gooi het dan weg.
Ze houden alleen de paren over waarbij de "creatievere" versie ongeveer dezelfde lengte heeft als de "saaie" versie. Dit leert de AI: "Je kunt creatief zijn zonder woordenrijk te zijn."
De "Kleine Leraar" Truc:
De onderzoekers ontdekten iets verrassends. Een kleiner, goedkoper AI-model (zoals een model met 7 miljard parameters) kan fungeren als een "diversiteitsleraar" voor een veel groter, duurder AI-model (zoals een model met 13 miljard parameters).
- Analogie: Stel je een kleine, eigenwijze lokale kunstenaar voor die een beroemde, high-budget studio leert om unieker te schilderen. De kleine kunstenaar weet hoe hij de regels creatief kan breken, en de grote studio leert van hem. Dit bespaart veel geld en rekenkracht.

De Resultaten: Meer Smaak, Dezelfde Grootte

De onderzoekers hebben dit getest op vier verschillende creatieve taken:

Divergente Associaties: Woorden opsommen die heel verschillend van elkaar zijn.
Persona Generatie: Unieke personageprofielen creëren (namen, beroepen, steden).
Alternatieve Gebruiken: Rare manieren bedenken om een alledaags object te gebruiken (zoals een baksteen).
Creatief Schrijven: Korte verhalen schrijven met behulp van drie willekeurige woorden.

Wat gebeurde er?

Meer Variatie: De modellen die getraind zijn met "Diverse, not Short" produceerden veel meer gevarieerde en interessante outputs. Ze gebruikten meer unieke woorden en ideeën.
Geen Verlies in Kwaliteit: Normaal gesproken, wanneer je dingen diverser maakt, worden ze van mindere kwaliteit (zoals een slordig, chaotisch verhaal). Maar hier bleef de kwaliteit hoog. In sommige gevallen werd het zelfs beter.
Efficiëntie: Ze hadden slechts 3.000 voorbeelden nodig om het model deze nieuwe vaardigheid te leren. Dat is alsoals een student een paar uur lesgeven in plaats van jarenlang.

Het Nieuwe Instrument: De "Diversity Decile"

De auteurs realiseerden zich ook dat de oude instrumenten om creativiteit te meten oneerlijk waren tegenover lange antwoorden. Daarom hebben ze een nieuwe liniaal uitgevonden genaamd Diversity Decile.

De Analogie: Stel je een race voor. De oude liniaal mat alleen hoe snel je rende, maar negeerde dat sommige hardlopers zware rugzakken hadden (lange tekst) en anderen niet (korte tekst).
De Nieuwe Liniaal: De "Diversity Decile" kijkt naar hoe snel je rende relatief aan andere hardlopers met dezelfde maat rugzak. Het vraat: "Is dit lange verhaal creatiever dan andere lange verhalen?" Dit zorgt ervoor dat lange, expressieve antwoorden de erkenning krijgen die ze verdienen.

Samenvatting

Het artikel betoogt dat AI-modellen te kort en repetitief zijn geworden omdat de manier waarop we "creativiteit" meten, per ongels kortheid beloont.

Door een strategie te gebruiken genaamd Diverse, not Short, hebben de auteurs modellen geleerd om creatief te zijn zonder hun antwoorden langer te maken. Dit deden ze door:

Een saai ontwerp te vergelijken met een creatief ontwerp van de zelfde lengte.
Een kleinere, goedkopere AI te gebruiken om een grotere AI te leren hoe hij divers kan zijn.
Een nieuwe, eerlijkere liniaal te creëren om creativiteit te meten die lange antwoorden niet bestraft.

Het resultaat is AI die expressiever en creatiever is, en nog steeds van hoge kwaliteit, terwijl het trainen goedkoper en sneller is.

Technische Samenvatting: Diverse, not Short (Diverse-NS)

Probleemstelling

Hoewel alignment-technieken (instructie-afstemming en voorkeursoptimalisatie) Large Language Models (LLM's) veiliger en behulpzamer hebben gemaakt, verminderen ze vaak onbedoeld de diversiteit van de outputs van modellen. Deze reductie in diversiteit belemmert creatieve ideatie, verhoogt de homogeniteit van de output en kan leiden tot "model collapse" wanneer modellen herhaaldelijk worden getraind op hun eigen afgestemde outputs.

Een cruciale, vaak over het hoofd geziene verwarrende factor in dit probleem is tekstlengte. Het paper betoogt dat standaard diversiteitsmetrieken (bijv. entropie, Type-Token Ratio) en zelfs beloningsmodellen gebruikt voor voorkeursoptimalisatie (zoals ArmoRM) een systematische bias vertonen naar kortere outputs. Omdat deze metrieken vaak hogere scores toekennen aan kortere passages, stimuleert het optimaliseren hiervan modellen om beknopt te zijn in plaats van expressief. Deze "brevity bias" (beknoptheidsbias) ondermijnt de creativiteit die deze modellen juist zouden moeten cultiveren, met name bij open eind taken waar diepgang en nuance vereist zijn.

Methodologie: Diverse, not Short (Diverse-NS)

De auteurs stellen Diverse, not Short (Diverse-NS) voor, een lengte-gecontroleerde dataselectiestrategie die ontworpen is om de respons-diversiteit te verbeteren terwijl de lengte-pariteit tussen geprefereerde en afgewezen responsen behouden blijft. Het framework opereert binnen een self-learning loop bestaande uit drie hoofdfasen:

1. Datageneratie

De auteurs maken gebruik van een creatieve schrijftaak (het genereren van verhalen van 5 zinnen met drie specifieke woorden) om diverse responsen op te roepen.

Sequential Prompting: In plaats van een enkele inferentie, gebruikt het proces twee stappen. Eerst genereert het model een natuurlijke respons ( $r_1$ ). Daarna wordt het model geprompt om het verhaal te herschrijven met extra restricties gericht op het verminderen van herhaling en het vergroten van diversiteit, wat een tweede respons ( $r_2$ ) genereert.
Schaal: Dit proces genereert 200.000 tupels van (prompt, $r_1$ , $r_2$ ) voor zowel LLaMA-3.1-8B als Olmo-2-7B.

2. Datafiltratie (De Kerninnovatie)

Om hoogwaardige voorkeursparen te creëren voor Direct Preference Optimization (DPO), filteren de auteurs de gegenereerde data op basis van vier strikte criteria die in volgorde worden toegepast:

Kwaliteitsdrempel: De kwaliteit van $r_2$ moet groter dan of gelijk aan het 50e percentiel van alle $r_1$ kwaliteitsscores zijn.
Kwaliteitsverbetering: De kwaliteit van $r_2$ moet strikt groter zijn dan die van $r_1$ .
Diversiteitsverbetering: De diversiteit van $r_2$ moet strikt groter zijn dan die van $r_1$ .
Lengte-pariteit: Het absolute verschil in woordenaantal tussen $r_1$ en $r_2$ mag maximaal vijf woorden zijn.

Deze lengtebeperking is cruciaal om de selectie van kortere, "makkelijkere" diverse responsen te voorkomen.

Metrieken: De primaire methode gebruikt Entropie voor diversiteit en ArmoRM scores voor kwaliteit.
Diverse-NS-Lite: Om de computationele kosten te verlagen (aangezien het berekenen van entropie en ArmoRM meerdere inferentie-passes vereist), introduceren de auteurs een lichtgewicht variant. Deze vervangt Entropie door Type-Token Ratio (TTR) en ArmoRM door de MAAS-index, die in hun analyse de hoogste correlatie met de originele metrieken vertoonden.

3. Preference Tuning

De gefilterde dataset wordt beperkt tot 3.000 voorkeursparen (geselecteerd door te sorteren op entropiewinst) om het basismodel te finetunen met Direct Preference Optimization (DPO). De auteurs onderzoeken ook "small-to-large" transfer, waarbij data gegenereerd door een kleiner model (Olmo-7B) wordt gebruikt om een groter model (Olmo-13B) te trainen.

4. Lengte-gecorrigeerde Evaluatie

Om de evaluatiebias aan te pakken, introduceren de auteurs $\Delta$ Diversity Decile ( $\Delta$ DD).

Zij bouwen een deciel-map gebaseerd op 800.000 verhalen, waarbij responsen worden gegroepeerd naar woordenaantal en diversiteitsdrempels voor elke lengte worden berekend.
Tijdens de evaluatie krijgt een nieuwe respons een deciel-rang gebaseerd op zijn lengte en diversiteitsscore relatief aan de map.
$\Delta$ DD wordt berekend als het verschil tussen de deciel-score van het getunede model en die van het basismodel, om te garanderen dat de diversiteitswinsten niet simpelweg artefacten zijn van een toegenomen lengte.

Belangrijkste Bijdragen

Diverse-NS Strategie: Een dataselectiemethode die de respons-diversiteit voor LLaMA-3.1-8B en Olmo-2-7B significant verbetert met slechts 3.000 voorkeursparen, waarbij expliciet wordt gecontroleerd voor de lengtebias.
Diverse-NS-Lite: Een computationeel efficiënte variant die gebruikmaakt van proxy-metrieken (TTR en MAAS) die vergelijkbare prestaties leveren als de volledige methode terwijl de filterkosten drastisch worden verlaagd.
Small-to-Large Transfer: Bewijs dat kleinere modellen (bijv. Olmo-2-7B) effectieve "diversiteitsleraren" kunnen dienen voor grotere modellen (bijv. Olmo-2-13B), wat kosteneffectieve diversiteits-alignment mogelijk maakt.
Lengte-gecorrigeerde Metriek: De introductie van Diversity Decile, een metriek die diversiteitsscores aanpast voor tekstlengte om de brevity bias in evaluatie te voorkomen.
Dataset Release: Een hoogwaardige dataset van 6.000 voorkeursparen gegenereerd van LLaMA-3.1-8B en Olmo-2-7B.

Resultaten

De auteurs evalueerden de methode op vier creatieve generatietaken: Divergent Associations (DAT), Persona Generation (PGT), Alternate Uses (AUT) en Creative Writing (CWT).

Diversiteitswinsten: Zowel Diverse-NS als Diverse-NS-Lite presteerden consequent beter dan de basismodellen en de DivPO-baseline (een recente methode die geen controle uitoefent op lengte) over alle taken en modelgroottes heen.
- In de DAT en PGT taken produceerden de methoden aanzienlijk meer unieke woorden, namen, steden en beroepen.
- In CWT behaalde Diverse-NS de hoogste Divergent Semantic Integration (DSI) scores en 4-gram diversiteit.
Statistische Significantie: Onafhankelijke t-testen bevestigden dat D-NS en D-NS-Lite significant meer diverse responsen produceren dan het basismodel en DivPO (p < 0,001 voor D-NS vs. Base). Het verschil tussen D-NS en D-NS-Lite was niet statistisch significant, wat de efficiëntie van de Lite-versie valideert.
Kwaliteitsbehoud: Hoewel er vaak een trade-off is tussen diversiteit en kwaliteit, behield Diverse-NS de kwaliteit (gemeten via ArmoRM) of verbeterde deze zelfs licht in verschillende gevallen (bijv. Olmo-7B en Olmo-13B). In gevallen waar de kwaliteit licht daalde, waren de absolute diversiteitswaarden nog steeds hoger dan die van het basismodel, en menselijke evaluatie bevestigde dat de diversiteitswinsten waarneembaar en geprefereerd waren.
Menselijke Evaluatie: In paar-vergelijkingen op CWT gaven menselijke annotatoren in de meerderheid van de gevallen de voorkeur aan D-NS boven het basismodel en DivPO (win rates tot 72,73% tegenover DivPO).

Betekenis en Claims

Het paper claimt dat door expliciet de lengtebias aan te pakken die inherent is aan zowel dataselectie als diversiteitsmetrieken, Diverse-NS een praktische en schaalbare oplossing biedt voor het vergroten van de diversiteit in afgestemde LLM's zonder de kwaliteit op te offeren.

Efficiëntie: De methode bereikt substantiële verbeteringen met een zeer kleine dataset (3k paren) en minimale trainingstijd (minder dan twee uur op een enkele GPU).
Toegankelijkheid: Door aan te tonen dat kleinere modellen als diversiteitsleraren kunnen fungeren en door een lichtgewicht filtering-variant aan te bieden, verlaagt dit werk de middelenbarrière voor diversiteitsbewuste alignment.
Fundamentele Verschuiving: De auteurs stellen dat eerdere mislukkingen om diversiteit te verbeteren mogelijk voortkomen uit de niet-geadresseerde brevity bias in metrieken. Hun werk legt een fundament voor meer expressieve taalgeneratie door diversiteit los te koppelen van beknoptheid.

De auteurs merken bescheiden de beperkingen op, waaronder de afhankelijkheid van een enkele diversiteitsmetriek voor filtratie, de focus op een enkele taak (verhaal schrijven), en de onderzoek naar slechts één ronde van self-training. Zij suggereren dat toekomstig werk multi-metriek optimalisatie en multi-round self-learning zou moeten verkennen.