💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

Deze paper introduceert een nieuw fijnafstappingskader dat Kullback-Leibler-divergentie en Kahneman-Tversky-optimalisatie combineert om de distributie van attributen zoals geslacht en sentiment in meervoudige LLM-generaties effectiever te controleren dan bestaande methoden.

Oorspronkelijke auteurs: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Het "Gokkastje" van de AI

Stel je voor dat een Large Language Model (LLM) – zoals de slimme chatbots die we vandaag de dag gebruiken – een enorme, hyper-intelligente gokkast is.

Normaal gesproken vragen mensen aan deze gokkast: "Vertel me een verhaal over een verpleegster." De machine denkt na en geeft je één antwoord. Als je dat 100 keer doet, krijg je 100 verschillende verhalen.

Het probleem:
De auteurs van dit paper ontdekten dat deze gokkast niet eerlijk is. Als je 100 keer vraagt om een verhaal over een verpleegster, zal de machine misschien 90 keer een vrouw in het verhaal zetten en slechts 10 keer een man.
Dit is een verdelingsovertreding (distributional bias). De machine volgt niet de werkelijkheid (waar ongeveer 10% van de verplegers mannen zijn) en volgt ook niet wat jij wilt (bijvoorbeeld: "Maak er 50% mannen en 50% vrouwen"). De machine heeft een eigen, vooroordeelachtig "geheugen" dat steeds weer dezelfde patronen herhaalt.

De Oplossing: Twee Handen die samenwerken

De onderzoekers hebben een nieuwe manier bedacht om deze gokkast te "hersenstomen" (fine-tuning) zodat hij precies doet wat jij wilt. Ze noemen hun methode een hybride doel, wat je kunt zien als het samenwerken van twee verschillende experts:

1. De "Stuurknop" (Steering Token) – De KL-Loss

Stel je voor dat je de machine een speciale stuurknop geeft. Voordat de machine een verhaal begint te schrijven, moet hij eerst op een knop drukken: "Man" of "Vrouw".

De taak: Deze knop moet precies zo vaak worden ingedrukt als jij wilt. Wil je 70% vrouwen? Dan moet de knop "Vrouw" 70% van de tijd worden gekozen.
De techniek: Ze gebruiken een wiskundige formule (KL-divergentie) om ervoor te zorgen dat de kans dat deze knop wordt ingedrukt, exact overeenkomt met jouw wens. Het is alsof je de frequentie van de knopdrukken streng regelt.

2. De "Verteller" (Semantic Alignment) – De KTO-Loss

Maar wacht even! Als de machine op de knop "Man" drukt, moet hij ook daadwerkelijk een verhaal schrijven over een man. Als hij op "Man" drukt en dan een verhaal schrijft over een vrouw, is dat een fout.

De taak: Deze tweede expert zorgt ervoor dat het verhaal logisch aansluit bij de knop die werd gedrukt.
De techniek: Ze gebruiken een methode genaamd KTO (Kahneman-Tversky Optimization). Dit is een soort "beloningssysteem" dat de machine leert: "Als je op de knop 'Man' drukt, moet je ook een mannelijk verhaal leveren. Anders krijg je geen punten."

Waarom werkt dit beter dan andere methoden?

In het verleden probeerden mensen dit op twee manieren:

Prompt Engineering: Je zegt tegen de machine: "Schrijf alsjeblieft 50% mannelijke verhalen."
- Resultaat: De machine luistert niet echt. Hij vergeet het na een paar zinnen of doet het halfslachtig.
DPO (Direct Preference Optimization): Dit is een standaardmethode om AI's te verbeteren.
- Resultaat: De machine wordt zo bang om een "fout" te maken, dat hij in één kant opgaat. Hij kiest bijvoorbeeld altijd voor de "veiligste" optie (bijvoorbeeld altijd een vrouw) in plaats van een eerlijke verdeling. Het is alsof je een kind probeert te leren om 50% appels en 50% peren te eten, maar het kind eet alleen maar appels omdat die het lekkerst lijken.

De nieuwe methode van dit paper combineert de strikte controle van de stuurknop (KL) met de logische controle van de verteller (KTO). Het resultaat is dat de machine precies de verdeling maakt die jij wilt, of dat nu de echte wereldstatistieken zijn of een volledig eerlijke 50/50 verdeling.

Wat hebben ze bewezen?

Ze hebben dit getest op verschillende taken:

Korte antwoorden: "Wat is het geslacht van een bouwvakker?" (Hier werkt het perfect).
Verhalen: "Schrijf een verhaal over een dag in het leven van een bouwvakker." (Hier is het moeilijker, maar ze werken nog steeds veel beter dan de concurrenten).

Ze hebben ook gekeken naar rassen en gevoelens (positief/negatief) en zagen dat hun methode daar ook werkt.

De Grootte van de Impact

Stel je voor dat je een schoolboek schrijft. Je wilt dat de voorbeelden in het boek eerlijk zijn: evenveel mannen als vrouwen in alle beroepen.

Zonder deze methode: De AI zou waarschijnlijk in 90% van de gevallen een mannelijke dokter en een vrouwelijke verpleegster bedenken, omdat dat is wat ze in hun trainingsdata hebben gezien.
Met deze methode: De AI wordt "geherprogrammeerd" om bewust te variëren. Je krijgt een boek waar de verdeling precies klopt met wat jij wilt, zonder dat de verhalen saai of onlogisch worden.

Conclusie

Deze paper zegt eigenlijk: "AI's zijn niet alleen slim, ze zijn ook statistisch vooroordeelsvol. Maar als we ze twee specifieke instructies geven (een knop om de verdeling te regelen en een regel om de logica te bewaken), kunnen we ze dwingen om eerlijk en voorspelbaar te zijn, zelfs als we ze duizend keer dezelfde vraag stellen."

Het is een stap in de richting van AI die niet alleen "slim" is, maar ook betrouwbaar en eerlijk in zijn uitkomsten.

Probleemstelling: Distributieve Bias in Meerdere Rondes

Hoewel Large Language Models (LLM's) inherent probabilistisch zijn, worden ze in de praktijk voornamelijk geëvalueerd op basis van een enkele generatieronde tegen een vaste "ground truth". Dit artikel identificeert een cruciaal probleem: distributieve bias.

Wanneer een LLM herhaaldelijk wordt gevraagd om dezelfde taak uit te voeren (bijvoorbeeld 100 keer onafhankelijk een verhaal schrijven over een verpleegkundige), vertoont de geaggregeerde uitkomst vaak een afwijking van de beoogde statistieken.

Realiteit: LLM's neigen ernaar om bestaande stereotypen te versterken (bijv. het oververtegenwoordigen van vrouwen in verpleegkundige rollen) of om onrealistische uniforme verdelingen te genereren, in plaats van te aligneren met werkelijke wereldstatistieken of een door de gebruiker gespecificeerde verdeling.
Huidige tekortkomingen: Bestaande methoden zoals prompt engineering, standaard instructie-finetuning (IFT) en Direct Preference Optimization (DPO) blijken onvoldoende om de totale verdeling van attributen (geslacht, ras, sentiment) over meerdere generaties nauwkeurig te controleren. DPO neigt bijvoorbeeld naar "mode-seeking" gedrag, waarbij het model convergeert naar één enkele "beste" respons in plaats van een gediversifieerde verdeling te handhaven.

Methodologie: Een Hybride Fine-Tuning Framework

De auteurs stellen een nieuw fine-tuning framework voor dat twee fasen combineert: het construeren van een bewust op verdeling gerichte voorkeursdataset en het trainen met een hybride objectief.

1. Data Constructie

Base Dataset: Er wordt een dataset gegenereerd die strikt voldoet aan de doelverdeling ( $P^*$ ). Bijvoorbeeld, als de doelstelling 90% mannelijk en 10% vrouwelijk is, worden 90% van de gegenereerde antwoorden gelabeld als mannelijk en 10% als vrouwelijk.
Voorkeursparen: Voor elke prompt $x$ $x$ worden voorkeursparen $(y_w, y_l)$ $(y_{w}, y_{l})$ geconstrueerd:
- Geaccepteerd ( $y_w$ ): Bestaat uit een "Stuurtoken" ( $\tau$ ) dat overeenkomt met het gewenste attribuut, gevolgd door de tekstuele respons.
- Geweigerd ( $y_l$ ): Bestaat uit een stuurtoken voor een niet-gewenst attribuut (geuniformeerd gesampled uit de resterende attributen) en een bijbehorende respons.

2. Het Hybrid Objectief (KL + KTO)

Het kerninnovatie is een trainingsdoel dat twee componenten combineert:

Stuurtoken Calibratie (KL Divergentie Loss - $L_{KL}$ ):
- Het model krijgt een vocabulaire met speciale "Stuurtokens" (bijv. 0 voor man, 1 voor vrouw) die voorafgaan aan de tekstuele respons.
- De $L_{KL}$ loss zorgt ervoor dat de waarschijnlijkheid dat het model een specifiek stuurtoken genereert, exact overeenkomt met de doelverdeling $P^*$ . Dit fungeert als een "macro-controller" voor de statistische verdeling.
- Formule: $L_{KL}(\theta) = \mathbb{E}_{x \sim D} [D_{KL} (P^*(\cdot|x) \parallel P_\theta(\cdot|x))]$
Semantische Alignering (Kahneman-Tversky Optimization - $L_{KTO}$ ):
- De KL-loss garandeert alleen dat het juiste token wordt gekozen, niet dat de daaropvolgende tekst semantisch consistent is met dat token.
- $L_{KTO}$ wordt gebruikt om te zorgen dat de tekstuele respons daadwerkelijk overeenkomt met het gekozen attribuut (bijv. dat een tekst na een "vrouwelijk" token ook daadwerkelijk over een vrouwelijke persoon gaat).
- In tegenstelling tot DPO, dat strikte paren vergelijkt, definieert KTO een waarde-functie voor individuele voorbeelden (wenselijk vs. ongewenst), wat zorgt voor een stabielere training zonder de delicate probabilistische kalibratie te verstoren.

Totale Loss: $L_{total} = L_{KTO} + L_{KL}$

3. Inferentie Strategie

Tijdens het genereren volgt het model een twee-staps proces:

Token Sampling: Eerst wordt een stuurtoken $\hat{\tau}$ gesampled op basis van de kalibratie (die de doelverdeling volgt).
Respons Generatie: Vervolgens wordt de tekstuele respons autoregressief gegenereerd, gekonditioneerd op het gesamplede token.

Belangrijkste Resultaten

De methode is getest op zes datasets (UK/US beroepen, Geslacht, Ras, Sentiment) met verschillende modelarchitecturen (Qwen en Llama families).

Superieure Prestatie: De voorgestelde methode ("Ours") presteert significant beter dan alle baselines (Zero-shot, Prompt Engineering, IFT, en DPO).
- Op de Qwen2.5-7B-model werd de gemiddelde Mean Absolute Error (MAE) verlaagd van 0.135 (IFT) naar 0.085, een verbetering van 37%.
- DPO faalde catastraal in dit scenario (vaak met een MAE van 0.50), wat bevestigt dat standaard preferentie-optimalisatie niet geschikt is voor het handhaven van verdelingen.
Robuustheid: De methode is stabiel over verschillende decoding-parameters (temperature, top-p, top-k) en werkt zowel voor korte attributegeneratie als voor langere verhaalgeneratie (hoewel langere verhalen uitdagender blijven).
Generalisatie: Het model generaliseert goed naar onbekende beroepen die niet in de trainingsdata zaten, wat aantoont dat het de verdeling leert te controleren in plaats van alleen patronen te memoriseren.
Geen Verlies van Algemene Capabiliteiten: Evaluatie op benchmarks zoals MMLU, GSM8K en TruthfulQA toont aan dat de fine-tuning geen negatief effect heeft op de algemene kennis of redeneercapaciteiten van het model.

Ablatie Studies

Zonder de KL-loss (alleen KTO) verslechtert de prestatie drastisch, wat aantoont dat de token-calibratie de basis is voor de verdelingscontrole.
Zonder de KTO-loss (alleen KL) is de prestatie beter dan zonder KL, maar slechter dan de volledige methode, wat aangeeft dat semantische consistentie essentieel is.
Het vervangen van KTO door DPO leidt tot instabiliteit, wat de superioriteit van de KTO-approach voor dit specifieke doel bevestigt.

Significantie en Conclusie

Dit artikel biedt een fundamentele bijdrage aan het veld van LLM-veiligheid en eerlijkheid door het probleem van distributieve bias in meervoudige generaties aan te pakken.

Praktische Toepassing: Het stelt ontwikkelaars in staat om LLM's te sturen naar specifieke, door de gebruiker gewenste verdelingen (bijv. voor educatieve doeleinden waar gelijke vertegenwoordiging nodig is) of om ze te aligneren met realistische demografische data voor toepassingen zoals medische diagnostiek of marktonderzoek.
Methodologische Doorbraak: Het combineert succesvol statistische kalibratie (via KL-divergentie) met semantische controle (via KTO), een aanpak die effectiever is dan bestaande technieken die zich richten op individuele responskwaliteit in plaats van verdelingskwaliteit.
Ethiek: De auteurs benadrukken dat het doel van de verdeling (bijv. realistisch vs. uniform) context-afhankelijk is en dat het kiezen van de juiste doelverdeling een ethische afweging vereist om maatschappelijke ongelijkheden niet per ongeluk te versterken.

Kortom, deze studie levert een robuust, reproduceerbaar framework om de probabilistische aard van LLM's te beheersen, zodat ze niet alleen "juiste" antwoorden geven, maar ook de juiste statistische verdeling van antwoorden over tijd en herhaling.