💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

Diese Arbeit stellt einen neuartigen Feinabstimmungsrahmen vor, der durch die Kombination von Steering Token Calibration und Semantic Alignment mittels einer hybriden KL-Divergenz- und Kahneman-Tversky-Optimierung die Verteilungsbias in mehrstufigen LLM-Generierungen effektiv kontrolliert, wo herkömmliche Methoden versagen.

Ursprüngliche Autoren: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Glücksrad"-Effekt bei KI

Stell dir vor, du hast einen sehr klugen, aber etwas voreingenommenen Koch (die KI), der dir Geschichten über verschiedene Berufe erzählt. Wenn du ihn einmal fragst: „Erzähl mir eine Geschichte über eine Krankenschwester", sagt er vielleicht: „Eine Frau namens Maria." Das ist okay.

Aber was passiert, wenn du ihn 100 Mal hintereinander (unabhängig voneinander) fragst?

Der echte Koch (die KI) könnte 90 Mal „Maria" und nur 10 Mal „Hans" sagen.
Das liegt daran, dass die KI aus alten Daten gelernt hat, dass Krankenschwestern oft Frauen sind. Sie wiederholt also unbewusst dieses alte Muster.

Das ist das Problem: Die KI versteht nicht, dass sie in einer großen Gruppe von 100 Geschichten eine faire Mischung (z. B. 50 Männer, 50 Frauen) produzieren sollte, wenn das gewünscht ist. Sie hakt einfach in ihrer alten Gewohnheit fest. Das nennt die Wissenschaft Verteilungsverzerrung (Distributional Bias).

Die Lösung: Ein neuer „Steuerknüppel" für den Koch

Die Forscher haben eine neue Methode entwickelt, um diesen Koch zu trainieren, damit er genau das liefert, was du willst – egal ob du eine realistische Statistik (wie in der echten Welt) oder eine völlig faire 50/50-Mischung möchtest.

Stell dir ihre Methode wie ein zweistufiges Training vor:

Schritt 1: Der unsichtbare „Ziel-Zettel" (Steering Tokens)

Bevor der Koch die eigentliche Geschichte schreibt, gibt er sich selbst einen kleinen, unsichtbaren Zettel.

Wenn du eine 50/50-Mischung willst, schreibt er sich auf den Zettel: „Heute ist 50% Hans, 50% Maria."
Dieser Zettel ist wie ein Kompass, der die Wahrscheinlichkeit steuert, welche Art von Person als Erstes in den Kopf des Kochs kommt.
Die Forscher nutzen eine mathematische Formel (KL-Divergenz), um sicherzustellen, dass dieser Kompass wirklich auf das Ziel zeigt.

Schritt 2: Der strenge Kritiker (KTO-Loss)

Jetzt kommt der zweite Teil. Der Koch schreibt die Geschichte basierend auf dem Zettel. Aber was, wenn er den Zettel „Maria" nimmt, aber dann trotzdem eine Geschichte über einen Mann schreibt? Das wäre inkonsistent!

Hier kommt der Kritiker ins Spiel (die KTO-Methode):

Er prüft: „Hast du wirklich eine Geschichte über eine Frau geschrieben, weil du 'Maria' auf den Zettel geschrieben hast?"
Wenn ja: „Gut gemacht!" (Belohnung).
Wenn nein: „Nein, das passt nicht!" (Bestrafung).

Dieser Schritt stellt sicher, dass die Geschichte nicht nur zufällig passt, sondern logisch mit dem Ziel übereinstimmt.

Warum ist das so besonders?

Bisherige Methoden waren wie ein Koch, dem man nur sagt: „Sei fair!" (Prompting) oder dem man eine Liste von Beispielen gibt (Standard-Training).

Prompting: Der Koch hört zu, aber wenn er 100 Mal kocht, vergisst er die Regel und macht es wie immer.
Standard-Training: Der Koch lernt, eine perfekte Geschichte zu schreiben, aber er lernt nicht, wie man eine Gruppe von Geschichten verteilt.

Die neue Methode funktioniert wie ein Dirigent, der nicht nur den einzelnen Musiker (die einzelne Antwort) dirigiert, sondern sicherstellt, dass das gesamte Orchester (die 100 Antworten) genau den richtigen Rhythmus und die richtige Mischung spielt.

Das Ergebnis

In Tests haben die Forscher gezeigt, dass ihre Methode viel besser funktioniert als alles, was es vorher gab.

Wenn sie wollten, dass 90% der Geschichten über Bauarbeiter Männer sind (wie in der echten Welt), bekam die KI das fast perfekt hin.
Wenn sie wollten, dass 50% Männer und 50% Frauen sind (für faire Schulbücher), gelang das der KI plötzlich auch zuverlässig.

Zusammengefasst: Die Forscher haben der KI beigebracht, nicht nur eine gute Antwort zu geben, sondern eine ganze Serie von Antworten so zu planen, dass sie genau die Statistik trifft, die wir uns wünschen – ohne dabei die Qualität der Geschichten zu verlieren. Sie haben der KI einen „Statistik-Sinn" gegeben.

1. Problemstellung: Verteilungsverzerrung in der Multi-Round-Generierung

Das Paper adressiert ein fundamentales Problem bei Large Language Models (LLMs): Obwohl diese Modelle inhärent stochastisch sind, werden sie in der Regel nur für die Single-Round-Inferenz (einmalige Generierung) gegen feste Ground-Truth-Daten evaluiert. In realen Anwendungsszenarien werden Modelle jedoch oft wiederholt mit ähnlichen Prompts beauftragt.

Verteilungsverzerrung (Distributional Bias): Wenn ein LLM wiederholt (z. B. 100 Mal unabhängig) denselben Prompt erhält (z. B. „Schreibe eine Geschichte über eine Krankenschwester in Großbritannien"), weicht die aggregierte Verteilung der generierten Attribute (wie Geschlecht, Ethnie oder Sentiment) oft von der beabsichtigten Zielverteilung ab.
Das Dilemma: Off-the-shelf-Modelle neigen dazu, reale Stereotype zu verstärken (z. B. fast ausschließlich weibliche Krankenschwestern) oder zeigen keine konsistente Verteilung, selbst wenn eine gleichmäßige Verteilung (Uniform Distribution) gewünscht ist.
Limitierung bestehender Methoden: Herkömmliche Techniken wie Prompt Engineering oder Standard-Alignment-Methoden (z. B. Direct Preference Optimization - DPO) versagen darin, die Gesamtverteilung über viele Durchläufe hinweg zuverlässig zu steuern. DPO neigt dazu, das Modell auf eine einzige „beste" Antwort zu konvergieren (Mode-Seeking), anstatt eine gewünschte Wahrscheinlichkeitsverteilung zu lernen.

2. Methodik: Ein hybrides Fine-Tuning-Framework

Die Autoren schlagen einen neuen Fine-Tuning-Ansatz vor, der Steering Token Calibration mit Semantischer Ausrichtung kombiniert. Das Ziel ist es, die empirische Verteilung der generierten Attribute an eine vom Benutzer definierte Zielverteilung $P^*$ anzupassen.

Kernkomponenten des Frameworks:

Steering Tokens (Lenk-Token):
- Es wird eine Menge von speziellen Tokens $S = \{\tau_1, ..., \tau_k\}$ eingeführt, die dem Vokabular hinzugefügt werden.
- Jeder Token $\tau_i$ entspricht einem spezifischen Attribut (z. B. „0" für männlich, „1" für weiblich).
- Diese Tokens dienen als Präfix, das die Wahrscheinlichkeitsmasse für das folgende Attribut steuert.
Hybride Verlustfunktion (Dual-Objective):
Das Training nutzt zwei komplementäre Verlustfunktionen:
- KL-Divergenz-Verlust ( $L_{KL}$ ) – Kalibrierung:
  - Ziel: Die Wahrscheinlichkeit, mit der das Modell einen bestimmten Steering-Token generiert, soll exakt der Zielverteilung $P^*$ entsprechen.
  - Formel: Minimierung der Divergenz zwischen der Zielverteilung und der vom Modell vorhergesagten Verteilung der Steering-Tokens.
  - Wirkung: Dies fungiert als „Makro-Controller", der die statistische Verteilung der Intentions-Tokens erzwingt.
- Kahneman-Tversky-Optimierung ( $L_{KTO}$ ) – Semantische Ausrichtung:
  - Ziel: Sicherstellen, dass der Text, der auf einen Steering-Token folgt, semantisch konsistent mit diesem Token ist (z. B. muss ein Text nach dem Token „männlich" tatsächlich männliche Merkmale beschreiben).
  - Im Gegensatz zu DPO, das Paare vergleicht, definiert KTO eine Wertfunktion für einzelne Beispiele (wünschenswert vs. unerwünscht).
  - Das Modell lernt, Sequenzen zu bevorzugen, die den Ziel-Token und den passenden Text enthalten, und solche abzulehnen, die inkonsistent sind.
Datenerstellung:
- Es wird eine Basis-Datensatz generiert, der die Zielverteilung $P^*$ exakt widerspiegelt (z. B. 99% männlich, 1% weiblich).
- Dieser wird in ein Präferenz-Dataset umgewandelt:
  - Akzeptiert ( $y_w$ ): Steering-Token + passender Text.
  - Abgelehnt ( $y_l$ ): Ein anderer Steering-Token (uniform zufällig gewählt) + Text.
Inferenz-Strategie (Zwei-Schritte):
- Schritt 1: Sampling des Steering-Tokens basierend auf den gelernten Logits (sollte $P^*$ approximieren).
- Schritt 2: Autoregressive Generierung des Resttextes basierend auf dem gewählten Token.

3. Wichtige Beiträge

Empirischer Nachweis: Die Autoren zeigen, dass existierende LLMs und Standard-Methoden (Prompt Engineering, IFT, DPO) nicht in der Lage sind, Verteilungen über Multi-Round-Generierungen hinweg präzise zu kontrollieren.
Neue Datensätze: Erstellung von verteilungsbewussten Präferenz-Datensätzen für Geschlecht, Ethnie und Sentiment in beruflichen Kontexten (UK und US), sowohl für reale Statistiken als auch für uniforme Verteilungen.
Neue Methode: Entwicklung eines Fine-Tuning-Frameworks, das KL-Divergenz (für Verteilungskontrolle) und KTO (für semantische Konsistenz) kombiniert.
Umfassende Evaluation: Tests auf sechs verschiedenen Datensätzen und vier Modell-Architekturen (Qwen, Llama) mit unterschiedlichen Parametern.

4. Ergebnisse

Die Experimente zeigen deutliche Verbesserungen gegenüber allen Baselines:

Präzision: Der vorgeschlagene Ansatz erreicht den niedrigsten Mean Absolute Error (MAE) zwischen der generierten und der Zielverteilung.
- Beispiel: Beim Qwen2.5-7B-Modell wurde der durchschnittliche MAE von 0,135 (IFT) auf 0,085 reduziert (eine relative Verbesserung von 37%).
Versagen von DPO: DPO scheitert katastrophal in diesem Szenario (oft MAE von 0,50 bei Uniform-Zielen), da es das Modell auf eine einzige Antwort konvergiert statt auf eine Verteilung.
Robustheit: Die Methode ist robust gegenüber verschiedenen Decoding-Parametern (Temperature, Top-p, Top-k).
Generalisierung: Die Methode funktioniert auch bei ungesichtenen Berufen (Cross-Domain-Test: Training auf UK, Test auf US) und bei komplexeren Aufgaben wie der Story-Generierung (wobei Sentiment besser steuerbar ist als Geschlecht in langen Narrativen).
Kein Kapazitätsverlust: Die Evaluierung auf allgemeinen Benchmarks (MMLU, GSM8K, TruthfulQA) zeigt, dass die Fähigkeit des Modells zu allgemeinem Wissen und logischem Schlussfolgern nicht beeinträchtigt wird.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Kontrolle von LLM-Verhalten über die reine Einzelantwort hinaus.

Praktische Relevanz: Es ermöglicht Anwendungen, bei denen die statistische Repräsentation von Gruppen entscheidend ist (z. B. faire Bildungssoftware, die alle Geschlechter gleich oft darstellt, oder realistische Simulationen, die demografische Daten widerspiegeln).
Technischer Durchbruch: Die Kombination aus expliziter Token-Kalibrierung (KL) und semantischer Bindung (KTO) löst das Problem, dass reine Verteilungskontrolle oft zu semantisch inkonsistenten Texten führt, während reine semantische Optimierung die Verteilung ignoriert.
Ethische Implikation: Die Methode bietet ein Werkzeug, um sowohl Stereotype zu reduzieren (durch Erzwungene Uniformität) als auch realistische Statistiken beizubehalten, je nach Anforderung der Anwendung, und stellt damit einen Schritt hin zu verantwortungsvollerem KI-Design dar.

Zusammenfassend bietet das Paper eine robuste, mathematisch fundierte Lösung, um die inhärente Stochastik von LLMs nicht als Fehler, sondern als kontrollierbaren Parameter für die Verteilung von Attributen zu nutzen.