💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

Das Papier stellt Diverse-NS vor, eine ländergesteuerte Datenselektionsstrategie, die den systematischen Bias hin zu kürzeren Ausgaben in Sprachmodellen mildert und dadurch die Antwortdiversität sowie die Ausdrucksstärke bei verschiedenen kreativen Aufgaben unter Beibehaltung der Qualität signifikant erhöht.

Ursprüngliche Autoren: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Veröffentlicht 2026-02-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Kurz und Langweilig“-Falle

Stellen Sie sich vor, Sie haben einen sehr talentierten Autor (ein Large Language Model), der darauf trainiert wurde, hilfreich, sicher und höflich zu sein. Sie bitten ihn, eine Geschichte zu schreiben.

Das Problem ist: In dem Bestreben, „perfekt“ und sicher zu sein, hat der Autor angefangen, sich wie ein nervöser Schüler bei einer Prüfung zu verhalten. Er hat Angst, zu viel zu schreiben, weil er denkt, dass kurze Antworten bessere Antworten sind.

Warum? Weil die Werkzeuge, mit denen seine Arbeit bewertet wird (Diversitätsmetriken), fehlerhaft sind. Diese Werkzeuge sind wie ein Richter, der glaubt, dass ein dreiwortiger Satz „kreativer“ sei als ein dreißigwortiger Absatz, nur weil er kürzer ist. Der Autor bemerkt dies und liefert Ihnen kurze, sichere und repetitive Antworten, um eine gute Note zu bekommen.

Die Autoren nennen dies den „Brevity Bias“ (Kürze-Bias). Es ist wie ein Koch, der aufhört, Gewürze hinzuzufügen, weil der Tester nur schlichtes Essen mag. Das Ergebnis ist, dass die KI weniger kreativ, weniger ausdrucksstark wird und schließlich alle KI-Ausgaben gleich klingen (ein Phänomen namens „Model Collapse“).

Die Lösung: „Diverse, not Short“ (Diverse-NS)

Die Autoren entwickelten eine neue Strategie namens Diverse, not Short (Diverse-NS). Betrachten Sie dies als ein neues Trainingsprogramm für den Autor, das das fehlerhafte Bewertungssystem korrigiert.

So funktioniert es, Schritt für Schritt:

Das „Zwei-Entwürfe-Spiel“:
Die Forscher bitten die KI, eine Geschichte zweimal zu schreiben.
- Entwurf A: Die KI schreibt natürlich (ihren Standardstil, der oft langweilig ist).
- Entwurf B: Die KI wird gebeten, die Geschichte mit einer speziellen Regel umzuschreiben: „Mache sie interessanter und abwechslungsreicher, aber behalte exakt dieselbe Länge wie Entwurf A bei.“
Der „Faire Richter“-Filter:
Normalerweise führt die Frage nach mehr Kreativität dazu, dass Texte länger werden. Aber die Forscher haben eine strikte Regel: Wenn Entwurf B länger ist als Entwurf A, wird er weggeworfen.
Sie behalten nur die Paare, bei denen die „kreativere“ Version etwa die gleiche Länge wie die „langweilige“ Version hat. Dies lehrt die KI: „Du kannst kreativ sein, ohne wortreich zu sein.“
Der „Kleiner Lehrer“-Trick:
Die Forscher fanden etwas Überraschendes heraus. Ein kleineres, günstigeres KI-Modell (wie ein 7-Milliarden-Parameter-Modell) kann als „Diversitäts-Lehrer“ für ein viel größeres, teureres Modell (wie ein 13-Milliarden-Parameter-Modell) fungieren.
- Analogie: Stellen Sie sich einen kleinen, kämpferischen lokalen Künstler vor, der einem berühmten, hochbudgetierten Studio beibringt, wie man einzigartiger malt. Der kleine Künstler weiß, wie man die Regeln kreativ bricht, und das große Studio lernt von ihm. Dies spart viel Geld und Rechenleistung.

Die Ergebnisse: Mehr Geschmack, gleiche Größe

Die Forscher testeten dies bei vier verschiedenen kreativen Aufgaben:

Divergente Assoziationen: Das Auflisten von Wörtern, die sehr unterschiedlich voneinander sind.
Persona-Generierung: Das Erstellen einzigartiger Charakterprofile (Namen, Berufe, Städte).
Alternative Verwendungszwecke: Über das Nachdenken über seltsame Wege, ein gewöhnliches Objekt (wie einen Ziegelstein) zu verwenden.
Kreatives Schreiben: Das Schreiben kurzer Geschichten unter Verwendung von drei zufälligen Wörtern.

Was passierte?

Mehr Vielfalt: Die mit „Diverse, not Short“ trainierten Modelle erzeugten viel vielfältigere und interessantere Ergebnisse. Sie verwendeten mehr einzigartige Wörter und Ideen.
Kein Qualitätsverlust: Normalerweise, wenn man Dinge diverser macht, sinkt die Qualität (wie eine chaotische, unordentliche Geschichte). Aber hier blieb die Qualität hoch. In einigen Fällen verbesserte sie sich sogar.
Effizienz: Sie benötigten nur 3.000 Beispiele, um das Modell diese neue Fähigkeit beizubringen. Das ist so, als würde man einen Schüler für ein paar Stunden statt für Jahre unterrichten.

Das neue Werkzeug: Das „Diversity Decile“

Die Autoren erkannten auch, dass die alten Werkzeuge zur Messung von Kreativität gegenüber langen Antworten unfair waren. Also erfanden sie ein neues Lineal namens Diversity Decile.

Die Analogie: Stellen Sie sich ein Rennen vor. Das alte Lineal hat nur gemessen, wie schnell Sie gelaufen sind, aber ignoriert, dass einige Läufer schwere Rucksäcke trugen (langer Text) und andere nicht (kurzer Text).
Das neue Lineal: Das „Diversity Decile“ schaut darauf, wie schnell Sie im Verhältnis zu anderen Läufern mit dem gleichen Rucksack gelaufen sind. Es fragt: „Ist diese lange Geschichte kreativer als andere lange Geschichten?“ Dies stellt sicher, dass lange, ausdrucksstarke Antworten die Anerkennung erhalten, die sie verdienen.

Zusammenfassung

Die Arbeit argumentiert, dass KI-Modelle zu kurz und repetitiv geworden sind, weil die Art und Weise, wie wir „Kreativität“ messen, versehentlich Kürze belohnt.

Durch eine Strategie namens Diverse, not Short brachten die Autoren den Modellen bei, kreativ zu sein, ohne ihre Antworten länger zu machen. Dies erreichten sie durch:

Den Vergleich eines langweiligen Entwurfs mit einem kreativen Entwurf der gleichen Länge.
Den Einsatz einer kleineren, günstigeren KI, um einer größeren KI beizubringen, wie man divers ist.
Die Erfindung eines neuen, faireren Lineals zur Messung von Kreativität, das lange Antworten nicht bestraft.

Das Ergebnis ist eine KI, die ausdrucksstärker, kreativer und dennoch qualitativ hochwertig ist – und das alles bei einem geringeren Aufwand für Training und Rechenleistung.

Technisches Resümee: Diverse, not Short (Diverse-NS)

Problemstellung

Obwohl Alignment-Techniken (Instruction Tuning und Preference Optimization) Large Language Models (LLMs) sicherer und hilfreicher gemacht haben, reduzieren sie oft unbeabsichtigt die Diversität der Modellausgaben. Diese Reduktion der Diversität behindert kreatives Ideengenerieren, erhöht die Homogenität der Ausgaben und kann zu einem „Modellkollaps“ führen, wenn Modelle wiederholt auf ihren eigenen ausgerichteten Ausgaben trainiert werden.

Ein kritischer, oft übersehener Störfaktor bei diesem Problem ist die Textlänge. Das Paper argumentiert, dass Standard-Diversitätsmetriken (z. B. Entropie, Type-Token-Ratio) und sogar Reward-Modelle, die für die Präferenzoptimierung verwendet werden (wie ArmoRM), eine systematische Tendenz zu kürzeren Ausgaben aufweisen. Da diese Metriken oft längeren Passagen niedrigere Scores zuweisen, fördert die Optimierung für sie die Kürze anstelle von Ausdrucksstärke. Dieser „Brevity Bias“ (Kürze-Bias) untergräbt genau die Kreativität, die diese Modelle eigentlich fördern sollen, insbesondere bei offenen Aufgaben, bei denen Tiefe und Nuancierung erforderlich sind.

Methodik: Diverse, not Short (Diverse-NS)

Die Autoren schlagen Diverse, not Short (Diverse-NS) vor, eine längengesteuerte Datenselektionsstrategie, die darauf ausgelegt ist, die Antwortdiversität zu verbessern und gleichzeitig die Längengleichheit zwischen bevorzugten und abgelehnten Antworten beizubehalten. Das Framework operiert innerhalb einer Self-Learning-Schleife, die aus drei Hauptphasen besteht:

1. Datengenerierung

Die Autoren nutzen eine kreative Schreibaufgabe (Generierung von 5-Satz-Geschichten, die drei spezifische Wörter enthalten), um diverse Antworten zu provozieren.

Sequentielles Prompting: Anstatt eines einzelnen Inferenzschritts nutzt der Prozess zwei Schritte. Zuerst generiert das Modell eine natürliche Antwort ( $r_1$ ). Zweitens wird das Modell aufgefordert, die Geschichte mit zusätzlichen Einschränkungen neu zu entwerfen, die darauf abzielen, Repetition zu reduzieren und die Diversität zu erhöhen, wodurch eine zweite Antwort ( $r_2$ ) generiert wird.
Skalierung: Dieser Prozess generiert 200.000 Tupel von (Prompt, $r_1$ , $r_2$ ) sowohl für LLaMA-3.1-8B als auch für Olmo-2-7B.

2. Datenfilterung (Die Kerninnovation)

Um hochwertige Präferenzpaare für Direct Preference Optimization (DPO) zu erstellen, filtern die Autoren die generierten Daten basierend auf vier strengen Kriterien, die in dieser Reihenfolge angewendet werden:

Qualitätsschwellenwert: Die Qualität von $r_2$ muss größer oder gleich dem 50. Perzentil aller $r_1$ -Qualitätswerte sein.
Qualitätsverbesserung: Die Qualität von $r_2$ muss strikt größer als die von $r_1$ sein.
Diversitätsverbesserung: Die Diversität von $r_2$ muss strikt größer als die von $r_1$ sein.
Längengleichheit (Length Parity): Die absolute Differenz in der Wortanzahl zwischen $r_1$ und $r_2$ darf höchstens fünf Wörter betragen.

Diese Längenbeschränkung ist entscheidend, um die Auswahl kürzerer, „leichterer“ diverser Antworten zu verhindern.

Metriken: Die primäre Methode verwendet Entropie für Diversität und ArmoRM-Scores für Qualität.
Diverse-NS-Lite: Um die Rechenkosten zu senken (da die Berechnung von Entropie und ArmoRM mehrere Inferenzdurchläufe erfordert), führen die Autoren eine leichtgewichtige Variante ein. Diese ersetzt die Entropie durch die Type-Token-Ratio (TTR) und ArmoRM durch den MAAS-Index, welcher in ihrer Analyse die höchste Korrelation mit den ursprünglichen Metriken aufwies.

3. Preference Tuning

Der gefilterte Datensatz wird auf 3.000 Präferenzpaare begrenzt (selektiert durch Sortierung nach Entropiegewinn), um das Basismodell mittels Direct Preference Optimization (DPO) fein abzustimmen. Die Autoren untersuchen auch den „Small-to-Large“-Transfer, indem sie Daten verwenden, die von einem kleineren Modell (Olmo-7B) generiert wurden, um ein größeres Modell (Olmo-13B) zu trainieren.

4. Längenangepasste Evaluierung

Um den Evaluierungs-Bias zu adressieren, führen die Autoren das $\Delta$ Diversity Decile ( $\Delta$ DD) ein.

Sie erstellen eine Dezil-Map basierend auf 800.000 Geschichten, wobei sie Antworten nach Wortzahl gruppieren und Diversitätsschwellenwerte für jede Länge berechnen.
Während der Evaluierung wird einer neuen Antwort ein Dezil-Rang zugewiesen, der sich auf ihre Länge und ihren Diversitätswert relativ zur Map bezieht.
$\Delta$ DD wird als Differenz zwischen dem Dezil-Score des getunten Modells und dem des Basismodells berechnet, um sicherzustellen, dass Diversitätsgewinne nicht einfach Artefakte erhöhter Länge sind.

Wichtigste Beiträge

Diverse-NS Strategie: Eine Datenselektionsmethode, die die Antwortdiversität für LLaMA-3.1-8B und Olmo-2-7B signifikant verbessert, indem sie nur 3.000 Präferenzpaare nutzt und den Längen-Bias explizit kontrolliert.
Diverse-NS-Lite: Eine recheneffiziente Variante, die Proxy-Metriken (TTR und MAAS) verwendet und eine vergleichbare Leistung wie die volle Methode erzielt, während sie die Filterkosten drastisch reduziert.
Small-to-Large Transfer: Belege dafür, dass kleinere Modelle (z. B. Olmo-2-7B) effektive „Diversitäts-Lehrer“ für größere Modelle (z. B. Olmo-2-13B) sein können, was ein kostengünstiges Diversity-Alignment ermöglicht.
Längenkontrollierte Metrik: Die Einführung der Diversity Decile, einer Metrik, die Diversitätswerte für Textlänge anpasst, um den Brevity-Bias in der Evaluierung zu verhindern.
Datensatz-Veröffentlichung: Ein hochwertiger Datensatz von 6.000 Präferenzpaaren, generiert aus LLaMA-3.1-8B und Olmo-2-7B.

Ergebnisse

Die Autoren evaluierten die Methode anhand von vier kreativen Generierungsaufgaben: Divergent Associations (DAT), Persona Generation (PGT), Alternate Uses (AUT) und Creative Writing (CWT).

Diversitätsgewinne: Sowohl Diverse-NS als auch Diverse-NS-Lite übertrafen konsistent die Basismodelle und die DivPO-Baseline (eine aktuelle Methode, die die Länge nicht kontrolliert) über alle Aufgaben und Modellgrößen hinweg.
- In den Aufgaben DAT und PGT produzierten die Methoden signifikant mehr einzigartige Wörter, Namen, Städte und Berufe.
- In CWT erreichte Diverse-NS die höchsten Divergent Semantic Integration (DSI) Scores und die 4-Gram-Diversität.
Statistische Signifikanz: Unabhängige t-Tests bestätigten, dass D-NS und D-NS-Lite signifikant vielfältigere Antworten produzieren als das Basismodell und DivPO (p < 0,001 für D-NS vs. Base). Der Unterschied zwischen D-NS und D-NS-Lite war statistisch nicht signifikant, was die Effizienz der Lite-Version validiert.
Qualitätserhaltung: Während zwischen Diversität und Qualität oft ein Trade-off besteht, konnte Diverse-NS die Qualität (gemessen durch ArmoRM) in mehreren Fällen beibehalten oder leicht verbessern (z. B. bei Olmo-7B und Olmo-13B). In Fällen, in denen die Qualität leicht sank, lagen die absoluten Diversitätswerte dennoch über denen des Basismodells, und menschliche Evaluierungen bestätigten, dass die Diversitätsgewinne wahrnehmbar und bevorzugt wurden.
Menschliche Evaluierung: In Paarvergleichen bei CWT bevorzugten menschliche Annotatoren D-NS gegenüber dem Basismodell und DivPO in der Mehrheit der Fälle (Win-Rates bis zu 72,73 % gegen DivPO).

Bedeutung und Behauptungen

Das Paper behauptt, dass Diverse-NS durch die explizite Adressierung des Längen-Bias, der sowohl in der Trainingsdatenselektion als auch in den Diversitätsmetriken inhärent ist, eine praktische und skalierbare Lösung zur Steigerung der Diversität in ausgerichteten LLMs bietet, ohne die Qualität zu opfern.

Effizienz: Die Methode erzielt erhebliche Verbesserungen mit einem sehr kleinen Datensatz (3k Paare) und minimaler Trainingszeit (unter zwei Stunden auf einer einzelnen GPU).
Zugänglichkeit: Durch den Nachweis, dass kleinere Modelle als Diversitäts-Lehrer fungieren können, und durch das Angebot einer leichtgewichtigen Filter-Variante senkt diese Arbeit die Ressourcenbarriere für diversitätsbewusstes Alignment.
Fundamentaler Wandel: Die Autoren argumentieren, dass bisherige Misserfolge bei der Verbesserung der Diversität auf den unberücksichtigten Brevity-Bias in den Metriken zurückzuführen sein könnten. Ihre Arbeit legt ein Fundament für eine ausdrucksstärkere Sprachgenerierung, indem sie Diversität von Kürze entkoppelt.

Die Autoren merken bescheiden an, dass Einschränkungen bestehen, einschließlich der Abhängigkeit von einer einzigen Diversitätsmetrik für die Filterung, des Fokus auf eine einzige Aufgabe (Geschichtenerzählen) und der Untersuchung von nur einer Runde Selbsttraining. Sie schlagen vor, dass zukünftige Arbeiten die Optimierung über mehrere Metriken und mehrstufiges Selbstlernen untersuchen sollten.