💬 NLP

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Dieser Artikel identifiziert, dass der Zusammenbruch der Vielfalt in großen Sprachmodellen primär durch eine Fehlkalibrierung von Ordnung und Form in ihren Wahrscheinlichkeitsverteilungen während des Dekodierens verursacht wird und nicht durch Einschränkungen bei Sampling-Heuristiken, was zu einem Zielkonflikt zwischen der Gültigkeit und der Vielfalt der Ausgaben führt.

Ursprüngliche Autoren: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten ein Large Language Model (LLM), eine Geschichte zu erzählen, ein Gedicht zu schreiben oder eine zufällige Stadt vorzuschlagen. Sie erwarten eine breite Vielfalt kreativer Antworten. Stattdessen gerät das Modell oft in eine Sackgasse und liefert immer wieder dieselben wenigen Klischees (wie „Es war einmal..." oder „Valparaíso, Chile").

Diese Arbeit untersucht, warum dies geschieht. Die Autoren argumentieren, dass das Problem nicht einfach darin besteht, dass das Modell „langweilig" ist oder dass unsere aktuellen Werkzeuge zur Wortauswahl (Sampling-Methoden) schlecht sind. Stattdessen ist das Problem in die Art und Weise eingebaut, wie das Modell seine eigene innere Wahrscheinlichkeitskarte organisiert. Sie nennen dies eine „Kalibrierungs-Engstelle".

Um dies zu erklären, stellen Sie sich das Modell als Bibliothekar vor, der vor einer riesigen Bücherwand steht (alle möglichen nächsten Wörter). Der Bibliothekar muss das nächste Wort auswählen, um eine Geschichte fortzusetzen.

Die zwei Hauptprobleme

Die Arbeit identifiziert zwei spezifische Wege, auf denen dieser Bibliothekar „fehlgkalibriert" (nicht mit der Realität übereinstimmend) ist, was zum Zusammenbruch der Vielfalt führt.

1. Ordnungs-Kalibrierung: Der Bibliothekar kann die Bücher nicht sortieren

Die Analogie:
Stellen Sie sich vor, Sie bitten den Bibliothekar, ein „gutes" Buch auszuwählen. Sie erwarten, dass der Bibliothekar alle „guten" Bücher ganz oben ins Regal stellt und alle „schlechten" Bücher ganz unten.

Was das Modell tut: Der Bibliothekar stellt einige gute Bücher oben hin, mischt dann aber eine Reihe schlechter Bücher direkt in die Mitte. Weiter unten im Regal befinden sich dann weitere gute Bücher, die zwischen den schlechten versteckt sind.
Die Konsequenz: Wenn Sie dem Bibliothekar sagen: „Geben Sie mir einfach die Top-10-Bücher", erhalten Sie möglicherweise 5 gute und 5 schlechte. Wenn Sie sagen: „Geben Sie mir zur Sicherheit die Top-100", erhalten Sie 90 schlechte Bücher.
Die Behauptung der Arbeit: Das Modell versagt bei der Ordnungs-Kalibrierung. Es kann „gültige" (korrekte/sinnvolle) Wörter nicht zuverlässig höher einstufen als „ungültige" (unsinnige) Wörter. Da gültige und ungültige Wörter in der Rangliste vermischt sind, wird jedes Werkzeug, das versucht, die Liste zu filtern (wie „Top-K" oder „Top-P"), gezwungen, eine schreckliche Wahl zu treffen: Entweder gute Ideen abschneiden, um schlechte zu vermeiden, oder zu viele schlechte Ideen einschließen, um die guten zu retten.

2. Form-Kalibrierung: Der Bibliothekar ist von einem Buch besessen

Die Analogie:
Stellen Sie sich nun vor, der Bibliothekar schafft es tatsächlich, die guten Bücher von den schlechten zu trennen. Aber wenn er auf den Haufen „Gut" schaut, ist er nur von einem spezifischen Buch besessen.

Was das Modell tut: Der Bibliothekar richtet 90 % seiner Aufmerksamkeit auf ein bestimmtes „gutes" Buch (z. B. „Es war einmal..."). Die anderen 99 „guten" Bücher erhalten nur einen winzigen, winzigen Schimmer von Aufmerksamkeit. Unterdessen sind die „schlechten" Bücher in einem langen, dünnen Schwanz ganz unten verstreut.
Die Konsequenz: Selbst wenn Sie versuchen, die Dinge aufzuwühlen (indem Sie „Temperatur" verwenden, was dem Bibliothekar bedeutet, zufälliger zu sein), verlagert der Bibliothekar lediglich seine Besessenheit leicht. Er hört vielleicht auf, über „Es war einmal..." zu obsessieren, und beginnt stattdessen, über „In einer Welt, in der..." zu obsessieren, ignoriert aber immer noch die anderen 98 guten Optionen. Schlimmer noch: Wenn man den Bibliothekar zufälliger macht, wählt er oft einfach ein „schlechtes" Buch aus dem langen Schwanz aus, anstatt ein seltenes „gutes".
Die Behauptung der Arbeit: Das Modell versagt bei der Form-Kalibrierung. Die Wahrscheinlichkeit ist zu stark auf einige wenige spezifische gültige Optionen konzentriert, wodurch der Rest der gültigen Optionen verhungert.

Der Dominoeffekt: Warum ein Fehler zur Katastrophe wird

Die Arbeit erklärt, dass diese Probleme schlimmer werden, je länger die Geschichte wird.

Die Analogie:
Stellen Sie sich vor, Sie laufen durch ein Labyrinth.

Schritt 1: An der ersten Kurve haben Sie eine 90%ige Chance, den richtigen Weg zu wählen, und eine 10%ige Chance, in eine Sackgasse zu laufen. Das scheint in Ordnung.
Schritt 2: An der nächsten Kurve haben Sie erneut eine 90%ige Chance, richtig zu liegen.
Das Ergebnis: Wenn Sie 20 Kurven machen müssen, sinkt die Chance, den gesamten Weg richtig zu gehen, ohne eine einzige Sackgasse zu treffen, auf fast null.

Die Arbeit beweist mathematisch, dass sich diese Fehler akkumulieren, weil das Modell bei jedem einzelnen Schritt kleine Fehler macht (die falsche Mischung von Wörtern wählen oder sich zu sehr auf ein Wort konzentrieren). Bis das Modell einen Satz oder einen Absatz beendet hat, ist die Wahrscheinlichkeit, dass es einen wirklich vielfältigen, gültigen Pfad erkundet hat, exponentiell gering.

Was haben sie getan?

Die Forscher haben nicht nur geraten; sie haben ein „diagnostisches Werkzeugset" entwickelt:

Kontrollierte Tests: Sie gaben den Modellen einfache Aufgaben, bei denen sie die exakte Liste der korrekten Antworten kannten (wie das Generieren zufälliger Zahlen oder das Nennen von US-Bundesstaaten).
Der „Orakel"-Test: Sie erstellten einen perfekten Filter, der genau wusste, welche Wörter gültig waren. Selbst mit diesem perfekten Filter hatten die Modelle immer noch Schwierigkeiten, vielfältig zu sein, wegen des „Form"-Problems (die Besessenheit von einem Wort).
Das Urteil: Sie testeten 14 verschiedene Modelle (von klein bis riesig). Sie stellten fest, dass größere Modelle das Problem nicht lösten. Selbst die intelligentesten Modelle hatten immer noch diese Sortier- und Konzentrationsprobleme.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass der Mangel an Vielfalt bei KI nicht einfach ein Fehler in den „Auswahl"-Werkzeugen (wie Temperatur oder Top-K-Sampling) ist. Es ist ein fundamentaler Fehler in der Art und Weise, wie das Modell sein Vertrauen verteilt.

Es kann nicht zuverlässig gültige Wörter über ungültige sortieren.
Es kann seine Aufmerksamkeit nicht gleichmäßig über alle gültigen Wörter verteilen.

Solange das Modell nicht lernt, seine innere Bibliothek anders zu organisieren, wird das bloße Anpassen der Einstellungen keine echte Kreativität oder Vielfalt freisetzen. Die „Engstelle" ist die eigene Verteilung des Modells, nicht die Werkzeuge, die wir verwenden, um es zu lesen.

Technische Zusammenfassung: Mehr Sampling, weniger Ergebnis: Kalibrierung ist der Flaschenhals für Vielfalt in LLMs

Problemstellung

Trotz der entscheidenden Rolle von Vielfalt in Anwendungen, die von der kreativen Generierung bis zur wissenschaftlichen Entdeckung reichen, zeigen moderne Large Language Models (LLMs) häufig einen „Mode Collapse", bei dem die Ausgaben in einen schmalen Ausschnitt plausibler Antworten kollabieren. Während frühere Arbeiten Benchmarks zur Messung dieses Mangels an Vielfalt etabliert haben, bleiben die zugrunde liegenden Ursachen innerhalb der Wahrscheinlichkeitsverteilungen zur Inferenzzeit schlecht verstanden. Standard-Sampling-Heuristiken (z. B. Temperaturskalierung, Top-k, Top-p, Min-p) scheitern oft daran, eine sinnvolle Vielfalt wiederherzustellen; sie verlagern entweder die Wahrscheinlichkeitsmasse in Richtung ungültiger oder nonsensischer Fortsetzungen oder schneiden gültige Alternativen ab. Diese Arbeit vertritt die These, dass der Flaschenhals nicht lediglich eine Einschränkung von Dekodierungsstrategien ist, sondern eine fundamentale Eigenschaft der bedingten Verteilung des LLM selbst, insbesondere hinsichtlich der Art und Weise, wie Wahrscheinlichkeitsmasse über gültige und ungültige Token verteilt wird.

Methodik

Die Autoren führen ein Gültigkeits-Vielfalt-Rahmenwerk ein, um den Trade-off zwischen der Generierung gültiger Ausgaben und der Erkundung vielfältiger gültiger Alternativen zu analysieren. Sie zerlegen den Vielfalt-Kollaps in zwei komplementäre Formen von Fehlkalibrierung: Ordnungs-Kalibrierung und Form-Kalibrierung.

1. Theoretischer Rahmen

Gültigkeit: Definiert als die gesamte Wahrscheinlichkeitsmasse, die der Menge der gültigen Antworten ( $V$ ) zugewiesen wird.
Vielfalt: Definiert als die normalisierte effektive Unterstützungsgröße (Exponential der Entropie) der Modellverteilung, eingeschränkt auf die gültige Menge.
Ordnungs-Kalibrierung: Die Annahme, dass gültige Token zuverlässig über ungültigen Token rangiert werden. Die Arbeit argumentiert, dass dies häufig verletzt wird, wobei gültige Token durch die gesamte rangierte Verteilung hindurch vermischt sind.
Form-Kalibrierung: Die Annahme, dass die Wahrscheinlichkeitsmasse gleichmäßig über gültige Token verteilt ist. Die Arbeit argumentiert, dass Verteilungen oft übermäßig auf wenige gültige Token konzentriert sind (scharfer Kopf) mit einem schweren Schwanz aus gemischten gültigen und ungültigen Token.

2. Empirische Diagnostik

Um diese Flaschenhälse zu untersuchen, entwickelten die Autoren kontrollierte Diagnosewerkzeuge:

Token-Gültigkeits-Labeling: Verwendung eines LLM als Richter (Qwen3.5-35B), um die Gültigkeit von gierigen (greedy) Fortsetzungen zu bewerten, die durch spezifische Kandidaten-Token initiiert wurden. Dies ermöglicht die Konstruktion von Präzisions-Recall-Kurven für Cutoff-Strategien.
Kontrollierte Testumgebungen: Nutzung von Aufgaben mit exakt bekannten gültigen Mengen (z. B. Zufallszahlengenerierung, Benennung von US-Bundesstaaten), um exakte Gültigkeits- und Vielfaltsmetriken zu berechnen, ohne sich auf verrauschte semantische Urteile zu verlassen.
Orakel-Baselines: Implementierung von „Orakel"-Cutoff-Strategien, die die exakte Anzahl der gültigen Token zu jedem Schritt kennen, nicht jedoch deren Identität, um den Einfluss der rangbasierten Filterung von der zugrunde liegenden Verteilungsform zu isolieren.
Mehrstufige Analyse: Erweiterung der einstufigen Diagnostik auf Tiefe $d > 1$ , um zu beobachten, wie sich lokale Fehler über die Sequenzgenerierung hinweg summieren.

Hauptbeiträge

Gültigkeits-Vielfalt-Rahmenwerk: Eine formale Analyse des Trade-offs auf Token- und Sequenzebene, die den Vielfalt-Kollaps auf Verteilungseigenschaften statt nur auf Dekodierungsheuristiken zurückführt.
Identifikation von Kalibrierungs-Flaschenhälsen:
- Ordnungs-Fehlkalibrierung: Gültige Token werden nicht konsistent über ungültigen Token rangiert. Dies erzeugt einen inhärenten Trade-off für jede rangbasierte Filterregel: Die Erweiterung des Cutoffs, um gültige Token wiederzugewinnen, nimmt unvermeidlich auch ungültige auf, während eine Verschärfung gültige Alternativen ausschließt.
- Form-Fehlkalibrierung: Die Wahrscheinlichkeitsmasse ist ungleichmäßig auf eine kleine Anzahl gültiger Fortsetzungen konzentriert, während der Schwanz eine starke Mischung aus gültigen und ungültigen Token enthält. Temperaturskalierung glättet den Kopf, erhöht aber unverhältnismäßig die Masse des ungültigen Schwanzes.
Theoretische Beweise für sich summierende Verluste:
- Ordnung: Theorem 4.2 zeigt, dass lokale Präzisions-Recall-Trade-offs multiplikativ sich summieren. Selbst kleine, konstante lokale Fehler bei der Trennung von gültigen/ungültigen Token führen zu einem exponentiellen Abfall der erreichbaren gültigen Menge, wenn die Sequenzlänge zunimmt.
- Form: Theorem 5.2 zeigt, dass unter Annahmen geometrischen Abfalls die Aufrechterhaltung hoher Gültigkeit eine scharfe Verteilung erfordert, was inhärent die Entropie (Vielfalt) über gültige Token reduziert. Dieser Vielfaltsverlust summiert sich exponentiell mit der Anzahl der Verzweigungsschritte ( $m$ ).
Empirische Diagnostik: Entwicklung kontrollierter Settings (Zufallszahlengenerierung, Benennung von Bundesstaaten) und Orakel-Baselines, um systematisch die Quelle von Vielfaltversagen über 14 Sprachmodelle unterschiedlicher Familien und Skalierungen zurückzuverfolgen.

Ergebnisse

Versagen der Ordnungs-Kalibrierung: Experimente über 14 Modelle hinweg (Qwen, Llama, Olmo-Familien) zeigen, dass gültige Token in der rangierten Verteilung häufig mit ungültigen vermischt sind. Der Präzisions-Recall-Trade-off verschlechtert sich signifikant, wenn die Dekodierungstiefe zunimmt. Selbst die optimale Cutoff-Strategie kann gültige nicht perfekt von ungültigen Token trennen.
Versagen der Form-Kalibrierung: In kontrollierten Aufgaben (z. B. Zufallszahlengenerierung) verbessert eine Erhöhung der Temperatur die Vielfalt nur auf Kosten der Gültigkeit. Der ungültige Schwanz wächst schneller als die Wiederherstellung seltener gültiger Alternativen.
Skalierung löst das Problem nicht: Obwohl größere Modelle eine leichte Verbesserung der Ordnungs-Kalibrierung zeigen (höherer AUC der Präzisions-Recall-Fronten), beseitigen sie den Trade-off nicht. Die Recall-Werte bei hoher Präzision bleiben niedrig und nicht-monoton über die Modellgrößen hinweg.
Dekodierungsheuristiken sind unzureichend: Keine Standard-Methode zur Filterung der Top-Token (Top-k, Top-p, Min-p) stellt die Vielfalt effektiv wieder her. Selbst ein Orakel-Cutoff (Kenntnis der exakten Anzahl gültiger Token) erreicht in Aufgaben mit Form-Fehlkalibrierung keine ideale Vielfalt, was darauf hindeutet, dass die Form der Verteilung und nicht nur der Rang der limitierende Faktor ist.
Orakel-Eingriff: Die Anwendung eines Orakelfilters (Sampling nur von Token, die vom Diagnosewerkzeug als gültig gelabelt wurden) verbessert sowohl die Einbettungs-Vielfalt als auch die lexikalische Vielfalt (niedrigeres Self-BLEU) signifikant. Dies beweist, dass gültige Alternativen in der Verteilung vorhanden sind, aber von Standard-Rang-basierten Regeln übersehen werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der Vielfalt-Kollaps eine Folge von Ordnungs- und Form-Fehlkalibrierung in der LLM-Verteilung ist und nicht das Versagen spezifischer Sampling-Algorithmen.

Härte-Ergebnis: Die Autoren etablieren ein theoretisches Härte-Ergebnis für jede Dekodierungsstrategie, die sich ausschließlich auf Top-Token-Filterung verlässt: Wenn gültige und ungültige Token vermischt sind, erfordert die Aufrechterhaltung einer hohen Sequenzgültigkeit das Opfer eines konstanten Anteils gültiger Fortsetzungen in jedem Schritt, was zu einem exponentiellen Kollaps der Vielfalt führt.
Diagnostischer Wert: Das vorgeschlagene Rahmenwerk bietet eine Linse, um zu diagnostizieren, warum bestehende Methoden versagen, und geht über Black-Box-Benchmarking hinaus, um die mechanistischen Quellen von Vielfaltsverlust zu verstehen.
Implikationen für zukünftige Arbeiten: Die Ergebnisse deuten darauf hin, dass zukünftige Lösungen über das Feinabstimmen von Dekodierungs-Hyperparametern hinausgehen müssen. Eine effektive Minderung könnte erfordern:
- Die Entwicklung kalibrierungsbewusster Dekodierer, die zusätzliche Gültigkeitssignale jenseits des Wahrscheinlichkeitsrangs einbeziehen.
- Die Untersuchung von Trainingszielen (Pretraining, Alignment, Sicherheit), die die Verteilungsschärfe und Rangordnung beeinflussen, um einen breiteren gültigen Support zu erhalten, ohne die Qualität zu opfern.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass ihre Arbeit den Flaschenhals diagnostiziert, anstatt ihn zu lösen, und dass ihre kontrollierten Experimente als Diagnostika für spezifische Verteilungsmechanismen dienen, nicht als vollständige Erklärung aller Vielfaltversagen in komplexer, offen endender Generierung.