💬 NLP

D-Models and E-Models: Diversity-Stability Trade-offs in the Sampling Behavior of Large Language Models

Dieses Paper identifiziert einen grundlegenden Diversitäts-Stabilitäts-Trade-off bei großen Sprachmodellen, indem es zwischen „D-Modellen“ mit variablen, aufgabenfehlgerichteten Sampling-Wahrscheinlichkeiten und „E-Modellen“ mit stabilen, aufgabenorientierten Wahrscheinlichkeiten unterscheidet, und bietet damit entscheidende Erkenntnisse für die Optimierung der Modellauswahl in Web-Scale-Anwendungen.

Ursprüngliche Autoren: Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten eine Gruppe von KI-Assistenten, ein Spiel namens „Zahlenraten“ zu spielen. Sie geben ihnen eine spezifische Regel: „Wähle Zahlen zwischen 1 und 4, aber stelle sicher, dass du die Zahl ‚2‘ etwa 70 % der Zeit wählst, und die anderen (1, 3 und 4) jeweils etwa 10 % der Zeit.“

Dieses Paper untersucht, wie verschiedene Large Language Models (LLMs) dieses Spiel handhaben. Die Forscher entdeckten, dass die Modelle in zwei unterschiedliche Persönlichkeitstypen fallen, die sie D-Modelle und E-Modelle nennen.

Hier ist die Aufschlüsselung dessen, was sie herausgefunden haben, unter Verwendung einfacher Analogien:

1. Die zwei Persönlichkeiten

Das „entschiedene“ Modell (D-Modell)

Beispiele: Qwen-2.5, Llama-3.1.
Die Analogie: Stellen Sie sich einen strengen Chefkoch vor, der eine sehr starke Meinung hat. Wenn er gefragt wird, einen Salat zuzubereiten, entscheidet dieser Koch: „Ich werde für die ersten 99 % der Schüssel nur Salat verwenden und vielleicht später ein winziges bisschen Tomate hinzufügen.“
Wie sie funktionieren: Jedes Mal, wenn sie ein Wort (oder eine Zahl) wählen, sind sie extrem selbstbewusst. Sie wählen fast immer eine spezifische Option mit nahezu 100-prozentiger Sicherheit und ignorieren die anderen Optionen.
Das Ergebnis: Obwohl sie Schritt für Schritt sehr selbstbewusst sind, haben sie manchmal Schwierigkeiten, die Gesamtregel zu erfüllen, die Sie ihnen gegeben haben (wie die 70 %-Regel). Sie sind „deterministisch“, was bedeutet, dass sie einem starren Plan folgen.

Das „explorative“ Modell (E-Modell)

Beispiele: Mistral-Small, GPT-4o.
Die Analogie: Stellen Sie sich einen neugierigen Gärtner vor. Wenn er gebeten wird, Samen zu pflanzen, betrachtet er den Boden und denkt: „Okay, ich werde hauptsächlich Tulpen pflanzen, aber ich werde auch direkt von Anfang an ein paar Gänseblümchen und Rosen dazwischen streuen, um dem Gartenplan zu entsprechen.“
Wie sie funktionieren: Diese Modelle sind flexibler. Wenn sie ein Wort wählen, halten sie die Wahrscheinlichkeiten für verschiedene Optionen näher an den Regeln, die Sie ihnen gegeben haben. Sie legen sich nicht sofort auf eine Wahl fest; sie „explorieren“ die Optionen gleichmäßiger.
Das Ergebnis: Ihre schrittweisen Entscheidungen stimmen viel besser mit den Regeln überein, die Sie festgelegt haben. Sie sind „stabiler“ darin, Anweisungen zu befolgen.

2. Der große Kompromiss: Vielfalt vs. Zuverlässigkeit

Die Forscher fanden heraus, dass keiner der Typen perfekt ist; sie haben einen Kompromiss, wie die Wahl zwischen einem Seiltänzer und einem Jazzmusiker.

D-Modelle (Der Seiltänzer):
- Gut bei: Aufgaben, bei denen Sie eine einzige, solide, korrekte Antwort benötigen, wie zum Beispiel beim Schreiben von Code oder beim Lösen von Mathematikaufgaben. Da sie so entscheidungsfreudig sind, können sie eine Lösung immer wieder verfeinern, ohne verwirrt zu werden.
- Schlecht bei: Aufgaben, bei denen Sie aus einer Liste von Optionen wählen müssen (wie bei Filmempfehlungen). Da sie so starr sind, wählen sie vielleicht selbstbewusst einen Film aus, der gar nicht auf Ihrer Liste stand, indem sie die Einschränkungen ignorieren.
E-Modelle (Der Jazzmusiker):
- Gut bei: Aufgaben, bei denen Sie eine Liste von Kandidaten befolgen oder verschiedene Bedürfnisse abwägen müssen, wie z. B. Suchergebnisse oder Empfehlungen. Sie sind besser darin, sich an das „Menü“ zu halten, das Sie vorgegeben haben.
- Schlecht bei: Manchmal sind sie zu flexibel. Bei Programmieraufgaben kann ihre ständige „Exploration“ dazu führen, dass sie den Code zu stark verändern, wodurch Fehler entstehen, wo ein einfacherer, starrerer Ansatz besser funktioniert hätte.

3. Was passiert unter der Haube der Maschine?

Die Forscher schauten „unter die Haube“, um zu sehen, warum diese Modelle unterschiedlich handeln:

Temperatursteuerung: Denken Sie bei „Temperatur“ an einen Lautstärkeregler für Zufälligkeit.
- E-Modelle sind wie ein empfindliches Mikrofon; das Drehen des Reglers verändert ihr Verhalten erheblich. Man kann sie leicht zufälliger oder strenger machen.
- D-Modelle sind wie ein schwerer Stein; das Drehen des Reglers bewegt sie kaum. Sie bleiben extrem selbstbewusst und starr, egal wie man die Einstellungen anpasst.
Der „Kontingenz“-Mythos: Die Forscher fragten sich, ob D-Modelle heimlich eine Punktetafel führen (z. B. „Ich habe zu oft ‚2‘ gewählt, also werde ich als Nächstes ‚1‘ wählen, um das auszugleichen“). Sie testeten dies und fanden keinen Beweis dafür. D-Modelle führen keine Kontingenzliste; sie folgen einfach einem starren, vorab geplanten Pfad.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass man wissen muss, mit welcher „Persönlichkeit“ man es zu tun hat, wenn man eine KI verwendet:

Wenn Sie Zuverlässigkeit und die strikte Einhaltung einer Liste benötigen (wie beim Auswählen von Produkten aus einem Menü), wählen Sie ein E-Modell.
Wenn Sie starke, konsistente Argumentation für komplexe Aufgaben wie das Programmieren benötigen, könnte ein D-Modell besser sein, auch wenn es weniger flexibel ist.

Das Ziel ist nicht zu sagen, dass eines „besser“ ist, sondern zu verstehen, dass sie unterschiedliche Stärken und Schwächen haben, wenn es darum geht, Wahrscheinlichkeitsregeln zu befolgen.

Technisches Resümee: D-Modelle und E-Modelle: Diversitäts–Stabilitäts-Trade-offs im Sampling-Verhalten von Large Language Models

Problemstellung

Large Language Models (LLMs) werden zunehmend in Web-Scale-Anwendungen wie Code-Generierung, Suche und Empfehlungssystemen eingesetzt. In diesen Kontexten ist der Generierungsprozess des Modells effektiv ein Sampling-Vorgang aus einer Verteilung potenzieller Elemente. Während bekannt ist, dass LLMs reale Verteilungen approximieren, besteht eine kritische Lücke im Verständnis darüber, ob ihre feingliedrigen, schrittweisen Token-Sampling-Wahrscheinlichkeiten ( $P_{token}$ ) tatsächlich mit der aufgabenbezogenen Zielverteilung ( $P_{task}$ ) übereinstimmen.

Die aktuelle Forschung hat Defizite bei der Fähigkeit von LLMs zur Generierung von Zufallszahlen oder Münzwürfen identifiziert, doch diese Studien sind weitgehend empirisch und szenarienspezifisch. Es mangelt an einer systematischen Analyse bezüglich der Abbildung zwischen der internen Token-Level-Verteilung ( $P_{token}$ ) und der aufgabenbezogenen Zielverteilung ( $P_{task}$ ), noch gibt es ein klares Verständnis darüber, wie diese internen Mechanismen die praktischen Ergebnisse in komplexen Aufgaben beeinflussen. Die Kernfrage lautet: Können LLMs verschiedene aufgabenbezogene Zielverteilungen verstehen und sich an diese anpassen, und weisen ihre internen Sampling-Verhaltensweisen unterschiedliche Muster auf, die Diversität und Stabilität beeinflussen?

Methodik

Die Autoren schlagen einen probabilistischen Rahmen vor, um das Sampling-Verhalten von LLMs zu analysieren, indem sie drei Schlüsselverteilungen in Beziehung setzen:

$P_{task}$ : Die Zielwahrscheinlichkeitsverteilung über eine durch die Aufgabe definierte Kandidatenmenge (z. B. eine spezifische Verteilung von Zahlen zur Generierung).
$P_{token}$ : Die interne Wahrscheinlichkeitsverteilung über das Vokabular bei jedem Generierungsschritt, die vom Modell ausgegeben wird.
$P_{result}$ : Die empirische Verteilung des final generierten Outputs.

Experimentelles Design

Die Studie verwendet einen mehrstufigen Validierungsansatz:

Simulierte Verteilungsaufgaben: Die Autoren entwarfen diskrete Wahrscheinlichkeits-Sampling-Aufgaben mit explizit definierten $P_{task}$ (z. B. „Extreme Distribution“ mit einem dominanten Token und „Flat Distribution“ mit uniformen Wahrscheinlichkeiten). Die Modelle wurden angewiesen, Sequenzen von Zahlen zu generieren, die diesen Verteilungen strikt folgen.
Metriken:
- e-score: Quantifiziert die Extremität von $P_{token}$ (Durchschnitt der maximalen Wahrscheinlichkeit bei jedem Schritt). Hohe Scores deuten auf deterministisches Verhalten hin.
- ATVD (Average Total Variation Distance): Misst die Divergenz zwischen Verteilungen ( $P_{task}$ vs. $P_{token}$ , $P_{task}$ vs. $P_{result}$ und $P_{token}$ vs. $P_{result}$ ).
- ATVD-step: Misst die schrittweise Übereinstimmung zwischen $P_{token}$ und $P_{task}$ .
Downstream-Aufgaben-Evaluierung: Die identifizierten Modelltypen wurden in der Code-Generierung (HumanEval Benchmark) und der Empfehlung (MovieLens-1M Datensatz) evaluiert.
- Code: Gemessen via $\Delta_{pass}$ (Diversität erfolgreicher Lösungen) und Vektorähnlichkeit.
- Empfehlung: Gemessen via Precision und „can-hit“-Rate (Anteil der Empfehlungen, die innerhalb einer vordefinierten Kandidatenliste liegen).
Analyse interner Mechanismen: Die Studie untersuchte die Auswirkungen von Temperatur, Prior Bias (intrinsische numerische Präferenzen), Layer-wise Probability Evolution (schichtweise Wahrscheinlichkeitsentwicklung) und einer Quota Compensation Hypothesis (ob Modelle zukünftige Logits basierend auf vergangenen Sampling-Fehlern anpassen).

Zentrale Erkenntnisse und Modellklassifizierung

Durch kontrollierte Simulationen und Downstream-Evaluierungen identifizieren die Autoren eine markante Dichotomie im Verhalten von LLMs und klassifizieren Modelle in zwei distinkte Typen:

1. D-Modelle (Deterministische Modelle)

Beispiele: Qwen-2.5, Llama-3.1, DeepSeek-R1, DeepSeek-v3.
Verhalten: Zeigen hohe e-scores (oft > 0,9), was darauf hindeutet, dass $P_{token}$ unabhängig von der Zielverteilung stark auf ein einzelnes Token konzentriert ist.
Mechanismus: Sie nutzen eine deterministische globale Planung. Selbst wenn ein uniformer Output gefordert ist, neigen sie dazu, auf ein spezifisches Token zu fixieren, was zu großen Schwankungen in $P_{token}$ von Schritt zu Schritt führt.
Performance:
- Code-Generierung: Performen gut, indem sie diverse Kandidatenlösungen durch geringfügige Perturbationen eines deterministischen Kerns erzeugen, was zu einem hohen $\Delta_{pass}$ führt.
- Empfehlung: Zeigen niedrigere „can-hit“-Raten, da sie oft von der bereitgestellten Kandidatenliste abweichen, um diverse, aber potenziell irrelevante Items zu generieren.

2. E-Modelle (Explorative Modelle)

Beispiele: Mistral-Small, Gemma-2, GPT-3.5-Turbo, GPT-4o.
Verhalten: Zeigen niedrigere e-scores und $P_{token}$ -Verteilungen, die enger mit $P_{task}$ übereinstimmen.
Mechanismus: Sie demonstrieren eine explorative lokale Planung. Ihre Token-Wahrscheinlichkeiten sind stabiler und passen sich der durch die Aufgabe geforderten Verteilung an, obwohl sie immer noch eine Tendenz zu einer höheren Konzentration zeigen als strikt erforderlich.
Performance:
- Code-Generierung: Zeigen ein niedrigeres $\Delta_{pass}$ ; ihre breitere Exploration in syntaktisch sensiblen Aufgaben führt oft zu semantischen oder exekutiven Fehlern.
- Empfehlung: Erreichen höhere „can-hit“-Raten und Precision, da ihre Generierung enger an den Constraints der Kandidatenmenge bleibt.

Interne Charakteristika

Temperatur-Sensitivität: E-Modelle reagieren hochsensibel auf Temperaturänderungen, was eine flexible Kontrolle über die Diversität ermöglicht. D-Modelle behalten ein Low-Entropy-Sampling selbst bei höheren Temperaturen bei und zeigen eine Resistenz gegenüber der Abflachung der Verteilung.
Prior Bias: Die Analyse bestätigt, dass Abweichungen von $P_{task}$ nicht durch intrinsische numerische Präferenzen (Priors) in den Modellen verursacht werden.
Layer-Evolution: In frühen Schichten zeigen beide Modelltypen uniforme Wahrscheinlichkeiten. In den „Up-Layers“ (nahe dem Output) behalten D-Modelle jedoch eine extreme Konfidenz bei, während E-Modelle allmählich gegen die Zielverteilung konvergieren.
Quota Compensation: Die Hypothese, dass D-Modelle Sampling-Fehler kompensieren, indem sie zukünftige Logits anpassen (um $P_{task}$ zu treffen), wurde abgelehnt. Korrelationsanalysen zeigten keinen signifikanten Zusammenhang zwischen vergangenen Sampling-Residualien und zukünftigen Wahrscheinlichkeitsanpassungen, was darauf hindeutet, dass D-Modelle auf einem globalen Plan statt auf reaktiver Kompensation basieren.

Zentrale Beiträge

Probabilistische Sicht auf Web-Aufgaben: Das Paper formalisiert Web-Aufgaben als probabilistische Sampling-Prozesse und validiert die Existenz zweier distinkter Modell-Verhaltensweisen (D-Modelle und E-Modelle) basierend auf der Übereinstimmung zwischen $P_{token}$ und $P_{task}$ .
Aufgabenspezifische Trade-offs: Die Studie zeigt einen systematischen Diversitäts–Stabilitäts-Trade-off auf. D-Modelle bevorzugen Diversität und deterministische Verfeinerung (vorteilhaft für Code-Generierung), kämpfen aber mit strikten Constraints (nachteilig für Empfehlungen). E-Modelle bevorzugen Stabilität und die Einhaltung von Constraints (vorteilhaft für Empfehlungen), können aber die kontrollierte Diversität vermissen lassen, die für komplexe Code-Exploration nötig ist.
Mechanismus-Analyse: Durch die Untersuchung interner Eigenschaften (Temperatur-Sensitivität, Layer-wise Evolution und Kompensationsmechanismen) liefert das Paper kausale Einblicke in die Gründe für diese Verhaltensunterschiede und geht über rein empirische Beobachtungen hinaus zu einem mechanistischen Verständnis.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Erkenntnisse grundlegende Einsichten in das probabilistische Sampling-Verhalten von LLMs bieten. Die Identifizierung von D-Modellen und E-Modellen bietet praktische Orientierung für die Modellauswahl und -konfiguration in realen Web-Anwendungen:

Für Aufgaben, die Zuverlässigkeit und strikte Einhaltung von Constraints erfordern (z. B. Suche, Empfehlung, konversationelle Agenten, bei denen die Halluzination nicht existenter Items kritisch ist), sind E-Modelle zu bevorzugen.
Für Aufgaben, die diverse Lösungs-Exploration und iterative Verfeinerung erfordern (z. B. Code-Generierung, kreatives Schreiben), könnten D-Modelle effektiver sein.

Das Paper schließt mit dem Argument, dass die Sicherstellung eines auditierbaren und erklärbaren Sampling-Prozesses entscheidend für eine verantwortungsvolle KI-Entwicklung ist. Durch das Verständnis darüber, ob ein Modell als D-Modell oder E-Modell operiert, können Praktiker Diversität und Zuverlässigkeit unter realen Unsicherheiten besser austarieren.