🤖 machine learning

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

Dieses Paper führt das Multi-Response Training (MRT) als statistisch fundierte Alternative zum Standard-Single-Response-Fine-Tuning ein und zeigt auf, dass das Beibehalten mehrerer valider Vervollständigungen pro Prompt die Generalisierung von Sprachmodellen verbessert, indem die bedingten Ausgabeverteilungen besser erfasst und die „Mode Lottery“ durch einen prinzipisierten Varianz-Budget-Tradeoff sowie optimale Antwortselektionsstrategien vermieden wird.

Ursprüngliche Autoren: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Veröffentlicht 2026-06-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Schüler das Schreiben einer Geschichte bei. Auf die alte Art und Weise (was das Papier als Single-Response Training bezeichnet) geben Sie dem Schüler einen Prompt wie „Schreibe eine Geschichte über eine Katze“ und zeigen ihm ein einziges Beispiel für eine gute Geschichte. Sie sagen ihm: „Das ist die Antwort.“

Das Problem ist, dass es nicht nur eine richtige Antwort gibt. Man könnte eine lustige Geschichte schreiben, eine traurige, ein Krimi oder ein Sci-Fi-Abenteuer. Indem Sie dem Schüler nur eine Version zeigen, spielen Sie eine „Mode Lottery“ (Modus-Lotterie). Sie sagen im Grunde: „Wir hatten Glück, dass genau diese spezifische Geschichte diejenige war, die wir ausgewählt haben, um sie zu zeigen.“ Wenn der Schüler nur eine Art von Geschichte sieht, könnte er denken, dass dies der einzige Weg ist, über eine Katze zu schreiben, und verpasst dadurch all die anderen gültigen, kreativen Möglichkeiten.

Dieses Paper schlägt eine neue Art des Lehrens vor, die Multi-Response Training (MRT) genannt wird. Anstatt nur eine Geschichte zu zeigen, zeigen Sie dem Schüler mehrere verschiedene, gleichermaßen gute Geschichten für denselben Prompt.

Hier ist die Aufschlüsselung der Hauptideen des Papers unter Verwendung einfacher Analogien:

1. Die zwei Arten von „Fragen“

Die Autoren treffen eine entscheidende Unterscheidung zwischen zwei Dingen:

Die Prompts (Die Fragen): Dies sind die verschiedenen Themen, nach denen Sie fragen (z. B. „Schreibe ein Gedicht“, „Repariere diesen Code“, „Plane eine Reise“).
Die Responses (Die Antworten): Dies sind die verschiedenen Wege, wie man dieselbe Frage beantworten kann.

Die Analogie: Stellen Sie sich vor, Sie sind ein Koch.

Neue Prompts sind wie das Erhalten von neuen Zutaten (ein neues Gemüse, ein neues Gewürz). Dies lehrt Sie etwas über die Vielfalt der Welt.
Neue Responses sind wie das Sehen verschiedener Rezepte für dieselbe Zutat (z. B. 5 verschiedene Arten, eine Kartoffel zu kochen). Dies lehrt Sie etwas über die Tiefe eines einzelnen Themas.

Das Paper argumentiert, dass man nicht das volle Potenzial des Kochens lernt, wenn man zwar viele verschiedene Zutaten (Prompts) hat, aber nur ein Rezept für jede davon. Man muss mehrere Rezepte für dieselbe Kartoffel sehen, um die „bedingte Verteilung“ (conditional distribution) – also all die Möglichkeiten, wie eine Kartoffel zubereitet werden kann – zu verstehen.

2. Das „Varianz-Budget“-Gesetz (Wann man mehr Antworten zeigen sollte)

Sie denken vielleicht: „Warum zeigen wir nicht einfach 100 Antworten für jede Frage?“ Das Paper sagt: Nein, das ist Geldverschwendung.

Sie führen das Konzept eines „Variance-Budget“ (Varianz-Budgets) ein. Denken Sie an Ihr Trainingsbudget wie an ein Lebensmittelbudget.

Prompts sind teuer: Das Schreiben einer neuen, einzigartigen Frage kostet menschliche Arbeit, Zeit und Geld.
Responses sind billig: Sobald man eine Frage hat, kann ein Computer sehr schnell und kostengünstig 50 verschiedene Antworten dafür generieren.

Die Regel:

Wenn die Antworten für eine einzelne Frage alle sehr ähnlich sind (geringe Diversität), hilft es nicht viel, mehr von ihnen zu zeigen. Es ist, als würde man 50 Fotos derselben Katze zeigen; man lernt nichts Neues dazu.
Wenn die Antworten sehr unterschiedlich sind (hohe Diversität), ist es ein riesiger Gewinn, mehr von ihnen zu zeigen. Es ist, als würde man 50 verschiedene Wege zeigen, eine Kartoffel zu kochen; man lernt sehr viel.

Das Paper liefert eine einfache Formel, um genau zu bestimmen, wie viele Antworten ( $K$ ) man behalten sollte. Dies hängt von Folgendem ab:

Wie unterschiedlich die Antworten untereinander sind.
Wie teuer es ist, neue Fragen im Vergleich zu neuen Antworten zu erhalten.

Der Sweet Spot: Wenn Antworten billig und vielfältig sind und Fragen teuer, sollten Sie viele Antworten pro Frage zeigen. Wenn die Antworten alle gleich sind, behalten Sie nur eine.

3. Die „Mode Lottery“-Falle

Das Paper warnt davor, dass man das Modell versehentlich ruinieren kann, wenn man nur die „beste“ Antwort basierend auf einem Score (wie einem Belohnungssystem) auswählt.

Die Analogie: Stellen Sie sich einen Lehrer vor, der dem Schüler nur den Aufsatz mit der Note „A+“ zeigt.

Die Falle: Der Schüler lernt, dass es nur einen Weg gibt, ein A+ zu bekommen. Er hört auf, kreativ zu sein oder andere gültige Wege zu erkunden. Er „kollabiert“ in das bloße Kopieren dieses einen Stils.
Die Lösung des Papers:
- Zufällige Auswahl (Der sichere Weg): Wählen Sie einfach $K$ Antworten zufällig aus. Dies ist unvoreingenommen und lehrt das Modell das gesamte Spektrum der Möglichkeiten.
- Belohnungsbasierte Auswahl (Der riskante Weg): Nur die am höchsten bewerteten Antworten auszuwählen. Dies führt oft zum „Mode Lottery“-Problem, bei dem das Modell alle anderen gültigen Wege zu antworten vergisst.
- Die „GRADES“-Methode: Ein kluger Mittelweg. Sie wählt Antworten aus, die sowohl qualitativ hochwertig als auch voneinander verschieden sind. Dies stellt sicher, dass das Modell eine vielfältige Auswahl guter Optionen sieht, ohne in nur einen Stil zu kollabieren.

4. Die „implizite“ Abkürzung

Das Paper stellte auch etwas Interessantes über riesige Datensätze fest. Manchmal muss man nicht explizit mehrere Antworten für einen Prompt zeigen. Wenn man eine massive Liste von Fragen hat, sind viele von ihnen nur umformulierte Versionen derselben Frage (z. B. „Wie repariere ich ein Leck?“ vs. „Mein Waschbecken tropft, hilf mir!“).

Die Analogie: Wenn man 100 verschiedene Menschen hat, die einen fragen, wie man sich die Schuhe bindet, und man ihnen jeweils nur eine Antwort gibt, aber die Fragen leicht unterschiedlich sind, kann das Modell dennoch die „vielfältigen Wege“ des Schuhbindens lernen, indem es all diese leicht unterschiedlichen Fragen sieht. Dies wird Implizites Multi-Response Training genannt. Das Paper stellt jedoch klar, dass dies nur funktioniert, wenn die Fragen wirklich unterschiedlich sind. Wenn die Fragen nur Kopien voneinander sind, hilft es nicht.

Zusammenfassung: Was sollten Sie tun?

Das Paper schließt mit einem einfachen Leitfaden für jeden, der KI-Modelle trainiert:

Werfen Sie nicht einfach mehr Daten auf das Problem. Es geht nicht um die Anzahl der Wörter, sondern um die Vielfalt der Antworten.
Prüfen Sie die Diversität. Wenn Ihre Fragen viele verschiedene gültige Antworten haben, hören Sie auf, nur eine zu zeigen. Zeigen Sie 2, 4 oder 8.
Beachten Sie Ihr Budget. Wenn es schwierig/teuer ist, neue Fragen zu bekommen, aber einfach/billig, Antworten zu generieren, dann setzen Sie verstärkt darauf, mehrere Antworten pro Frage zu zeigen.
Wählen Sie Ihre Antworten klug. Wenn Sie möchten, dass die KI das gesamte Spektrum der menschlichen Sprache versteht, wählen Sie Antworten zufällig aus oder stellen Sie sicher, dass sie divers sind. Wenn Sie nur die „höchste Belohnung“ (highest reward) auswählen, bringen Sie der KI möglicherweise unbeabsichtigt bei, engstirnig und repetitiv zu sein.

Kurz gesagt: MRT entkommt der „Mode Lottery“, indem es der KI lehrt, dass es für viele Fragen keine einzige „richtige“ Antwort gibt, sondern ein ganzes Spektrum an gültigen Antworten.

Technisches Resümee: Entkommen der Mode-Lotterie: Multi-Response-Training verbessert die Generalisierung von Sprachmodellen

Problemstellung

Das moderne Fine-Tuning von Sprachmodellen folgt typischerweise der Konvention, ein einzelnes Prompt mit einer einzelnen Antwort zu paaren. Während dies für Klassifikationsaufgaben geeignet ist, ist dieser Ansatz für die offene Generierung ungeeignet, bei der Prompts oft mehrere valide Vervollständigungen zulassen (z. B. „Schreibe eine Funktion, die eine Liste sortiert“). Indem man nur mit einer Antwort pro Prompt trainiert, wird das Modell einem engen Ausschnitt einer multimodalen bedingten Verteilung ausgesetzt. Die Autoren bezeichnen dieses Phänomen als die „Mode-Lotterie“ (Modus-Lotterie), bei der Trainingsdaten möglicherweise wiederholt eine Teilmenge plausibler Modi hervorheben (oft die häufigsten, am einfachsten zu generierenden oder am höchsten bewerteten), während andere valide und wertvolle Modi statistisch unsichtbar bleiben.

Bestehende Pipelines generieren oft mehrere Kandidaten, wählen aber eine einzige „beste“ Antwort für das Training aus (z. B. durch Maximierung der Belohnung/Reward-Maximierung). Dieses Paper argumentiert, dass dem Feld eine fundierte Erklärung fehlt, wann das Behalten mehrerer Antworten vorteilhaft ist, wie viel Gewinn zu erwarten ist und welche Antworten beibehalten werden sollten.

Methodik und theoretischer Rahmen

Das Paper formalisiert das Multi-Response-Training (MRT) als das Training auf $K > 1$ Antworten pro Prompt, im Gegensatz zum Standard Single-Response-Training (SRT, wobei $K=1$ ). Die zentrale theoretische Erkenntnis ist, dass Prompts und Antworten unterschiedliche statistische Ressourcen sind:

Zusätzliche Prompts reduzieren die Unsicherheit über die marginale Input-Verteilung ( $P(x)$ ).
Zusätzliche Antworten zum selben Prompt reduzieren die Unsicherheit über die bedingte Output-Verteilung ( $P(y|x)$ ).

1. Varianz-Budget-Gesetz

Die Autoren leiten eine strukturelle Zerlegung der empirischen Verlustvarianz ab. Für ein festes Modell $\theta$ zerlegt sich die Varianz des MRT-Schätzers als:
$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$
Wobei:

$V_x$ die Across-Prompt-Varianz ist (Unsicherheit über die Input-Verteilung).
$V_{y|x}$ die erwartete Within-Prompt-Varianz ist (Unsicherheit über die bedingte Output-Verteilung).
$N_p$ die Anzahl der distinkten Prompts ist.
$K$ die Anzahl der Antworten pro Prompt ist.

Diese Zerlegung zeigt einen „Prompt-Boden“ (Prompt Floor) auf: Eine Erhöhung von $K$ reduziert den zweiten Term, kann aber den ersten Term ( $V_x/N_p$ ) nicht reduzieren. Folglich liefert MRT abnehmende Erträge, sobald die Prompt-Ebene die Varianz dominiert.

Durch die Einführung von Akquisitionskosten ( $C_p$ für Prompts, $C_r$ für Antworten) und ein festes Budget $B = N_p(C_p + K C_r)$ leiten die Autoren die kostenbewusste optimale Multiplizität $K^\star$ ab:
$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$
Diese Regel legt nahe, dass MRT besonders wertvoll ist, wenn Antworten günstig, Prompts teuer und die bedingte Antwort-Verteilung hochgradig divers sind (hohes $V_{y|x}/V_x$ ).

2. Generalisierungs-Schranken

Das Paper liefert zwei komplementäre Generalisierungs-Schranken, um die potenziellen Gewinne zu quantifizieren:

Bernstein-Schranke: Zeigt, dass die Erhöhung von $K$ für ein festes Modell die Generalisierungsfehler-Schranke um einen Faktor reduziert, der von $V_{y|x}/K$ abhängt, während der Prompt-Ebene-Term unverändert bleibt.
Hierarchische Rademacher-Schranke: Adressiert die nicht-i.i.d.-Struktur von MRT-Daten (repetitive Prompts). Sie beweist, dass trotz der hierarchischen Struktur die Antwort-Ebene-Komplexität mit der Gesamtzahl der Prompt-Antwort-Paare ( $N_p K$ ) skaliert und nicht nur mit $K$ , sofern das Supremum über die Modellklasse korrekt gehandhabt wird. Dies zertifiziert, dass die Gewinne aus MRT auch bei der Modellauswahl bestehen bleiben.

3. Zielgruppenbewusste Antwortselektion (Target-Aware Response Selection)

Das Paper analysiert, wie verschiedene Selektionsstrategien das Trainingsziel verändern:

Random-K-of-N (RKoN): Stichproben von $K$ Antworten nach dem Zufallsprin
prin. Dies ist der unverzerrte Standard für distributional fine-tuning, der die Kandidaten-Verteilung bewahrt und die Gradienten-Varianz mit einer Rate von $1/K$ reduziert.
Best-K-of-N (BKoN): Wählt Antworten basierend auf Reward-Scores aus. Die Autoren zeigen, dass dies einen persistenten Upper-Tail-Bias induziert. Mit wachsendem Kandidatenpool konzentriert BKoN das Training auf den Reward-dominanten Modus, was potenziell valide Modi kollabieren lässt und die Gradienten mit dem wahren distributionalen Ziel in Missalignment bringt.
GRADES (Greedy Reward-Aware DiversE Subsetting): Ein submodularer Optimierungsansatz, der ein Gleichgewicht zwischen Qualität und Diversität herstellt. Er bietet eine $(1 - 1/e)$ -Approximationsgarantie für das Beibehalten einer Balance aus hochwertigen und diversen Antworten und fungiert als praktischer Proxy für geschichtetes Sampling.

Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie durch kontrollierte Simulationen und groß angelegtes LLM-Fine-Tuning in vier Domänen: Instruction Following (Gold), Dialogue (Nectar), Preference Alignment (UltraFeedback) und Code Generation (CodeContests).

Varianz-Zerlegung: Kontrollierte Simulationen bestätigten, dass die Erhöhung von $K$ nur die Within-Prompt-Varianz-Komponente reduziert und asymptotisch dem vorhergesagten Prompt-Boden nähert.
Optimale Multiplizität: Unter einem festen Budget folgte die Testleistung einer U-förmigen Kurve, wobei das Minimum nahe dem vorhergesagten $K^\star$ lag. Datensätze mit hoher Antwort-Variabilität relativ zur Prompt-Variabilität (z. B. CodeContests) zeigten die größten Gewinne durch MRT, während prompt-lastige Datensätze (z. B. Nectar) geringere Verbesserungen zeigten.
Selektor-Impact:
- RKoN verbesserte konsistent den Referenzverlust (Fit zur bedingten Verteilung) und die Coverage (Abdeckung), wenn $K$ erhöht wurde.
- BKoN erreichte höhere Reward-Scores, litt jedoch unter geringerer Diversität und schlechterer Referenz-Likelihood, was den Target Shift bestätigt.
- GRADES/DBKoN (Diverse-Best-K-of-N) balancierte erfolgreich Qualität und Coverage und übertraf in Bezug auf die Referenz-Coverage-Metriken sowohl reine Diversitäts- als als auch reine Reward-Selektion.
Implizites MRT: Experimente mit Prompt-Redundanz (Paraphrasen) zeigten, dass hochgradig redundante Korpora einen „impliziten MRT-Effekt“ imitieren können, wenn die Paraphrasen distinkte bedingte Modi freilegen. Wenn Paraphrasen jedoch mit nahezu identischen Antworten gepaart sind, ist der Nutzen vernachlässigbar.

Bedeutung und Ansprüche

Das Paper rahmt die Antwort-Multiplizität nicht als Heuristik, sondern als ein Datenallokationsproblem mit klarer statistischer Anleitung um. Seine primären Ansprüche sind:

Kontextabhängiger Wert: MRT ist nicht universell überlegen; sein Wert hängt vom Verhältnis der Within-Prompt- zu der Across-Prompt-Varianz und den relativen Kosten der Datenerfassung ab.
Statistische Fundierung: Wenn Antworten günstig und divers sowie Prompts teuer sind, ist das Beibehalten mehrerer Antworten eine statistisch fundierte Entscheidung, die der Mode-Lotterie entkommt, indem sie auf mehr von der bedingten Struktur trainiert.
Selektion ist entscheidend: Die Wahl des Selektors ist kritisch. Während eine reward-basierte Selektion einen spezifischen Metrik optimiert, kann sie valide Modi kollabieren lassen. Für die distributionale Generalisierung sind eine unverzerrte Selektion (RKoN) oder eine diversitätsbewusste Selektion (GRADES) erforderlich, um die bedingte Struktur zu bewahren.
Implizit vs. Explizit: Große, redundante Korpora können einen „impliziten MRT-Effekt“ bieten, aber explizites Multi-Response-Training ist am vorteilhaftesten in Szenarien mit geringer Redundanz, in denen jeder Prompt einen distinkten Bereich der Aufgabenverteilung abdeckt.

Die Autoren kommen zu dem Schluss, dass MRT eine fundierte Methode bietet, um zu entscheiden, wann Antwort-Multiplizität den Aufwand wert ist, und damit über die „Ein Prompt, eine Antwort“-Konvention hinausgeht, um die multimodale Natur der offenen Generierung besser abzubilden.