🤖 machine learning

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

Dit artikel introduceert Multi-Response Training (MRT) als een statistisch onderbouwd alternatief voor standaard single-response fine-tuning, waarbij wordt aangetoond dat het behouden van meerdere geldige voltooiingen per prompt de generalisatie van taalmodellen verbetert door de conditionele outputverdelingen beter te vatten en de "mode lottery" te vermijden via een principiële variantie-budgetafweging en optimale strategieën voor responsselectie.

Oorspronkelijke auteurs: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert hoe je een verhaal schrijft. In de oude manier van doen (wat het papier Single-Response Training noemt), geef je de student een opdracht zoals "Schrijf een verhaal over een kat," en laat je ze één voorbeeld zien van een goed verhaal. Je zegt: "Dit is het antwoord."

Het probleem is dat er niet slechts één juist antwoord is. Je zou een grappig verhaal kunnen schrijven, of een droevig verhaal, een mysterie, of een sciencefictionavontuur. Door slechts één versie te tonen, speel je een "Mode Lottery" (een modus-loterij). Je zegt in feat: "We hadden geluk dat dit specifieke verhaal degene was die we kozen om te laten zien." Als de student alleen één type verhaal ziet, kunnen ze denken dat dat de enige manier is om over een kat te schrijven, waardoor ze alle andere geldige, creatieve mogelijkheden missen.

Dit papier stelt een nieuwe manier van lesgeven voor genaamd Multi-Response Training (MRT). In plaats van één verhaal te tonen, laat je de student meerdere verschillende, even goede verhalen zien voor dezelfde opdracht.

Hier is de uitsplitsing van de belangrijkste ideeën uit het papier met behulp van eenvoudige analogieën:

1. De twee soorten "vragen"

De auteurs maken een cruciaal onderscheid tussen twee dingen:

De Prompts (De Vragen): Dit zijn de verschillende onderwerpen waarover je vragen stelt (bijv. "Schrijf een gedicht," "Los deze code op," "Plan een reis").
De Responses (De Antwoorden): Dit zijn de verschillende manieren waarop je dezelfde vraag kunt beantwoorden.

De Analogie: Stel je voor dat je een chef-kok bent.

Nieuwe Prompts zijn als het krijgen van nieuwe ingrediënten (een nieuwe groente, een nieuw kruid). Dit leert je over de variëteit van de wereld.
Nieuwe Responses zijn als het zien van verschillende recepten voor hetzelfde ingrediënt (bijv. 5 verschillende manieren om een aardappel te bereiden). Dit leert je over de diepgang van een enkel onderwerp.

Het papier betoogt dat als je veel verschillende ingrediënten (prompts) hebt maar slechts één recept voor elk, je niet het volledige potentieel van koken leert. Je moet meerdere recepten voor dezelfde aardappel zien om de "conditionele distributie" (alle manieren waarop een aardappel bereid kan worden) te begrijpen.

2. De "Variance-Budget" Wet (Wanneer je meer antwoorden laat zien)

Je zou kunnen denken: "Waarom laten we niet gewoon 100 antwoorden zien voor elke vraag?" Het papier zegt: Nee, dat is een verspilling van geld.

Ze introduceren een "Variance-Budget" concept. Denk aan je trainingsbudget als een boodschappenbudget.

Prompts zijn duur: Het schrijven van een nieuwe, unieke vraag kost menselijke inspanning, tijd en geld.
Responses zijn goedkoop: Zodra je een vraag hebt, kan een computer heel snel en goedkoop 50 verschillende antwoorden op die vraag genereren.

De Regel:

Als de antwoorden voor een enkele vraag erg veel op elkaar lijken (lage diversiteit), helpt het niet veel om meer van hen te laten zien. Het is als het laten zien van 50 foto's van dezelfde kat; je leert niets nieuws.
Als de antwoorden zeer verschillend zijn (hoge diversiteit), is het laten zien van meer van hen een enorme winst. Het is als het laten zien van 50 verschillende manieren om een aardappel te bereiden; je leert veel.

Het papier geeft een eenvoudige formule om precies te bepalen hoeveel antwoorden ( $K$ ) je moet houden. Dit hangt af van:

Hoe verschillend de antwoorden van elkaar zijn.
Hoe duur het is om nieuwe vragen versus nieuwe antwoorden te krijgen.

Het Zoete Punt: Als antwoorden goedkoop en divers zijn, en vragen duur, moet je veel antwoorden per vraag houden. Als de antwoorden allemaal hetzelfde zijn, houd er dan slechts één.

3. De "Mode Lottery" Valstrik

Het papier waarschuwt dat als je alleen het "beste" antwoord kiest op basis van een score (zoals een beloningssysteem), je het model per ongeluk kunt ruïneren.

De Analogie: Stel je een leraar voor die de student alleen het essay met een "A+" laat zien.

De Valstrik: De student leert dat er slechts één manier is om een A+ te krijgen. Ze stoppen met het proberen te zijn creatief of het verkennen van andere geldige manieren om te schrijven. Ze "collapsen" naar het simpelweg kopiëren van die ene stijl.
De Oplossing van het Papier:
- Random Selectie (De Veilige Keuze): Kies gewoon $K$ antwoorden op willekeurige wijze. Dit is onbevooroordeeld en leert het model het volledige bereik van mogelijkheden.
- Reward Selectie (De Riskante Keuze): Alleen de hoogst scorende antwoorden kiezen. Dit leidt vaak tot het "Mode Lottery" probleem waarbij het model alle andere geldige manieren om te antwoorden vergeet.
- De "GRADES" Methode: Een slim middenpad. Het kiest antwoorden die zowel van hoge kwaliteit als verschillend van elkaar zijn, waardoor het model een divers stel goede opties ziet zonder te vervallen in slechts één stijl.

4. De "Impliciete" Afkorting

Het papier merkte ook iets interessants op over enorme datasets. Soms hoef je niet expliciet meerdere antwoorden voor één prompt te tonen. Als je een enorme lijst met vragen hebt, zijn veel van hen simpelweg geherformuleerde versies van dezelfde vraag (bijv. "Hoe repareer ik een lek?" versus "Mijn kraan druppelt, help!").

De Analogie: Als je 100 verschillende mensen hebt die je vragen hoe je een veter strikt, en je geeft hen elk slechts één antwoord, maar de vragen zijn iets anders, dan kan het model nog steeds de "meerdere manieren" om een veter te strikken leren door al die licht verschillende vragen te zien. Dit wordt Implicit Multi-Response Training genoemd. Het papier zegt echter dat dit alleen werkt als de vragen echt verschillend zijn. Als de vragen slechts kopieën van elkaar zijn, helpt het niet.

Samenvatting: Wat moet je doen?

Het papier concludeert met een eenvoudige gids voor iedereen die AI-modellen traint:

Gooi niet zomaar meer data op het probleem. Het gaat niet om het aantal woorden; het gaat om de variëteit van de antwoorden.
Controleer de diversiteit. Als je vragen veel verschillende geldige antwoorden hebben, stop dan met het tonen van slechts één antwoord. Toon er 2, 4 of 8.
Let op je budget. Als het verkrijgen van nieuwe vragen moeilijk/duur is, maar het genereren van antwoorden is makkelijk/goedkoop, leun dan zwaar op het tonen van meerdere antwoorden per vraag.
Kies je antwoorden wijs. Als je wilt dat de AI het volledige bereik van de menselijke taal begrijpt, kies dan antwoorden willekeurig of zorg ervoor dat ze divers zijn. Als je alleen de "hoogste beloning" antwoorden kiest, leer je de AI misschien onbedoeld om nauw en repetitief te zijn.

Kortom: MRT ontsnapt aan de "Mode Lottery" door de AI te leren dat er voor veel vragen geen enkel "correct" antwoord is, maar eerder een heel spectrum van geldige antwoorden.

Technisch overzicht: Ontsnappen aan de Mode-loterij: Multi-Response Training verbetert de generalisatie van taalmodellen

Probleemstelling

De moderne fine-tuning van taalmodellen volgt doorgaans de conventie van het koppelen van een enkele prompt aan een enkele respons. Hoewel dit geschikt is voor classificatietaken, is deze aanpak minder geschikt voor open eind generatie, waarbij prompts vaak meerdere geldige voltooiingen toelaten (bijv. "schrijf een functie die een lijst sorteert"). Door te trainen op slechts één respons per prompt, wordt het model blootgesteld aan een smalle uitsnede van een multimodale conditionele distributie. De auteurs noemen dit fenomeen de "mode lottery" (modus-loterij), waarbij trainingsdata mogelijk herhaaldelijk een subset van plausibele modi benadrukt (vaak de meest voorkomende, gemakkelijkst te genereren of het hoogst beloonde), terwijl andere geldige en waardevolle modi statistisch onzichtbaar blijven.

Bestaande pipelines genereren vaak meerdere kandidaten, maar selecteren een enkele "beste" respons voor training (bijv. via beloningsmaximalisatie). Dit artikel betoogt dat het vakgebied een fundamentele verklaring mist voor wanneer het behouden van meerdere responsen voordelig is, hoeveel winst kan worden verwacht, en welke responsen behouden moeten worden.

Methodologie en Theoretisch Kader

Het papier formaliseert Multi-Response Training (MRT) als het trainen op $K > 1$ responsen per prompt, in contrast met Standard Single-Response Training (SRT, waar $K=1$ ). Het kerninzicht is dat prompts en responsen verschillende statistische bronnen zijn:

Aanvullende prompts verminderen de onzekerheid over de marginale inputdistributie ( $P(x)$ ).
Aanvullende responsen bij dezelfde prompt verminderen de onzekerheid over de conditionele outputdistributie ( $P(y|x)$ ).

1. Variantie-Budgetwet

De auteurs leiden een structurele decompositie af van de empirische verliesvariantie. Voor een vast model $\theta$ deelt de variantie van de MRT-schatter als volgt op:
$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$
Waarbij:

$V_x$ de variantie tussen prompts is (onzekerheid over de inputdistributie).
$V_{y|x}$ de verwachte variantie binnen prompts is (onzekerheid over de conditionele outputdistributie).
$N_p$ het aantal unieke prompts is.
$K$ het aantal responsen per prompt is.

Deze decompositie onthult een "prompt-vloer": het verhogen van $K$ vermindert de tweede term, maar kan de eerste term ( $V_x/N_p$ ) niet verminderen. Bijgevolg levert MRT een afnemende meeropbrengst op zodra de onzekerheid op promptniveau domineert.

Door acquisitiekosten te introduceren ( $C_p$ voor prompts, $C_r$ voor responsen) en een vast budget $B = N_p(C_p + K C_r)$ , leiden de auteurs de kosteneffectieve optimale multipliciteit $K^\star$ af:
$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$
Deze regel suggereert dat MRT het meest waardevol is wanneer responsen goedkoop zijn, prompts duur zijn en de conditionele responsdistributie zeer divers is (hoge $V_{y|x}/V_x$ ).

2. Generalisatiegrenzen

Het papier biedt twee complementaire generalisatiegrenzen om de potentiële winsten te kwantificeren:

Bernstein-grens: Toont aan dat het verhogen van $K$ voor een vast model de foutenmarge van de generalisatie verlaagt met een factor die afhankelijk is van $V_{y|x}/K$ , terwijl de term op promptniveau ongewijzigd blijft.
Hiërarchische Rademacher-grens: Richt zich op de niet-i.i.d. structuur van MRT-data (herhaalde prompts). Het bewijst dat, ondanks de hiërarchische structuur, de complexiteit op responsniveau schaalt met het totale aantal prompt-respons paren ( $N_p K$ ), in plaats van alleen met $K$ , mits de supremum over de modelklasse correct wordt afgehandeld. Dit certificeert dat de winsten van MRT standhouden bij modelselectie.

3. Target-bewuste Responsselectie

Het papier analyseert hoe verschillende selectiestrategieën het trainingsdoel veranderen:

Random-K-of-N (RKoN): Samplet $K$ responsen willekeurig uit de verzameling. Dit is de onbevooroordeelde standaard voor distributionele fine-tuning, die de kandidaat-distributie behoudt en de gradiëntvariantie met een snelheid van $1/K$ vermindert.
Best-K-of-N (BKoN): Selecteert responsen op basis van beloningsscores. De auteurs tonen aan dat dit een persistente upper-tail bias induceert. Naarmate de kandidaatpool groter wordt, concentreert BKoN de training op de beloningsdominante modus, wat kan leiden tot het instorten van geldige modi en een mismatch van gradiënten met het werkelijke distributionele doel.
GRADES (Greedy Reward-Aware DiversE Subsetting): Een submodulaire optimalisatiebenadering die een balans vindt tussen kwaliteit en diversiteit. Het biedt een $(1 - 1/e)$ benaderingsgarantie voor het behouden van een balans tussen hoogwaardige en diverse responsen, en fungeert als een praktische proxy voor gestratificeerde steekproeftrekking.

Experimentele Resultaten

De auteurs valideren hun theorie via gecontroleerde simulaties en grootschalige LLM fine-tuning over vier domeinen: instructie-opvolging (Gold), dialoog (Nectar), voorkeursafstemming (UltraFeedback) en code-generatie (CodeContests).

Variantie-decompositie: Gecontroleerde simulaties bevestigden dat het verhogen van $K$ alleen de component van de variantie binnen prompts vermindert, waarbij het asymptotisch de voorspelde prompt-vloer nadert.
Optimale Multipliciteit: Onder een vast budget volgde de testprestatie een U-vormige curve, met het minimum nabij de voorspelde $K^\star$ . Datasets met een hoge variabiliteit in responsen ten opzichte van de variabiliteit in prompts (bijv. CodeContests) vertoonden de grootste winsten door MRT, terwijl prompt-zware datasets (bijv. Nectar) kleinere verbeteringen lieten zien.
Impact van de Selector:
- RKoN verbeterde consequent de referentieverlies (fit aan de conditionele distributie) en dekking naarmate $K$ toenam.
- BKoN behaalde hogere beloningsscores, maar leed aan lagere diversiteit en een slechtere referentielikehood, wat de verschuiving in het doel bevestigt.
- GRADES/DBKoN (Diverse-Best-K-of-N) slaagde erin een balans te vinden tussen kwaliteit en dekking, waarbij het de pure diversiteit- of pure beloningsselectie overtrof op het gebied van referentie-dekking.
Impliciete MRT: Experimenten met prompt-redundantie (parafrasen) toonden aan dat zeer redundante corpora een "impliciet MRT"-effect kunnen nabootsen als de parafrasen verschillende conditionele modi blootleggen. Echter, als parafrasen worden gekoppeld aan bijna identieke responsen, is het voordeel verwaarloosbaar.

Betekenis en Claims

Het artikel herformuleert respons-multipliciteit niet als een heuristiek, maar als een data-allocatieprobleem met duidelijke statistische sturing. De belangrijkste claims zijn:

Contextafhankelijke Waarde: MRT is niet universeel superieur; de waarde ervan is afhankelijk van de ratio tussen variantie binnen prompts en variantie tussen prompts, en de relatieve kosten van data-acquisitie.
Statistische Fundering: Wanneer responsen goedkoop en divers zijn, en prompts duur zijn, is het behouden van meerdere responsen een statistisch onderbouwde keuze die de "mode lottery" ontvlucht door te trainen op meer van de conditionele structuur.
Selectie is Cruciaal: De keuze van de selector is essentieel. Terwijl beloningsgebaseerde selectie een specifieke metriek optimaliseert, kan het geldige modi doen instorten. Voor distributionele generalisatie zijn onbevooroordeelde selectie (RKoŋ) of diversiteitsbewuste selectie (GRADES) vereist om de conditionele structuur te behouden.
Impliciet vs. Expliciet: Grote, redundante corpora kunnen een "impliciet MRT"-effect bieden, maar expliciete multi-respons training is het meest effectief in scenario's met lage redundantie, waar elke prompt een uniek gebied van de taakdistributie beslaat.

De auteurs concluderen dat MRT een principiële manier biedt om te beslissen wanneer respons-multipliciteit de kosten waard is, waarmee zij verder gaan dan de "één prompt, één respons"-conventie om de multimodale aard van open eind generatie beter te modelleren.