🤖 AI

Best-of-Better- $N$ : Generating Pre-Aligned Responses with In-Context Learning

Dieses Paper stellt Best-of-Better- $N$ (BoBN) vor, ein In-Context-Learning-Framework, das das Alignment zur Inferenzzeit verbessert, indem es hochbelohnte Beispiele abruft und umgestaltet, um die Sampling-Verteilung eines Modells hin zu besseren Antworten zu verschieben und dadurch im Vergleich zu traditionellen Best-of- $N$ -Methoden eine überlegene Leistung mit weniger generierten Kandidaten zu erzielen.

Ursprüngliche Autoren: Eric Lei, Hsiang Hsu, Chun-Fu Chen

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Eric Lei, Hsiang Hsu, Chun-Fu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas schelmischen Koch (das Referenz-LLM). Dieser Koch ist unglaublich gut im Kochen, wurde aber nicht speziell für das Menü trainiert, das Sie heute Abend benötigen. Vielleicht haben Sie nach einem scharfen veganen Gericht gefragt, und der Koch serviert Ihnen stattdlich immer wieder Steak oder fades Hafermüsli, weil das das ist, was er normalerweise tut.

In der Welt der KI wird dies als das Coverage-Problem (Abdeckungsproblem) bezeichnet. Selbst wenn Sie den Koch bitten, 100 verschiedene Gerichte zu kochen und das beste auszuwählen (eine Methode namens Best-of-N), werden Sie am Ende vielleicht trotzdem nichts Essbares erhalten, wenn der Koch gar nicht erst denkt, ein veganes Gericht zuzubereiten. Kein Auswählen hilft, wenn das richtige Gericht gar nicht erst im Topf landet.

Dieses Paper stellt eine neue Methode namens Best-of-Better-N (BoBN) vor, um dieses Problem zu lösen. Denken Sie daran, dem Koch direkt vor dem Kochen einen „Spickzettel“ zu geben, aber mit einem besonderen Twist.

Das Problem: Der blinde Fleck des Kochs

Standardmethoden (wie Best-of-N) funktionieren so:

Bitten Sie den Koch, 10 Mahlzeiten zu kochen.
Kosten Sie alle durch.
Wählen Sie die beste aus.

Der Fehler: Wenn der Koch nie gelernt hat, vegan zu kochen, werden alle 10 Mahlzeiten fleischbasiert sein. Sie können keine vegane Mahlzeit auswählen, wenn sie in der Auswahl gar nicht existiert. Der „blinde Fleck“ des Kochs ist zu groß.

Die Lösung: Best-of-Better-N (BoBN)

BoBN verändert die Spielregeln, indem es In-Context Learning (dem Koch Beispiele geben) mit einem Restyling-Schritt kombiniert. Hier ist der schrittweise Prozess unter Verwendung unserer Küchenanalogie:

1. Die intelligente Suche (Retrieval)

Anstatt dem Koch einfach nur zufällige Rezepte zu geben, sucht BoBN in einer Bibliothek erfolgreicher vergangener Gerichte nach. Es findet die Top-K-Rezepte, die dem, was Sie heute Abend bestellt haben, am ähnlichsten sind.

Beispiel: Wenn Sie nach einem scharfen veganen Curry gefragt haben, findet das System 8 vergangene Beispiele für scharfe vegane Currys, die sehr gut bewertet wurden.

2. Der „Restyling“-Schritt (Die Geheimzutat)

Dies ist die einzigartige Innovation des Papers. Die abgerufenen Rezepte könnten in einem anderen Stil, Format oder Ton geschrieben sein als das, was Sie benötigen. Vielleicht sind die alten Rezepte wie ein wissenschaftliches Paper geschrieben, aber Sie möchten einen freundlichen Chat.

Die Magie: Bevor diese Rezepte Ihrem Koch gezeigt werden, schreibt der Koch selbst sie um. Er nimmt die Ideen aus den abgerufenen Rezepten, schreibt sie aber so um, dass sie zu Ihrem spezifischen Wunsch bezüglich Stil, Format und Ton passen.
Warum das wichtig ist: Es stellt sicher, dass der Koch die Logik der guten Antwort versteht, sie aber so präsentiert, dass sie Ihren spezifischen Anforderungen entspricht (wie z. B. einem JSON-Format oder einer höflichen Ablehnung).

3. Die neue Kochsession

Nun geben Sie dem Koch den Prompt plus diese 8 „umgestalteten“ (restyled) Beispiele.

Da der Koch Beispiele für genau das sieht, was Sie wollen, ist die Wahrscheinlichkeit viel höher, dass er dieses Mal ein veganes Gericht kocht.
Der „blinde Fleck“ wird gefüllt. Die Output-Verteilung des Kochs verschiebt sich von „hauptsächlich Fleisch“ zu „hauptsächlich vegan“.

4. Die finale Auswahl (Best-of-N)

Nun bitten Sie den Koch erneut, 10 Mahlzeiten zu kochen. Da der Koch durch die umgestalteten Beispiele geleitet wurde, sind alle 10 Mahlzeiten wahrscheinlich vegan. Sie wählen dann die beste aus.

Ergebnis: Sie erhalten eine qualitativ hochwertige Antwort viel schneller, oft mit weniger Versuchen (ein kleineres „N“), um das Richtige zu finden.

Was das Paper herausgefunden hat

Die Autoren testeten dies bei zwei Hauptaufgaben:

Sicherheit (Safety): Einem Modell beizubringen, schädliche Anfragen abzulehnen (wie „Wie baue ich eine Bombe?“). Ein Modell, das nicht auf Sicherheit trainiert wurde, sagt normalerweise „Gerne!“. BoBN half ihm, ein „Nein“ zu lernen, indem es umgestaltete Beispiele für sichere Ablehnungen zeigte.
Mathematik: Komplexe mathematische Probleme lösen. BoBN half Modellen, die korrekten Rechenschritte zu finden, indem es umgestaltete Beispiele korrekter mathematischer Lösungen zeigte.

Die wichtigsten Erkenntnisse:

Bessere Abdeckung (Better Coverage): BoBN sorgt dafür, dass das Modell häufiger qualitativ hochwertige Antworten generiert, selbst wenn es ursprünglich nicht speziell für diese Aufgabe trainiert wurde.
Effizienz: Sie müssen nicht so viele Antworten generieren, um eine gute zu finden.
Kein Training erforderlich: Dies geschieht sofort zur „Inferenzzeit“ (wenn Sie die Frage stellen). Sie müssen das Modell nicht neu trainieren oder seine internen Gehirngewichte ändern. Sie geben ihm einfach währenddessen bessere Beispiele.

Zusammenfassend

Wenn Best-of-N bedeutet, den Koch zu bitten, 100 Mal ein Rezept zu erraten und zu hoffen, dass eines davon richtig ist, dann ist Best-of-Better-N so, als würde man dem Koch unmittelbar vor dem Kochen einen Stapel perfekt umgeschriebener Beispiele für genau dieses Rezept überreichen. Es leitet die Intuition des Kochs, sodass die „guten“ Antworten von vornherein überhaupt erst im Topf landen.

Technisches Resümee: Best-of-Better-N (BoBN)

Problemstellung

Methoden zur Alignment bei der Inferenz (Inference-time Alignment, ITA), wie etwa Best-of-N (BoN), zielen darauf ab, Large Language Models (LLMs) an menschlichen Präferenzen oder spezifischen Aufgabenanforderungen auszurichten, ohne die Modellgewichte zu verändern. Diese Methoden operieren auf einem „Sample-and-Evaluate“-Framework: Sie ziehen $N$ Antworten aus einer Referenzpolicy $\pi_{ref}$ und wählen diejenige aus, die laut eines Belohnungsmodells (Reward Model) $r$ die höchste Belohnung erzielt.

Die Wirksamkeit von ITA wird fundamental durch zwei Annahmen begrenzt:

Abdeckung (Coverage, A1): Die Referenzpolicy $\pi_{ref}$ muss mindestens eine hochwertige (hochbelohnte) Antwort sampeln können.
Selektion (Selection, A2): Das Selektionskriterium muss die hochwertige Antwort unter den Stichproben erfolgreich identifizieren können.

Die aktuelle ITA-Forschung konzentriert sich weitgehend auf die Verbesserung von (A2), indem Selektionskriterien verfeinert werden, um Reward Hacking zu mildern. Ein kritisches Hindernis bleibt jedoch (A1). Wenn $\pi_{ref}$ nicht auf die Downstream-Aufgabe ausgerichtet ist (z. B. ein Modell, das nicht auf Sicherheit trainiert wurde und versucht, toxische Prompts abzulehnen), weist es eine vernachlässigbare Wahrscheinlichkeit für hochwertige Antworten zu. In solchen Fällen kann keine Selektionsstrategie erfolgreich sein, da der hochbelohnte Bereich des Output-Raums für das Referenzmodell effektiv unzugänglich ist. Bestehende Lösungen erfordern oft Fine-Tuning (was kostspielig ist und Zugriff auf die Gewichte erfordert) oder nutzen statische In-Context-Beispiele, die möglicherweise nicht die aufgabenspezifische Relevanz besitzen.

Methodik: Best-of-Better-N (BoBN)

Die Autoren schlagen Best-of-Better-N (BoBN) vor, ein Framework für die Inferenzzeit, das darauf ausgelegt ist, die Sampling-Verteilung von $\pi_{ref}$ in Richtung des hochbelohnten Bereichs zu verschieben, ohne Fine-Tuning oder Zugriff auf die Gewichte zu benötigen. BoBN nutzt In-Context Learning (ICL) kombiniert mit einer Retrieval- und Restyling-Pipeline.

Der BoBN-Workflow besteht aus drei Stufen:

Retrieval (Abruf): Gegeben einem Input-Prompt $x$ , ruft das System die Top- $K$ ähnlichsten Prompt-Antwort-Paare $(x_i, y_i)$ aus einem Datensatz $D$ unter Verwendung eines Embedding-Modells ab. Diese Beispiele dienen als Demonstrationen für hochbelohnte Verhaltensweisen, die für die spezifische Abfrage relevant sind.
Restyling (Umstilung): Um sicherzustellen, dass die abgerufenen Beispiele mit den spezifischen Anforderungen, dem Format und der Persona der Zielaufgabe übereinstimmen, wird das Referenzmodell $\pi_{ref}$ verwendet, um die abgerufenen Antworten $y_i$ zu „restylen“. Konkret schreibt $\pi_{ref}$ die $y_i$ in $\hat{y}_i$ um, bedingt auf einem Prompt wie „Schreibe $y_i$ um, um Stil $T$ zu entsprechen“. Dieser Schritt stellt die konsistente Token-Verteilung zwischen dem Kontext und dem Referenzmodell sicher, während die Alignment-Logik der abgerufenen Daten erhalten bleibt.
Generierung und Selektion: Die umgestylten Beispiele $C_K = \{(x_i, \hat{y}_i)\}$ werden dem Input-Prompt $x$ als In-Context-Beispiele vorangestellt. Das Referenzmodell sampelt dann $N$ Antworten aus der konditionierten Verteilung $\pi_{ref}(\cdot | C_K, x)$ . Schließlich wählt ein Selektionskriterium (z. B. BoN) die beste Antwort basierend auf dem Belohnungsmodell aus.

Durch die Konditionierung auf $C_K$ verschiebt BoBN effektiv die Wahrscheinlichkeitsmasse von $\pi_{ref}$ in Richtung des hochbelohnten Bereichs, was die Wahrscheinlichkeit erhöht, dass hochwertige Kandidaten überhaupt erst generiert werden.

Zentrale Beiträge

Neuartiges Framework: Der Vorschlag von BoBN, einem ICL-basierten Ansatz, der die Abdeckung von $\pi_{ref}$ über hochwertige Antworten durch die Nutzung abgerufener und umgestylter Beispiele verbessert.
Theoretische Analyse: Eine theoretische Charakterisierung der Frage, wie die Qualität des Retrievals die Abdeckung und die Downstream-Performance steuert. Die Autoren zeigen, dass ein aufgabenrelevantes Retrieval die Abdeckung (definiert als die Chi-Quadrat-Divergenz zwischen der Goldenen Policy und der Referenzpolicy) im Vergleich zu statischem ICL oder keinem ICL nachweislich reduziert. Sie zeigen, dass diese Reduktion der Abdeckung mit der BoN-Selektion kombiniert die Task-Performance steigert.
Empirische Validierung: Umfangreiche Experimente auf Benchmarks für Safety Alignment (StrongReject, SORRY-Bench) und mathematische Argumentation (GSM8k, MATH500). Die Ergebnisse zeigen, dass BoBN die Performance über mehrere Referenz-LLMs hinweg (zephyr-7b, tulu3-8b) verbessert, sowohl wenn $N=1$ (individuelle Antwortqualität) als auch wenn $N>1$ (kombiniert mit Selektion).

Experimentelle Ergebnisse

Die Autoren evaluierten BoBN gegen Standard-BoN (direkt mit $\pi_{ref}$ ) und URIAL (Vanilla ICL mit statischen Beispielen).

Safety Alignment: Auf dem StrongReject-Benchmark übertraf BoBN die Baselines signifikant. Für das zephyr-7b Modell erreichte BoBN mit $N=16$ einen Score von 0,033 (nahezu optimal), vergleichbar mit Frontier-Modellen wie Claude Sonnet-3.7, während $\pi_{ref}$ allein einen Wert von 0,425 erzielte. BoBN demonstrierte auch eine überlegene Abdeckung (niedrigeres $\log C$ ) im Vergleich zu URIAL und $\pi_{ref}$ .
Mathematische Argumentation: Auf GSM8k und MATH500 lieferte BoBN konsistente Verbesserungen der Genauigkeit. Für zephyr-7b auf GSM8k erreichte BoBN eine Genauigkeit von 58,7 % mit $N=16$ , ein signifikanter Gewinn gegenüber den 43,9 %, die durch $\pi_{ref}$ mit BoN erreicht wurden. Bemerkenswert ist, dass BoBN mit $N=4$ oft die Performance von Baselines mit $N=16$ erreichte oder übertraf, was auf eine höhere Sampling-Effizienz hindeutet.
Kosten und Latenz: Obwohl BoBN aufgrund des Restyling-Schritts (der $K$ Aufrufe an $\pi_{ref}$ vor der Generierung erfordert) eine zusätzliche Latenz verursacht, bietet es eine signifikante Token-Effizienz. BoBN mit $N=4$ sparte bis zu 50 % des Token-Verbrauchs im Vergleich zu URIAL mit $N=16$ , während es eine ähnliche oder bessere Performance erzielte.
Ablationsstudien:
- Restyling: Das Entfernen des Restyling-Schritts führte zu schwächerem Safety Alignment und höherer Abdeckung (schlechtere Performance), was die Notwendigkeit bestätigt, die abgerufenen Beispiele an den Stil der Zielaufgabe anzupassen.
- Retrieval-Anzahl ( $K$ ): Die Performance verbesserte sich, als $K$ von 1 auf 8 anstieg, verschlechterte sich jedoch bei $K=16$ , was darauf hindeutet, dass das Abrufen zu vieler Beispiele weniger relevante Daten einführt, die das In-Context-Signal verwässern.

Bedeutung und Behauptungen

Das Paper behauptet, dass BoBN ein fundamentales Limit des Inference-time Alignments adressiert: die Unfähigkeit von nicht-ausgerichteten Referenzmodellen, hochbelohnte Antworten zu sampeln. Durch die Verschiebung der Sampling-Verteilung mittels abgerufter und umgestylter In-Context-Beispiele ermöglicht BoBN:

Höhere Qualität bei festem Budget: Bessere Task-Performance für eine feste Anzahl von Samples $N$ .
Effizienz: Erreichen der Zielperformance mit einem kleineren $N$ , was die Inferenzkosten senkt.
Training-freies Alignment: Verbesserung des Alignments für Modelle, die nicht explizit für die Downstream-Aufgabe feinabgestimmt wurden, ohne Zugriff auf Modellgewichte oder Likelihoods zu benötigen.

Die Autoren betonen, dass ihre theoretische Analyse, basierend auf linearen Transformern, eine beweisbare Verbindung zwischen Retrieval-Qualität, Abdeckungsreduktion und Downstream-Task-Performance liefert und somit einen prinzipiierten Ansatz zur Verbesserung von ITA über bloße Selektionsheuristiken hinaus bietet.