🤖 machine learning

Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

Dieser Beitrag stellt PEPO vor, einen einstufigen Direct Preference Optimization-Algorithmus, der eine Überoptimierung ohne Kenntnis der Datenverteilung oder eines expliziten Belohnungsmodells durch die Nutzung eines pessimistischen Ensembles von Strategien, die auf disjunkten Datenuntergruppen trainiert wurden, abschwächt und dadurch verbesserte Garantien für die Stichprobenkomplexität bei Beibehaltung der praktischen Einfachheit von DPO erreicht.

Ursprüngliche Autoren: Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, gute Geschichten zu schreiben. Sie verfügen über ein riesiges Notizbuch mit Beispielen, in dem ein menschlicher Richter aus zwei Optionen die „bessere" Geschichte ausgewählt hat. Ihr Ziel ist es, den Roboter so zu trainieren, dass er Geschichten schreibt, die dieselben Stimmen gewinnen würden.

Dies ist die Aufgabe der Direct Preference Optimization (DPO), einer beliebten Methode zum Lehren von KI. DPO hat jedoch einen berühmten Mangel: Sie leidet unter „Überoptimierung".

Stellen Sie sich das wie einen Schüler vor, der eine Übungsklausur schreibt. Wenn der Schüler die genauen Antworten auf die Übungsfragen auswendig lernt, die Konzepte aber nicht wirklich versteht, könnte er bei der Übungsklausur eine perfekte Punktzahl erzielen, bei der echten Prüfung jedoch durchfallen. In KI-Terminologie beginnt das Modell, das System zu „betrügen". Es lernt, Dinge zu sagen, die im Trainingsdata wie Gewinner aussehen, aber in der realen Welt tatsächlich Unsinn, Halluzinationen oder schlichtweg schlecht sind.

Die Arbeit stellt eine neue Methode namens PEPO (Pessimistic Ensemble based Preference Optimization) vor, um dieses Problem zu beheben, ohne genau zu wissen, wie die Trainingsdaten erstellt wurden.

Hier ist die Funktionsweise von PEPO, unter Verwendung alltäglicher Analogien:

1. Das Problem: Der „selbstsichere Narr"

Standard-DPO ist wie ein einzelner Schüler, der sehr selbstsicher ist, aber nur einen spezifischen Satz von Notizen gelernt hat. Wenn diese Notizen einen Trick oder einen Fehler enthalten, wird der Schüler den Fehler selbstbewusst wiederholen. Da das Modell versucht, seine Punktzahl auf den Trainingsdaten zu maximieren, beginnt es schließlich, Halluzinationen zu produzieren, um eine höhere Punktzahl zu erzielen, obwohl die Qualität seiner Schreibarbeit sinkt.

2. Die Lösung: Das „skeptische Gremium"

PEPO verändert das Spiel, indem es ein Ensemble verwendet. Anstatt einen Schüler zu trainieren, trainiert PEPO ein ganzes Gremium von Schülern (sagen wir 3 bis 4 von ihnen).

Die Aufteilung: Das Trainingsnotizbuch wird in separate, sich nicht überschneidende Stapel zerteilt. Jeder Schüler erhält einen anderen Stapel zum Lernen.
Der Pessimismus: Wenn eine Entscheidung getroffen werden muss, fragt PEPO nicht: „Was denkt die Mehrheit?" Stattdessen fragt es: „Was ist das schlechtmöglichste Szenario unter allen unseren Schülern?"

Dies ist der „pessimistische" Teil. Es ist wie ein Richter-Gremium, das nur dann eine Geschichte genehmigt, wenn jeder einzelne Richter zustimmt, dass sie gut ist. Wenn ein Richter unsicher ist oder eine Geschichte für riskant hält, lehnt die gesamte Gruppe sie ab. Dies zwingt die KI, konservativ zu sein und sich auf das zu verlassen, wovon sie wirklich überzeugt ist, anstatt wild zu raten, um eine hohe Punktzahl zu erzielen.

3. Der Zaubertrick: Kein Kristallkugel nötig

Frühere Methoden, die versuchten, dieses Problem zu lösen, benötigten eine „Kristallkugel". Sie mussten genau wissen, wie die Trainingsdaten generiert wurden (z. B.: „Hat ein Mensch dies geschrieben? Hat eine bestimmte KI dies geschrieben?"). In der realen Welt wissen wir dies oft nicht. Wenn Sie beispielsweise eine kleine KI mit Daten trainieren, die von einer riesigen, proprietären KI (wie GPT-4) generiert wurden, können Sie den „Quellcode" nicht einsehen, der zeigt, wie diese Daten erstellt wurden.

PEPO ist besonders, weil es keine Kristallkugel benötigt. Durch den Ansatz des „skeptischen Gremiums" erkennt es auf natürliche Weise, was unsicher ist, ohne die Herkunft der Daten kennen zu müssen. Es schafft sein eigenes Sicherheitsnetz.

4. Wie es Antworten generiert

Wenn das PEPO-Modell eine Antwort schreiben muss, führt es einen speziellen „Ablehnungs-Sampling"-Prozess durch (denken Sie daran als Qualitätskontrollfilter).

Es generiert eine potenzielle Antwort.
Es prüft: „Ist jedes einzelne Mitglied unseres Gremiums einverstanden, dass dies sicher und gut ist?"
Wenn ja, gibt es die Antwort aus.
Wenn auch nur ein Mitglied skeptisch ist, verwirft es die Antwort und versucht es erneut.

Dies mag langsam klingen, aber die Autoren fanden einen „Token-Level"-Abkürzungsweg, der es schnell genug für den Einsatz in der realen Welt macht und die Sicherheitsvorteile beibehält, ohne Geschwindigkeitsnachteile.

Die Ergebnisse

Die Arbeit testete dies an mehreren großen Sprachmodellen (wie Llama, Mistral und Zephyr).

Standard-DPO: Die Leistung des Modells stieg zunächst an, brach dann jedoch zusammen (die „Überoptimierungs"-Klippe).
PEPO: Die Leistung stieg an und stabilisierte sich dann. Sie brach nicht zusammen. Sie wurde weiter besser, ohne in die Falle zu tappen, Unsinn zu halluzinieren.

Das Fazit

PEPO ist wie die Einstellung eines Komitees vorsichtiger Experten anstelle eines übermäßig selbstbewussten Genies. Indem es die KI zwingt, nur das zu tun, wozu das gesamte Komitee übereinstimmt, dass es sicher ist, vermeidet es die Falle der Überoptimierung für die Trainingsdaten. Dies erreicht es, ohne die geheime Geschichte zu kennen, woher die Daten stammen, was es zu einem robusten und praktischen Werkzeug zur Verbesserung der KI-Sicherheit und -Qualität macht.

Problemstellung

Direct Preference Optimization (DPO) hat sich aufgrund seiner Einfachheit und der Fähigkeit, eine explizite Reward-Modellierung zu umgehen, zum Standard für das Nachtrainieren großer Sprachmodelle (LLMs) entwickelt. Allerdings ist bekannt, dass DPO unter Überoptimierung leidet: Im Verlauf des Trainings kann das Modell den Trainingsverlust maximieren, während die tatsächliche Qualität der generierten Antworten im Vergleich zum ursprünglichen Modell verschlechtert wird. Dieses Problem wird dadurch verschärft, dass Standard-DPO und Reinforcement Learning from Human Feedback (RLHF) die geschätzte Belohnung als perfekte Ground Truth behandeln und Unsicherheit ignorieren.

Theoretische Garantien zur Minderung von Überoptimierung stützen sich typischerweise auf Pessimismus, um sicherzustellen, dass die erlernte Strategie robust gegenüber Schätzfehlern ist. Bestehende pessimistische Varianten (z. B. $\chi^2$ -regularisiertes DPO, DPO+SFT) erreichen starke theoretische Schranken, die ausschließlich von einem Single-Policy-Concentrability-Koeffizienten ( $C^\star$ ) abhängen, was Robustheit auch dann impliziert, wenn der Datensatz den gesamten Strategieraum nicht abdeckt. Diese Garantien hängen jedoch kritisch davon ab, die datengenerierende Verteilung ( $\pi_{data}$ ) zu kennen oder Zugriff auf eine Referenzstrategie zu haben, die gut von $\pi_{data}$ abgedeckt ist. In der Praxis wird diese Annahme häufig verletzt, beispielsweise beim Feinabstimmen kleinerer Modelle auf Präferenzdaten, die von größeren, proprietären Systemen (z. B. GPT-4) generiert wurden, wobei $\pi_{data}$ unbekannt und nicht zugänglich ist.

Die zentrale Forschungsfrage lautet: Können wir einen DPO-ähnlichen Algorithmus entwerfen, der nachweislich robust gegenüber Überoptimierung ist, ohne Kenntnis der datengenerierenden Verteilung $\pi_{data}$ ?

Methodik: PEPO

Die Autoren stellen PEPO (Pessimistic Ensemble based Preference Optimization) vor, einen einstufigen Algorithmus, der Pessimismus durch ein Ensemble von Strategien erreicht, die auf disjunkten Datenuntergruppen trainiert wurden, ohne dass Kenntnis von $\pi_{data}$ erforderlich ist.

1. Ensemble-Training:
Der Präferenzdatensatz $D$ wird in $L$ disjunkte Teilmengen partitioniert. Für jede Teilmenge $D_\ell$ wird eine leichte Strategie $\tilde{\pi}_\ell$ unter Verwendung eines pessimistischen DPO-Ziels trainiert. Dieses Ziel modifiziert den Standard-DPO-Verlust, indem die Sigmoid-Funktion horizontal um einen Parameter $\lambda_\ell$ verschoben wird, was effektiv die für eine Gewinnwahrscheinlichkeit erforderliche Marge reduziert. Diese Verschiebung induziert eine konservative (pessimistische) Schätzung der Reward-Lücke.

2. Pessimistische Aggregation:
Die Ausgabestrategie $\pi_{out}$ wird als Lösung eines „virtuellen" RLHF-Problems definiert, das den Schlimmfall-Reward über das Ensemble hinweg optimiert. Der implizite Reward für das Ensemble wird konstruiert, indem das Minimum über die $L$ Modelle ihrer geschätzten Reward-Lücken gebildet wird, angepasst an die Datenverteilung in den anderen Teilmengen (um Unabhängigkeit sicherzustellen).
$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$
wobei $\zeta_\ell(x)$ den Beitrag von Daten außerhalb der $\ell$ -ten Teilmenge berücksichtigt.

3. Effizientes Sampling:
Die geschlossene Lösung für $\pi_{out}$ beinhaltet eine Normierungskonstante über den gesamten Antwortraum, die nicht handhabbar ist. Um dies zu umgehen, setzt PEPO Ablehnungssampling (Rejection Sampling) ein (Algorithmus 2). Jedes Mitglied des Ensembles $\tilde{\pi}_\ell$ dient als Vorschlagsverteilung, da der Zähler von $\pi_{out}$ durch $\tilde{\pi}_\ell$ nach oben beschränkt ist. Für praktische Anwendungen in großem Maßstab schlagen die Autoren zudem eine Token-Level-Näherung vor, die die pessimistische Aggregation bei jedem Dekodierschritt anwendet, wodurch Trajektorien-Level-Ablehnungssampling vermieden und die Generierungsverzögerung erheblich reduziert wird.

Hauptbeiträge

Theoretische Beiträge:

Sample Complexity ohne $\pi_{data}$ : Im tabellarischen Setting erreicht PEPO Sample-Complexity-Garantien, die ausschließlich vom Single-Policy-Concentrability-Koeffizienten ( $C^\star$ ) abhängen. Dies steht im Gegensatz zu Standard-DPO, das unter einem All-Policy-Concentrability-Koeffizienten ( $C_{all}$ ) leidet, sowie zu bestehenden pessimistischen DPO-Varianten, die Kenntnis von $\pi_{data}$ erfordern.
Optimale Ensemble-Größe: Die Analyse charakterisiert die optimale Ensemble-Größe $L$ als den kleinsten Wert, der ausreicht, um Pessimismus mit hoher Wahrscheinlichkeit zu garantieren. Theoretische Schranken zeigen, dass $L$ logarithmisch mit den Größen des Zustands- und Aktionsraums skaliert.
Robustheit: Die Schranken gelten ohne die Annahme, dass der Datensatz die gesamte Strategieklass abdeckt, und adressieren so die Lücke des „unbekannten $\pi_{data}$ " in früheren theoretischen Arbeiten.

Praktische Beiträge:

Empirische Validierung: PEPO wird an Modellen mit 7B, 8B und 34B Parametern (Zephyr-7B, Llama-3.1-8B, Mistral-7B, Yi-34B) unter Verwendung des UltraFeedback-Datensatzes evaluiert.
Minderung von Überoptimierung: Experimente zeigen, dass Standard-DPO nach anfänglichen Gewinnen einen starken Rückgang der Gewinnraten aufweist (Überoptimierung), während sich die Leistung von PEPO stabilisiert und verbessert.
Überlegenheit gegenüber Baselines: PEPO übertrifft $\chi^2$ PO und DPO+SFT konsistent in Szenarien, in denen $\pi_{data} \neq \pi_{ref}$ (z. B. UltraFeedback), wo die theoretischen Garantien dieser Baselines ungültig sind.
Effizienz: Die Token-Level-Implementierung erzielt einen vorteilhaften Kompromiss zwischen Gewinnrate und Generierungszeit und bietet nahezu optimale Leistung bei deutlich geringerer Latenz als vollständiges Ablehnungssampling.

Ergebnisse

Überoptimierung: Abbildung 1 zeigt, dass die Gewinnrate von DPO gegenüber dem ursprünglichen Modell einen Höhepunkt erreicht und dann abfällt, während PEPO (mit geeignetem $L$ ) eine anhaltende Verbesserung aufweist. Es wird gezeigt, dass Early Stopping basierend auf dem Validierungsverlust unzuverlässig ist, um den besten DPO-Checkpoint auszuwählen.
Vergleich: In Abbildung 3 erzielt PEPO auf AlpacaEval2 höhere Gewinnraten als $\chi^2$ PO und SFT+DPO über alle getesteten Modelle hinweg. Die Leistungslücke schließt sich nur, wenn $\pi_{data} = \pi_{ref}$ ist, was bestätigt, dass der Vorteil von PEPO aus seiner Fähigkeit resultiert, unbekannte Datenverteilungen zu handhaben.
Ablation: Experimente bestätigen, dass $L$ ein kritischer Hyperparameter ist; ein zu kleiner Wert führt nicht zu ausreichendem Pessimismus, während ein zu großer Wert die effektiven Daten pro Modell reduziert und die Leistung verschlechtert.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten DPO-ähnlichen Algorithmus vorzustellen, der nachweislich Überoptimierung ohne Kenntnis der datengenerierenden Verteilung vermeidet. Dies ist bedeutsam, da es die Lücke zwischen theoretischer Robustheit (Single-Policy-Concentrability) und praktischen Einschränkungen (unbekanntes $\pi_{data}$ ) schließt, einem häufigen Szenario bei der Ausrichtung realer LLMs, bei denen Daten von proprietären oder diversen Modellen generiert werden.

Die Autoren positionieren PEPO als praktische Lösung, die die Einfachheit von DPO (einstufiges Training, kein explizites Reward-Modell) beibehält und gleichzeitig die theoretische Sicherheit pessimistischer Regularisierung integriert. Sie räumen ein, dass ihre theoretischen Garantien derzeit im tabellarischen Setting etabliert sind und die Erweiterung dieser Ergebnisse auf allgemeine Funktionsapproximationsklassen ohne Kenntnis von $\pi_{data}$ eine offene Herausforderung bleibt. Zudem gibt die aktuelle Methode eine nicht-parametrische Strategie aus (via Sampling), die ideal für den letzten Schritt eines Trainingspipelines ist, aber nicht für Zwischen-Checkpoints, was eine Richtung für zukünftige Arbeiten zu parametrischen Ausgaben aufzeigt.