💬 NLP

DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

Dieses Paper stellt DRIFT vor, ein neuartiges Framework für das Preference Learning, das reichlich vorhandene Signale der Unzufriedenheit von Nutzern aus der realen Welt nutzt, um positive Beispiele dynamisch zu sampeln, wodurch signifikante Leistungssteigerungen gegenüber Basismodellen und starken Baselines erzielt werden, während gleichzeitig die Diversität der Lösungen bewahrt und eine Gradientendegeneration vermieden wird.

Ursprüngliche Autoren: Yifan Wang, Bolian Li, Junlin Wu, Zhaoxuan Tan, Zheli Liu, Ruqi Zhang, Ananth Grama, Qingkai Zeng

Veröffentlicht 2026-02-03

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifan Wang, Bolian Li, Junlin Wu, Zhaoxuan Tan, Zheli Liu, Ruqi Zhang, Ananth Grama, Qingkai Zeng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter-Koch das Kochen bei.

Der alte Weg: Warten auf eine Fünf-Sterne-Bewertung
Traditionell würde man ein Gremium aus menschlichen Food-Kritikern bitten, jede Speise zu probieren und ein Daumen-hoch oder Daumen-runter zu geben. Aber hier liegt das Problem: Die meisten Menschen sind zu beschäftigt, um anzuhalten und eine Bewertung zu schreiben. Nur ein winziger Bruchteil (1–3 %) nimmt sich die Zeit, auf „Daumen hoch“ zu klicken. Und diejenigen, die es tun? Die schreiben meistens nur Bewertungen, wenn das Essen großartig oder ekelhaft ist. Sie sagen selten: „Diese Suppe ist okay, aber sie braucht mehr Salz.“

Aus diesem Grund lernt der Roboter-Koch nur aus wenigen extremen Beispielen und verpasst dabei die Nuancen dessen, was die Menschen eigentlich wollen.

Der neue Weg: Auf das Gemurmel hören (DRIFT)
Das Paper stellt eine neue Methode namens DRIFT vor. Anstatt auf das seltene „Daumen hoch“ zu warten, konzentriert sich DRIFT auf das reichlich vorhandene „Gemurmel“.

Stellen Sie sich das so vor: Wenn ein Kunde sich beschwert: „Diese Pizza ist zu salzig“, oder „Können Sie den Teig knuspriger machen?“, dann liefert er Ihnen eine Goldgrube an Informationen. Er sagt Ihnen genau, was nicht funktioniert hat. In der realen Welt beschweren sich Menschen (Unzufriedenheit) viel häufiger, als sie loben (Zufriedenheit).

DRIFT arbeitet in einer einfachen Schleife:

Die Beschwerde auffangen: Es findet ein echtes Gespräch, in dem ein Nutzer mit der Antwort des Roboters unzufrieden war (das „negative“ Beispiel).
Es erneut versuchen: Es bittet den Roboter, dieselbe Frage noch einmal zu beantworten, wobei er diesmal versucht, besser zu werden, basierend auf dem, was er bisher gelernt hat (das „positive“ Beispiel).
Den Unterschied lernen: Es lehrt den Roboter: „Hey, deine erste Antwort hat den Nutzer verärgert. Deine neue Antwort ist besser. Merke dir diesen Unterschied.“

Warum das ein Game-Changer ist
Das Paper behauptet, dass dieser Ansatz aus drei Gründen überlegen ist:

Es ist reichlich vorhanden: Man muss nicht darauf warten, dass ein Mensch auf einen Button klickt. Man kann die Millionen Male nutzen, in denen Nutzer sagen: „Nein, das ist falsch“ oder „Versuch es nochmal“, was im Chat ganz natürlich passiert.
Es bleibt nicht stecken: Andere Methoden führen manchmal dazu, dass der Roboter in einer Schleife stecken bleibt, in der er immer wieder die gleiche langweilige Antwort gibt, weil er es fürchtet, Fehler zu machen. DRIFT hält den Roboter in Bewegung. Da es ständig eine „schlechte“ Antwort aus der realen Welt mit einem „frischen“ neuen Versuch vergleicht, findet der Roboter immer wieder neue, kreative Wege, Probleme zu lösen, anstatt nur eine sichere Antwort auswendig zu lernen.
Es funktioniert tatsächlich: Die Forscher haben dies mit realen Daten getestet. Sie fanden heraus, dass Modelle, die mit DRIFT trainiert wurden, signifikant intelligenter wurden. Zum Beispiel performten 14-Milliarden-Parameter-Modelle, die mit DRIFT trainiert wurden, bei komplexen Aufgaben besser als ein kommerzielles Modell wie GPT-4o-mini.

Das Fazenzit
DRIFT ist wie ein Coach, der das seltene „Gute Arbeit!“ ignoriert und sich stattdessen auf das häufige „Das hat nicht funktioniert“ konzentriert. Indem es aus den Fehlern lernt, die Menschen im echten Leben tatsächlich machen, und ständig versucht, es besser zu machen, lernt die KI schneller, bleibt kreativer und wird hilfreicher, ohne auf teure menschliche Lehrer angewiesen zu sein, die jede einzelne Antwort bewerten müssen.

Technisches Resümee: DRIFT – Lernen aus reichlich vorhandener Nutzerunzufriedenheit im realen Präferenzlernen

Problemstellung
Die aktuelle Ausrichtung (Alignment) von Large Language Models (LLMs) stützt sich stark auf Reinforcement Learning from Human Feedback (RLHF) und Direct Preference Optimization (DPO). Diese Methoden stehen jedoch vor erheblichen Skalierbarkeitsproblemen beim realen Einsatz. Sie hängen typischerweise von kostspieligen, kuratierten menschlichen Annotationen ab oder setzen die Verfügbarkeit zahlreicher positiver (zufriedener) Rückmeldungen voraus. Im Gegensatz dazu ist die Interaktionsdatenlage in der realen Welt durch eine Knappheit an expliziten Zufriedenheitssignalen (SAT; nur 1–3 % der Nutzer geben Feedback) und ein Übermaß an impliziter Unzufriedenheit (DSAT) gekennzeichnet. Nutzer äußern Unzufriedenheit ganz natürlich durch Korrekturen, Verfeinerungen und Folgefragen, doch bestehende Ansätze zum Präferenzlernen sind schlecht auf dieses Datenprofil abgestimmt, da sie die reichlich vorhandenen, impliziten negativen Signale in der Praxis oft nicht nutzen können.

Methodik: DRIFT
Die Autoren schlagen DRIFT (Dissatisfaction-Refined Iterative preFerance Training) vor, ein Framework, das darauf ausgelegt ist, das Training auf realen DSAT-Signalen zu verankern und gleichzeitig positive Antworten dynamisch zu sampeln.

Kernmechanismus: Im Gegensatz zu Methoden, die feste Ground-Truth-Antworten als positive Beispiele behandeln (z. B. SPIN) oder sich auf selbst generierte Paare verlassen, die in der Qualität kollabieren können, konstruiert DRIFT Präferenzpaare, bei denen:
- Abgelehnte Antwort ( $y^-$ ): Ein echtes, reales Unzufriedenheitssignal ist, das aus authentischen Konversationsprotokollen extrahiert wurde (z. B. wenn ein Nutzer einen Fehler des Modells korrigiert).
- Gewählte Antwort ( $y^+$ ): Eine neue Antwort ist, die aus der aktuellen, sich entwickelnden Policy ( $\pi_\theta$ ) für denselben Prompt gesampelt wurde.
Iterativer Prozess: Das Training erfolgt in Zyklen. Das Modell filtert einen Wild-Datensatz (z. B. WildFeedback), um DSAT-Fälle zu identifizieren. Für jeden mit einem DSAT-Signal assoziierten Prompt generiert das aktuelle Modell eine neue Kandidatenantwort. Das Modell wird dann mittels DPO-Loss aktualisiert, um die Wahrscheinlichkeit der generierten positiven Antwort im Verhältnis zur realen negativen Antwort zu maximieren.
Zentraler Design-Aspekt: Durch die Verankerung auf authentischen DSAT-Negativen und das Sampeln positiver Antworten aus der sich entwickelnden Policy bewahrt DRIFT eine nicht verschwindende Präferenzmarge. Dies verhindert den „Gradienten-Kollaps“, der bei anderen Selbstverbesserungsmethoden beobachtet wird, wenn gewählte und abgelehnte Antworten im Laufe der Zeit zu ähnlich werden.

Wesentliche Beiträge

Empirische Validierung: DRIFT übertrifft konsistent starke iterative Baselines (SPIN und Iterative DPO) in realen Benchmarks.
Verbesserte Exploration: Die Methode bewahrt die explorative Kapazität, indem sie vielfältige, hochbelohnte Lösungen generiert, anstatt in enge Teilmengen des Antwortraums zu kollabieren.
Theoretische Analyse: Die Autoren liefern einen theoretischen Beweis dafür, dass DRIFT eine nicht verschwindende erwartete Präferenzmarge aufrechterhält und die Gradientendegeneration verhindert – ein kritisches Problem bestehender selbstverbessernder Modelle, die auf festen positiven Mengen basieren.

Experimentelle Ergebnisse
Die Autoren evaluierten DRIFT mit Qwen2.5-7B und Qwen2.5-14B Modellen unter Verwendung zweier Datensätze: WildFeedback (realweltlich, Nutzer-gelabelt) und UltraFeedback (synthetisch, LLM-gelabelt).

WildFeedback (Realweltlich):
- DRIFT erreichte eine Verbesserung von bis zu +6,23 % (7B) und +7,61 % (14B) beim WildBench Task Score gegenüber den Basismodellen.
- Es erzielte eine Steigerung der AlpacaEval2 Win-Rate von bis zu +8,95 % (7B) und +12,29 % (14B).
- Im 14B-Maßstab übertrafen die mit DRIFT trainierten Modelle GPT-4o-mini auf WildBench.
- DRIFT demonstrierte eine überlegene Stabilität über mehrere Iterationen (bis zu 5), während SPIN und IterDPO eine Leistungsdegradation oder ein frühes Plateau zeigten.
UltraFeedback (Synthetisch):
- DRIFT behielt seine Überlegenheit bei und übertraf SPIN und IterDPO selbst auf synthetischen Daten, mit Gewinnen von +7,61 % (14B) auf den WildBench Task Score und +12,29 % auf die AlpacaEval2 Win-Rate.
Explorationsanalyse: Mithilfe der semantischen Belohnungstopographie (UMAP + KDE) zeigten die Autoren, dass DRIFT im Vergleich zu den Baselines einen signifikant größeren Anteil der globalen High-Reward-Region abdeckt, was auf eine bessere Diversität und die Vermeidung von Mode-Collapse hindeutet.

Bedeutung und Behauptungen
Das Paper behauptet, dass DRIFT ein skalierbares und effektives Rezept für das Post-Training in der realen Welt bietet, indem es das am häufigsten verfügbare und informativste Signal nutzt: die Unzufriedenheit der Nutzer.

Skalierbarkeit: Es transformiert das „Problem“ der reichlich vorhandenen negativen Rückmeldung in einen Trainingswert und entfernt den Engpass, der durch die Notwendigkeit seltener positiver Annotationen entsteht.
Stabilität: Durch den Verzicht auf die Abhängigkeit von einem festen Satz an „Gold“-Positiven mildert DRIFT das Risiko von Reward Hacking und Modellkollaps ab, die mit Methoden wie SPIN verbunden sind.
Generalisierung: Der Ansatz generalisiert über verschiedene Modellarchitekturen hinweg (getestet an Qwen und Gemma) und bewahrt die Sicherheitsmerkmale, da er im Vergleich zu den Baselines keine Zunahme der Jailbreak-Erfolgsraten oder der Toxizität zeigt.

Die Autoren kommen zu dem Schluss, dass die Verankerung der Präferenzoptimierung in der realen Unzufriedenheit einen zuverlässigen Weg bietet, um LLMs an die sich entwickelnden Nutzerbedürfnisse anzupassen, ohne die prohibitiven Kosten kuratierter menschlicher Annotationen zu verursachen.

Mehr davon