🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

Dieser Artikel zeigt, dass das Ranking-Ziel (pairwise versus pointwise) der primäre Bestimmungsfaktor für die Ausrichtungsqualität bei Direct Alignment Algorithms ist und dabei die spezifische optimierte skalare Bewertung oder die Konfiguration der Trainingsphase übertrifft, wenn es unter einem einheitlichen Rahmenwerk bewertet wird, das SFT-Phasen und Hyperparameter standardisiert.

Ursprüngliche Autoren: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber leicht rebellischen Roboter (ein Large Language Model) beizubringen, hilfreich zu sein und Anweisungen zu befolgen. Lange Zeit war der Standardweg dafür ein dreistufiger Tanz: Erstens, ihm die Grundlagen beibringen; zweitens, einen menschlichen Richter einstellen, um seine Antworten zu bewerten; und drittens, ein komplexes Belohnungssystem nutzen, um ihn zu trainieren, höhere Punktzahlen zu erzielen.

Vor kurzem haben Forscher „Direct Alignment Algorithms" (DAAs) erfunden. Dies sind Abkürzungen, die den menschlichen Richter und das komplexe Belohnungssystem überspringen und versuchen, den Roboter direkt mit einer einzigen mathematischen Formel zu unterrichten. Das Problem? Jeder begann, seine eigene einzigartige Formel zu erfinden und behauptete, seine sei die „beste", aber niemand konnte sich darauf einigen, warum eine besser funktionierte als die andere. Es war, als würde jeder behaupten, seine spezifische Markenfarbe sei die beste, ohne zu realisieren, dass alle auf unterschiedlichen Wänden malten.

Dieser Artikel ist wie eine Detektivgeschichte, die endlich die Verwirrung aufklärt. Hier ist das, was die Autoren fanden, einfach erklärt:

1. Das „Vereinheitlichte Werkstatt"-Experiment

Die Autoren erkannten, dass all diese verschiedenen Algorithmen in unterschiedlichen „Werkstätten" (Trainingsaufbauten) getestet wurden. Einige starteten mit einem Roboter, der bereits die Grundlagen gelernt hatte (SFT), während andere versuchten, die Grundlagen und die Ausrichtung gleichzeitig zu lehren.

Um einen fairen Vergleich zu ermöglichen, bauten sie eine vereinheitlichte Werkstatt. Sie zwangen jeden Algorithmus:

Zuerst, die Grundlagen in einem separaten Kurs zu lernen (SFT).
Dann, den Ausrichtungskurs zu besuchen.
Einen gemeinsamen „Temperaturknopf" (genannt $\beta$ ) zu verwenden, um zu steuern, wie streng das Training ist.

Das Ergebnis: Sobald sie alle in dieselbe Werkstatt brachten, verschwanden die Unterschiede zwischen den spezifischen mathematischen Formeln (den „Skalaren") größtenteils. Es stellte sich heraus, dass der spezifische mathematische Trick, den ein Algorithmus verwendete, nicht so wichtig war wie wie er Antworten verglich.

2. Der wahre Held: „Pairwise" vs. „Pointwise"

Die Studie entdeckte, dass der wichtigste Faktor nicht die spezifische mathematische Formel ist, sondern die Strategie, die zum Vergleichen von Antworten verwendet wird. Sie fanden zwei Hauptstrategien:

Die „Pointwise"-Strategie (Der Solist): Stellen Sie sich einen Lehrer vor, der einen Schüleraufsatz allein betrachtet bewertet. „Ist dieser Aufsatz gut? Ja/Nein." Dann schauen sie sich einen schlechten Aufsatz an. „Ist dieser schlecht? Ja/Nein." Sie bewerten sie unabhängig voneinander.
Die „Pairwise"-Strategie (Die Debatte): Stellen Sie sich einen Lehrer vor, der einen guten und einen schlechten Aufsatz nebeneinander betrachtet. „Okay, gegeben diese beiden, welche ist besser?" Sie konzentrieren sich vollständig auf den Unterschied zwischen den beiden.

Die Erkenntnis: Die Pairwise-Strategie (die Debatte) gewann konsequent. Es war wie ein Trainer, der sich darauf konzentriert, Spieler gegeneinander zu vergleichen, anstatt sie isoliert zu beurteilen. Die „Pointwise"-Strategie wurde oft durch die spezifischen Eigenheiten der Fragen (Prompts) verwirrt und verschwendete Energie damit, Dinge zu beheben, die nicht repariert werden mussten.

3. Warum passiert das? Die „Bias"-Analogie

Die Autoren erklären dies mit einer klugen Analogie über Bias und mentale Energie.

Stellen Sie sich vor, der Roboter hat eine begrenzte Menge an „mentaler Energie" (Kapazität), um zu lernen.

Das Pointwise-Problem: Wenn der Roboter eine einzelne Antwort isoliert betrachtet, versucht er, alles zu beheben. Wenn eine Frage einen seltsamen Bias hat (wie eine Trickfrage), verschwendet der Roboter all seine Energie damit, diesen Trick zu „entlernen". Er ist so sehr damit beschäftigt, den Trick zu beheben, dass er vergisst, zu lernen, wie man die schwierigen Probleme tatsächlich löst.
Der Pairwise-Vorteil: Wenn der Roboter zwei Antworten nebeneinander vergleicht, ignoriert er die seltsamen Tricks der Frage. Ihn interessiert nur: „Ist Antwort A besser als Antwort B?" Er verschwendet keine Energie damit, den Bias der Frage zu beheben; er konzentriert sich einfach auf das Ranking.

Der Sweet Spot:

Einfache Aufgaben: Wenn die Aufgabe super einfach ist, hat der Roboter reichlich Energie. Beide Strategien funktionieren gut.
Schwere Aufgaben: Wenn die Aufgabe super schwer ist, ist der Roboter so überwältigt, dass keine der beiden Strategien gut funktioniert.
Mittlere Schwierigkeit: Hier passiert die Magie. Der Roboter hat genug Energie, um zu lernen, aber nicht genug, um jeden einzelnen Bias zu beheben. Die Pairwise-Strategie gewinnt hier, weil sie ihre Energie für die harten Teile spart, während die Pointwise-Strategie ihre Energie an den Biases verschwendet.

4. Die „Dateneffizienz"-Überraschung

Eine weitere coole Erkenntnis ist, dass man keine riesige Bibliothek an Daten benötigt, um diese Roboter zu unterrichten. Die Autoren fanden heraus, dass die Verwendung von nur 5 % bis 10 % der üblichen Trainingsdaten ausreichte, damit die Roboter 95 % ihres potenziellen Leistungsvermögens erreichen. Es ist, als würde man erkennen, dass man nicht die gesamte Enzyklopädie lesen muss, um zu lernen, wie man eine gute Geschichte schreibt; ein paar Schlüsselkapitel reichen aus.

Zusammenfassung

Die Studie kommt zu dem Schluss, dass der „beste" Algorithmus keine spezifische Marke mathematischer Formel ist. Stattdessen ist der Gewinner der Pairwise-Ansatz (der Vergleich von Antworten nebeneinander), weil er intelligenter damit umgeht, wie er die begrenzte Gehirnleistung des Roboters nutzt. Er vermeidet es, durch die Eigenheiten einzelner Fragen abgelenkt zu werden, und ermöglicht es ihm, sich auf das zu konzentrieren, was wirklich zählt: zu wissen, welche Antwort besser ist als die andere.

Die Autoren warnen, dass frühere Behauptungen, ein Algorithmus sei „überlegen", oft nur daher rührten, dass sie unter unterschiedlichen Bedingungen oder bei Aufgaben getestet wurden, bei denen der Unterschied keine Rolle spielte. Sobald man das Spielfeld ausgleicht, ist die Pairwise-Strategie der klare Champion.

Technische Zusammenfassung: Die Unterschiede zwischen direkten Ausrichtungsalgorithmen verschwimmen

Problemstellung

Direkte Ausrichtungsalgorithmen (Direct Alignment Algorithms, DAAs) haben sich als straffere Alternative zum Reinforcement Learning from Human Feedback (RLHF) etabliert, indem sie explizite Reward-Modellierung und Reinforcement-Learning-Phasen umgehen, um die Strategien von Sprachmodellen direkt zu optimieren. Trotz einer Vielzahl von Methoden – von der zweistufigen Paradigmen der Direct Preference Optimization (DPO) bis hin zu einstufigen, auf Odds-Ratios basierenden Ansätzen wie Odds Ratio Preference Optimization (ORPO) und Aligned Supervised Fine-Tuning (ASFT) – bleibt die Fachliteratur fragmentiert.

Das zentrale Problem besteht in der Schwierigkeit, zu isolieren, welche spezifischen Designentscheidungen tatsächlich Verbesserungen der Ausrichtungsqualität bewirken. Bestehende Vergleiche werden häufig durch unterschiedliche Trainingsprotokolle (z. B. einstufige versus zweistufige Pipelines), das Vorhandensein oder Fehlen einer Referenzstrategie sowie variierende Hyperparameterräume (insbesondere den Parameter $\beta$ ) verfälscht. Folglich beruhen Behauptungen algorithmischer Überlegenheit oft auf marginalen Unterschieden, die eher auf Artefakte der Versuchsanordnung als auf fundamentale algorithmische Vorteile zurückzuführen sind.

Methodik

Um diese Faktoren zu entwirren, schlagen die Autoren ein vereinheitlichtes Trainingsframework vor, das alle DAAs auf eine gleiche Grundlage stellt. Dieses Framework umfasst zwei kritische Modifikationen bestehender Methoden:

Standardisierung auf eine zweistufige Pipeline: Die Autoren wandeln ursprünglich einstufige Methoden (ORPO, ASFT) in eine zweistufige Pipeline um. Dies beinhaltet eine explizite Phase des Supervised Fine-Tuning (SFT), um eine Strategie ( $\pi_{SFT}$ ) zu erhalten, gefolgt von einer Offline-Optimierung der Präferenzen. Dies isoliert den Ausrichtungsverlust vom SFT-Verlust und ermöglicht einen kontrollierten Vergleich der Ausrichtungsziele selbst.
Einführung des $\beta$ -Parameters: Die Autoren führen einen Temperatur-/Skalierungsparameter $\beta$ in einstufige Odds-Ratio-Methoden (ORPO, ASFT) ein, denen dieser Hyperparameter traditionell fehlt. Dies bringt alle Methoden (einschließlich DPO, IPO, SimPO usw.) in einen gemeinsamen Hyperparameterraum und ermöglicht eine systematische Sensitivitätsanalyse.

Innerhalb dieses vereinheitlichten Settings analysieren die Autoren die DAAs entlang zweier Hauptachsen:

Skalare Score-Familie: Die Wahl der zugrunde liegenden Score-Funktion, speziell das Verhältnis von Strategie zu Referenz ( $r^{ref}_\theta$ ), wie es in DPO verwendet wird, im Gegensatz zum Odds-Ratio ( $r^{odds}_\theta$ ), wie es in ORPO/ASFT verwendet wird.
Ranking-Ziel: Die strukturelle Formulierung des Verlusts, die zwischen paarweisen Zielen (die die relative Lücke zwischen gewählten und abgelehnten Antworten optimieren, z. B. DPO, IPO, SimPO, ORPO) und punktweisen Zielen (die die absolute Wahrscheinlichkeit von gewählten und abgelehnten Antworten unabhängig voneinander optimieren, z. B. ASFT, NCA, Cal-DPO, APO-Zero) unterscheidet.

Die Evaluation umfasst Aufgaben zur Befolgung von Anweisungen (AlpacaEval 2, ArenaHard) und Benchmarks für mathematisches Schlussfolgern (GSM8K, MATH500 usw.) über mehrere Modellgrößen hinweg (Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B).

Hauptbeiträge

Vereinheitlichtes Protokoll für DAAs: Die Studie zeigt, dass die Umwandlung einstufiger Methoden in eine zweistufige Pipeline mit einer expliziten SFT-Phase und die Einführung des $\beta$ -Parameters entscheidend sind, um die Leistung zu maximieren, selbst für Odds-Ratio-Ziele.
Ranking-Ziel als primärer Treiber: Unter dem vereinheitlichten Protokoll stellen die Autoren fest, dass die zuvor berichteten Vorteile spezifischer DAAs nach Hyperparameter-Tuning weitgehend verschwinden. Der primäre Bestimmungsfaktor für die Ausrichtungsqualität ist die Ranking-Art (paarweise versus punktweise), nicht die Wahl der skalaren Score-Funktion (Strategie-Referenz-Verhältnis versus Odds-Ratio). Paarweise Methoden übertreffen punktweise Methoden konsistent, insbesondere bei mittleren Aufgabenschwierigkeiten und Modellgrößen.
Mechanismus von Leistungslücken: Die Studie liefert Belege dafür, dass Leistungslücken aus der Interaktion zwischen der Zielfunktion und prompt-spezifischen Verzerrungen entstehen.
- Paarweise Ziele sind strukturell invariant gegenüber einheitlichen Verschiebungen der Scores für einen gegebenen Prompt; sie konzentrieren sich ausschließlich auf die relative Rangfolge.
- Punktweise Ziele erzeugen Gradientensignale, die das Modell dazu anregen, die absoluten Score-Level (den marginalisierten Score) für jeden Prompt anzupassen. In Kapazitäts-begrenzten Regimen konkurriert dieses „Verlernen" prompt-spezifischer Verzerrungen mit der primären Ranking-Aufgabe, was zu suboptimaler Leistung bei schwierigeren Aufgaben führt.
Dateneffizienz: Die Studie zeigt, dass die meisten DAAs hochgradig dateneffizient sind und nur 5–10 % des SFT-Datensatzes benötigen, um $\ge$ 95 % ihrer Leistung mit Voll-Daten zu erreichen.

Ergebnisse

Konvergenz der Leistung: Im Vergleich unter dem vereinheitlichten Protokoll schneiden die meisten DAAs ähnlich oder schlechter als die Standard-DPO ab. Die in der vorherigen Literatur behaupteten spezifischen Vorteile bestimmter Algorithmen verschwinden häufig.
Überlegenheit paarweiser Methoden: Über Benchmarks zur Befolgung von Anweisungen und mathematischem Schlussfolgern hinweg erzielen paarweise Methoden (DPO, IPO, SimPO, ORPO) konsistent höhere Spitzenwerte als punktweise Methoden (ASFT, NCA, Cal-DPO, APO-Zero). Dieser Trend ist am ausgeprägtesten bei der Modellgröße 8B auf dem UltraFeedback-Datensatz und bei mathematischen Schlussfolgerungsaufgaben mit Qwen 2.5.
Irrelevanz des skalaren Scores: Die Wahl zwischen Strategie-Referenz-Verhältnissen und Odds-Ratios liefert vergleichbare Ergebnisse, wenn das Ranking-Ziel und das Trainingsprotokoll kontrolliert werden.
Sensitivität gegenüber Schwierigkeit: Die Leistungslücke zwischen paarweisen und punktweisen Methoden ist bei sehr leichten Aufgaben (wo die Kapazität ausreicht, um sowohl Ranking als auch Verzerrungsentfernung zu bewältigen) und bei sehr schwierigen Aufgaben (wo die Kapazität für beides unzureichend ist) vernachlässigbar. Die Lücke entsteht hauptsächlich bei mittlerer Schwierigkeit, wo punktweise Methoden Schwierigkeiten haben, die Verzerrungsentfernung mit der Verfeinerung des Rankings in Einklang zu bringen.
Auswirkung von $\beta$ : Die Einführung des $\beta$ -Parameters in ORPO und ASFT verbessert deren Ausrichtungsqualität erheblich und bestätigt seine Rolle als effektiver Temperierungsmechanismus.

Bedeutung und Behauptungen

Die Studie argumentiert, dass das Forschungsfeld der DAAs durch fragmentierte Evaluierungsprotokolle behindert wurde, die die wahren Treiber der Leistung verschleiern. Durch die Vereinheitlichung des Trainingsaufbaus demonstrieren die Autoren, dass die Wahl des Ranking-Ziels (paarweise versus punktweise) der dominierende strukturelle Faktor ist, der die Ausrichtungsqualität beeinflusst, während spezifische Score-Parametrisierungen eine untergeordnete Rolle spielen.

Die Autoren behaupten, dass frühere Behauptungen über die „beste" DAA oft auf unerforschten Details der Versuchsanordnung und Datenverzerrungen beruhen und nicht auf fundamentaler algorithmischer Überlegenheit. Ihre Ergebnisse unterstreichen die Notwendigkeit nuancierter, kontrollierter Evaluierungen, um vereinfachende Behauptungen zu vermeiden. Darüber hinaus bietet die Identifizierung der Interaktion zwischen Zielen und prompt-spezifischen Verzerrungen eine mechanistische Erklärung für beobachtete Leistungsunterschiede und legt nahe, dass paarweise Ziele in Szenarien robuster sind, in denen die Modellkapazität im Verhältnis zur Aufgabenschwierigkeit eingeschränkt ist.

Die Studie schließt damit, dass Odds-Ratio-DAAs (wie ORPO) zwar effektiv sein können, aber signifikant von denselben strukturellen Anpassungen (Trennung von SFT und $\beta$ -Tuning) profitieren wie andere Methoden, und dass ihre Leistung letztendlich von denselben Dynamiken zwischen paarweisen und punktweisen Ansätzen bestimmt wird.