Technische Zusammenfassung: Beyond Pairs: Ihr Sprachmodell optimiert heimlich einen Präferenzgraphen

1. Problemstellung

Aktuelle Ausrichtungsverfahren für Large Language Models (LLMs), insbesondere Direct Preference Optimization (DPO), stützen sich überwiegend auf paarweise Präferenzvergleiche. Obwohl DPO eine stabile Alternative zum Reinforcement Learning from Human Feedback (RLHF) darstellt, indem es eine explizite Reward-Modellierung eliminiert, stößt es bei der Anwendung auf praktische Datensammelregime auf einen fundamentalen Engpass.

In vielen realen Szenarien (z. B. beim Schließen, bei der Programmsynthese) besteht die Trainingsdaten aus mehreren Rollouts pro Prompt, die durch menschliche Urteile, ausführungsbasierte Verifikation oder Heuristiken rangiert werden. Standard-DPO bewältigt dies, indem es diese Mehrstichproben-Rangfolgen in unabhängige paarweise Vergleiche zerlegt ($O(K^2)$ Instanzen). Dieser reduktionistische Ansatz führt zu drei kritischen Einschränkungen:

1. Verlust der Transitivität: Er verwirft die globale transitive Struktur, die in rangierten Listen inhärent ist (z. B. wenn $A \succ B$ und $B \succ C$, erzwingt Standard-DPO nicht explizit $A \succ C$).
2. Redundante/konfliktbehaftete Supervision: Er behandelt isolierte Paare als separate Constraints, was potenziell Rauschen einführt, wenn Stichproben gleichwertig sind oder wenn die Rangfolge unvollständig ist.
3. Inkompatibilität mit partiellen Ordnungen: Viele Bewertungssignale (z. B. Korrektheit in Mathematik oder Code) erzeugen Äquivalenzklassen oder partielle Ordnungen, die nicht treu als strikte total-geordnete Listen dargestellt werden können, wie sie von bestehenden listweisen Methoden (z. B. PRO, LiPO) gefordert werden.

2. Methodik: Graph Direct Preference Optimization (GraphDPO)

Die Autoren schlagen GraphDPO vor, eine prinzipielle Verallgemeinerung von DPO, die die Präferenzmodellierung von isolierten Paaren oder strikten Listen auf gerichtete azyklische Präferenzgraphen (DAGs) verlagert.

2.1 Darstellung als Präferenzgraph

Für einen gegebenen Prompt $x$ und eine Menge von $K$ Kandidatenantworten $\{y_1, \dots, y_K\}$ konstruiert GraphDPO einen DAG $G_x = (V, E)$:

• Knoten: Repräsentieren die gesampelten Antworten.
• Kanten: Kodieren Dominanzbeziehungen. Eine Kante $i \to j$ existiert, wenn Antwort $y_i$ gegenüber $y_j$ bevorzugt wird ($y_i \succ_x y_j$).
• Äquivalenzklassen: Um diskrete Signale (z. B. korrekt/inkorrekt) zu handhaben, bei denen mehrere Antworten dasselbe Präferenzniveau teilen, gruppiert die Methode Antworten in Äquivalenzklassen $C_1 \succ C_2 \succ \dots \succ C_G$. Kanten sind nur zwischen verschiedenen Klassen erlaubt; Kanten innerhalb einer Klasse werden maskiert. Dies verhindert spuriose Gradienten, die Stichproben mit Gleichstand willkürlich ordnen.

2.2 Graph-strukturierte Zielfunktion

GraphDPO optimiert eine Wahrscheinlichkeit, die über dominierten Nachbarschaften definiert ist. Für jede Antwort $y_i$ wird das Modell trainiert, eine höhere Punktzahl als alle Antworten zuzuweisen, die es dominiert ($N^-(i)$).

• Lokaler Verlust: Unter Verwendung einer von Plackett–Luce (PL) inspirierten Formulierung ist der Verlust für Knoten $i$:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  wobei $\tilde{s}_i$ der zentrierte Log-Ratio-Score relativ zu einer Referenzpolitik ist.
• Globale Aggregation: Der Gesamtverlust aggregiert diese lokalen Terme. Diese Formulierung erzwingt globale Transitivität: Wenn $y_i$ $y_j$ dominiert, fördert das Ziel $s_i > s_j$, und transitive Beziehungen propagieren sich natürlich durch geteilte Nachbarschaften.
• Komplexität: Trotz der Nutzung des gesamten Graphen behält die Methode unter der Konstruktion mit Äquivalenzklassen (geschichteter DAG) eine lineare Komplexität $O(K)$ pro Prompt bei und vermeidet die $O(K^2)$-Enumeration paarweiser Vergleiche oder die Permutationsnormalisierung listweiser Methoden.

2.2 Verankerung an Ground-Truth

Wenn verifizierte Lösungen (Oracle-Antworten) verfügbar sind, integriert GraphDPO sie als dominante Knoten im Graphen.

• Verankerungsverlust: Ein separater Term ermutigt die Oracle-Antwort, alle generierten Antworten zu dominieren.
• Gedämpfter Zeitplan: Um die frühe Training zu stabilisieren und gleichzeitig später Flexibilität zu bewahren, wird das Gewicht des Verankerungsterms $\lambda_{gt}(t)$ hoch initialisiert und allmählich auf 1,0 abgebaut. Dies verhindert, dass sich die Politik zu früh an das Oracle anpasst, während eine konsistente Präferenzpropagierung sichergestellt wird.

2.4 Trainingsziel

Das finale Ziel kombiniert den Graphverlust, optionale Ground-Truth-Verankerung und einen Token-Level-KL-Regularisierungsterm, um Abweichungen von der Referenzpolitik zu verhindern:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
Standard-paarweises DPO wird als Sonderfall wiederhergestellt, wenn $K=2$ mit strikter Präferenz vorliegt.

3. Hauptbeiträge

1. Graph-strukturierte Präferenzoptimierung: GraphDPO reformuliert das Präferenzlernen, um einen global konsistenten Präferenz-DAG über mehrere Rollouts zu konstruieren, erzwingt Transitivität und stellt Standard-DPO als Sonderfall wieder her.
2. Gruppenweises Ranking mit Behandlung von Gleichstand: Es unterstützt natürlich Äquivalenzklassen und führt Vergleiche nur über Präferenzgruppen hinweg durch, um spuriose Gradienten von nahezu identischen Stichproben zu vermeiden.
3. Lineare Vollgraphen-Lernzeit: Die Methode erfasst globale Ranking-Informationen durch effiziente Log-Sum-Exp-Aggregation über dominierte Mengen und vermeidet den Rechenaufwand der paarweisen Enumeration oder der listweisen Permutationsnormalisierung.
4. Stabilisierende Ground-Truth-Verankerung: Es führt einen gedämpften Verankerungsmechanismus ein, der die frühe Optimierung unter Verwendung verifizierter Lösungen stabilisiert, ohne die Politivvielfalt in späteren Stadien zu opfern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GraphDPO an Benchmarks für mathematisches Schließen (GSM8K, MATH-500) und Programmsynthese (APPS) unter Verwendung von Qwen3-Basismodellen.

• Leistung: GraphDPO übertraf konsistent Baselines einschließlich Supervised Fine-Tuning (SFT), GRPO, SPIN und listweiser Methoden (PRO, LiPO).
  • GSM8K: Erreichte 92,42 % (ohne Verankerung) und 92,75 % (mit Verankerung) und übertraf die beste listweise Baseline (LiPO: 89,23 %).
  • MATH-500: Erreichte 87,40 % (ohne GT) und 88,87 % (mit GT), wobei die Lücke zu listweisen Methoden im Vergleich zu GSM8K größer war, was darauf hindeutet, dass die Vorteile mit der Aufgabenkomplexität skalieren.
  • APPS: Erreichte 72,93 % (ohne GT) und 73,76 % (mit GT) und übertraf gruppenbasierte (GRPO) und listweise Methoden.
• Ablationsbefunde:
  • Graph vs. Listweise: Die Leistungslücke zwischen GraphDPO und PRO (welches die Graphkantenkodierung entfernt) bestätigt, dass die Modellierung partieller Ordnungen und transitiver Strukturen strikten total-geordneten Annahmen überlegen ist.
  • Anzahl der Rollouts ($K$): Eine Erhöhung von $K$ verbesserte die Leistung im Allgemeinen, indem reichhaltigere Präferenzgraphen induziert wurden, was es dem Modell ermöglicht, transitive Dominanzbeziehungen zu nutzen, die bei paarweiser Stichprobenziehung nicht beobachtbar sind.
  • Verankerung: Ground-Truth-Verankerung lieferte konsistente Gewinne, insbesondere für kleinere Rollout-Budgets und schwierigere Aufgaben (MATH-500), wo sie die Präferenzpropagierung stabilisierte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Modellierung der Präferenzstruktur als Graphen eine skalierbare und robuste Alternative zu sowohl paarweisen als auch listweisen Ausrichtungszielen bietet.

• Skalierbarkeit: Durch die Beibehaltung linearer Komplexität bei gleichzeitiger Erfassung globaler Struktur ist GraphDPO für rollout-intensive Ausrichtungssettings geeignet, die bei Schließ- und Codierungsaufgaben üblich sind.
• Robustheit: Die Methode behandelt partielle Ordnungen, Äquivalenzklassen und sparse Vergleichbarkeitsbeziehungen, die strikte listweise Annahmen brechen.
• Induktive Verzerrung: Die Ergebnisse deuten darauf hin, dass die explizite Modellierung strukturierter Beziehungen zwischen Rollouts (Transitivität und Dominanz) entscheidend ist, um die Ausrichtung auf komplexe Problemdomänen zu skalieren, in denen einfache Ordnungsannahmen versagen.

Die Autoren schließen, dass GraphDPO eine einfache, effektive induktive Verzerrung für die LLM-Ausrichtung bietet und die Lücke zwischen der Einfachheit von DPO und der strukturellen Fülle von Mehrstichproben-Rangfolgen schließt.