Technische Zusammenfassung: BOOST – Bilevel-Optimierung synthetischer Trajektorien für das Fine-Tuning von Multi-Turn-LLMs

Problemstellung

Large Language Models (LLMs) sind bei der Generierung in einzelnen Durchgängen hervorragend, haben jedoch Schwierigkeiten mit langfristigen, mehrstufigen Interaktionen (z. B. Verhandlungen, Fehlerbehebung), die eine Planung über mehrere Schritte erfordern, bei denen Zwischenaktionen möglicherweise keine unmittelbaren Belohnungen liefern. Während Offline-Reinforcement-Learning (RL) eine skalierbare Alternative zum Online-RL für das Fine-Tuning von LLMs auf vorab gesammelten Trajektorien bietet, steht es vor einem kritischen Engpass: der Knappheit und Qualität von Daten mehrstufiger Trajektorien.

Um die Datenknappheit zu adressieren, erweitern neuere Ansätze die Trainingssets um synthetische Trajektorien, die von LLMs oder Simulatoren generiert werden. Synthetische Daten weisen jedoch eine hohe Heterogenität in Bezug auf die Qualität auf. Eine naive Behandlung aller Trajektorien (sowohl realer als auch synthetischer) als gleich informativ kann die Leistung verschlechtern, da qualitativ minderwertige oder irreführende synthetische Trajektorien das Lernsignal dominieren können. Frühere Versuche zur Minderung dieses Problems umfassen eine binäre Filterung mittels stärkerer „Richter"-LLMs oder Expertenwissensbasen, die potenziell nützliche Signale verwerfen und den Zugriff auf Modelle mit höherer Kapazität erfordern. Es besteht ein Bedarf an einer Methode, die synthetische Daten auf Ebene der Trajektorie kontinuierlich neu gewichten kann, ohne auf externe Richter angewiesen zu sein, und dabei die durch synthetische Daten gebotene Diversität effektiv gegen das Risiko einer Aufgabenverschiebung (Task-Shift) abwägt.

Methodik: BOOST

Die Autoren schlagen BOOST (Bilevel Optimization of Synthetic Trajectories) vor, ein Framework, das synthetische Daten über einen Bilevel-Optimierungsprozess in das Multi-Turn-RL-Fine-Tuning integriert.

Kernframework

BOOST formuliert den Lernprozess als Bilevel-Optimierungsproblem:

1. Innerer Level: Trainiert die LLM-Richtlinie ($\pi_\theta$) und Q-Wert-Funktionen auf einem gemischten Datensatz ($D_{mixed} = D_{real} \cup D_{synthetic}$) unter Verwendung einer neu gewichteten Verlustfunktion.
2. Äußerer Level: Optimiert einen leichten Neugewichtungskopf ($w_\phi$), um kontinuierliche skalare Gewichte für einzelne Trajektorien zuzuweisen. Das Ziel des äußeren Levels ist es, den Verlust der resultierenden Richtlinie auf einem zurückgehaltenen realen Validierungsdatensatz ($D_{val}$) zu minimieren.

Im Gegensatz zu früheren Arbeiten, die grobgranulare Datenquellen neu gewichten, operiert BOOST auf der Ebene der Trajektorie und ermöglicht so eine feingranulare Kontrolle über die Datenqualität. Der Neugewichtungskopf nimmt eine Trajektorie als Eingabe und gibt ein Gewicht $w_\phi(\tau)$ aus, das über Softmax innerhalb eines Minibatches normalisiert wird, um den Beitrag der Trajektorie zum Trainingsverlust zu modulieren.

Trainingsverfahren und Stabilität

Der Trainingsalgorithmus (Algorithmus 1) setzt drei wesentliche technische Innovationen ein, um Stabilität und Konvergenz zu gewährleisten:

1. Alternierende eingefrorene Updates: In jeder Iteration wird nur eine Parametergruppe (auxiliare Richtlinie $\psi$, primäre Richtlinie $\theta$ oder Neugewichtungskopf $\phi$) aktualisiert, während die anderen eingefroren bleiben. Dies verhindert konfliktreiche Gradientensignale.
2. Warm-Start-Initialisierung: Die primäre Richtlinie $\theta$ wird zu Beginn jeder äußeren Iteration aus der auxiliaren Richtlinie $\psi$ neu initialisiert. Da $\psi$ das Optimum des inneren Levels verfolgt, bietet dies einen Warm-Start, der die Konvergenz beschleunigt.
3. Asymmetrische Lernraten: Die Parameter der Richtlinie ($\theta, \psi$) verwenden eine signifikant höhere Lernrate als der Neugewichtungskopf ($\phi$). Dies spiegelt die hierarchische Natur des Problems wider und stellt sicher, dass die Richtlinie eine stabile Lösung erreicht, bevor die Gewichte angepasst werden.

Theoretische Grundlage

Die Autoren leiten eine PAC-Bayes'sche Hitting-Time-Schranke ab, um den Ansatz zu fundieren. Die Schranke offenbart einen Dreiecks-Trade-off:

• Synthetische Daten: Erhöhen die Diversität und die effektive Stichprobengröße, bergen aber das Risiko einer Aufgabenverschiebung (Abweichung von der Zielverteilung der Aufgabe).
• Fokus auf hohe Qualität: Eine Konzentration der Gewichte auf hochwertige Trajektorien verbessert die empirische Leistung, reduziert jedoch die effektive Stichprobengröße ($n_{eff}$) und erhöht die Komplexitätsstrafe.
• Rolle von BOOST: Das Framework zielt auf einen „nützlichen mittleren Bereich" ab, indem es synthetischen Trajektorien, die mit der realen Datenverteilung und den Validierungszielen übereinstimmen, hohe Gewichte zuweist, während solche, die Rauschen oder Aufgabenverschiebung einführen, abgewertet werden, alles unter Beibehaltung einer ausreichenden effektiven Stichprobengröße für die Generalisierung.

Hauptbeiträge

1. Bilevel-Framework für Trajektorien-Neugewichtung: Die Autoren stellen ein prinzipielles Bilevel-Optimierungsframework für die Neugewichtung synthetischer Daten im Multi-Turn-RL-Fine-Tuning vor. Sie implementieren dies mit einem parameter-effizienten Neugewichtungskopf, der gemeinsam mit der Basis-LLM und den Q-Funktionen über ein vollständig erster Ordnung optimierendes Schema trainiert wird.
2. Theoretische Analyse: Sie leiten eine PAC-Bayes'sche Schranke für die Leistung unter Trajektorien-Neugewichtung ab und charakterisieren explizit den Trade-off zwischen Daten-Diversität, Aufgabenverschiebung und effektiver Stichprobengröße.
3. Empirische Validierung: Die Methode wird an drei Multi-Turn-RL-Benchmarks (20 Questions, Autohändler-Verhandlung und WebShop) unter Verwendung zweier RL-Algorithmen (Monte-Carlo-Return und ILQL) validiert.

Ergebnisse

Experimente zeigen, dass BOOST mehrere Baselines konsistent übertrifft, darunter eine einheitliche Datennutzung, naive synthetische Augmentierung und eine Bilevel-Neugewichtung, die nur auf realen Daten angewendet wird.

• Leistungssteigerungen: BOOST verzeichnet die größten Gewinne in Regimen mit wenig Daten. Beispielsweise verbesserte BOOST im 20 Questions-Task unter dem Monte-Carlo-Return-Setting die Leistung um 242,6 % gegenüber der besten Vanilla-Baseline (3,46 vs. 1,01). Bei der Autohändler-Verhandlung betrug die Verbesserung 31,7 % (40,92 vs. 31,08).
• Nützlichkeit synthetischer Daten: Das naive Hinzufügen synthetischer Daten verschlechterte oft die Leistung (z. B. unter ILQL-Einstellungen unterlag die ungewichtete synthetische Augmentierung in 4 von 6 Settings dem Vanilla-Training). BOOST nutzte synthetische Daten erfolgreich, indem es nur jene Trajektorien hochgewichtet, die mit der realen Datenverteilung übereinstimmen.
• Gewichtsanalyse:
  • Die erlernten Gewichte sind nicht einheitlich und variieren je nach Punkt.
  • Hochgewichtete synthetische Punkte sind diejenigen, die im Embedding-Raum der Offline-Datenverteilung am nächsten liegen (negative Korrelation zwischen Gewicht und Abstand zu den nächsten Offline-Nachbarn).
  • Entscheidend ist, dass BOOST latente Signale von Offline-Punkten wiederherstellt, die zuvor unterbewertet waren. In der Autohändler-Umgebung wurden 36,2 % der Offline-Punkte, die unter einem reinen Offline-Ziel ein niedriges Gewicht erhielten, bei Einführung synthetischer Daten zu hohen Gewichten befördert, was auf eine synergistische Beziehung zwischen den Datenquellen hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BOOST einen praktischen Weg hin zu einer dateneffizienten Anpassung von Multi-Turn-LLMs ebnet. Durch das Erlernen von Gewichten auf Trajektorienebene ohne externe Richter verwaltet die Methode den Trade-off zwischen der durch synthetische Daten gebotenen Diversität und dem Risiko einer Aufgabenverschiebung.

Die Autoren betonen, dass ihr Ansatz:

• keinen Zugriff auf ein höherkapazitäres „Richter"-Modell erfordert.
• auf einer feingranularen Ebene der Trajektorie operiert und nicht auf groben Datenquellen.
• effektiv nützliche Signale sowohl von hochwertigen synthetischen Daten als auch von zuvor unterbewerteten Offline-Daten wiederherstellt.

Die Arbeit schließt mit einer bescheidenen Einschränkung: Die aktuelle Neugewichtung operiert auf der Ebene der Trajektorie. Zukünftige Arbeiten könnten eine feingranulare Neugewichtung pro Zeitschritt untersuchen, um nützliche Signale aus teilweise guten Trajektorien wiederzugewinnen.