Technisches Resümee: Korruptionsrobuste Offline-Reinforcement-Learning-Verfahren mit menschlichem Feedback

Problemdefinition

Diese Arbeit befasst sich mit der Herausforderung der Korruptionsrobustheit im Bereich des Offline-Reinforcement-Learnings aus menschlichem Feedback (RLHF). Die Autoren betrachten ein Szenario, in dem ein Offline-Datensatz aus Paaren von Trajektorien $(\tau^0, \tau^1)$ zusammen mit menschlichem Präferenzfeedback $o \in \{+1, -1\}$ besteht. Das Kernproblem besteht darin, dass ein $\epsilon$-Anteil dieser Daten durch einen Adversary korrumpiert wurde. Diese Korruption kann sich wie folgt manifestieren:

1. Manipulation des Feedbacks: Umkehrung des Präferenzlabels $o$.
2. Manipulation der Trajektorienmerkmale: Veränderung der Merkmale (Features) der Trajektorien $\tau$.

Das Ziel ist es, Algorithmen zu entwickeln, die aus solchen korrumpierten Daten eine nahezu optimale Policy identifizieren können und dabei beweisbare theoretische Garantien bieten. Die Autoren arbeiten unter der Annahme von Linearen Markov-Entscheidungsprozessen (MDPs), bei denen Belohnungen und Übergänge lineare Funktionen einer $d$-dimensionalen Feature-Map $\phi$ mit einer Horizontlänge $H$ sind.

Die bestehende Literatur hat die korruptionsrobuste RL (Lernen aus skalaren Belohnungen unter Korruption) und das Offline-RLHF (Lernen aus Präferenzen unter sauberen Daten) separat untersucht. Diese Ansätze sind jedoch für das spezifische Schnittfeld des Lernens aus Präferenzdaten, die in einem Offline-Setting korrumpiert sind, nicht anwendbar.

Methodik

Die vorgeschlagene Methodik folgt einem dreistufigen Rahmenwerk, um das Problem des robusten Offline-RLHF auf das Problem des robusten Offline-RL zu reduzieren:

1. Robuste Belohnungsmodell-Schätzung: Die Autoren lernen zunächst robust den Belohnungsparameter $\theta$, indem sie ein Trimmed Maximum Likelihood Estimation (MLE) Problem lösen. Anstatt alle Daten zu verwenden, wählt der Algorithmus eine Teilmenge von $(1-\epsilon)N$ Stichproben aus, die die Likelihood maximiert. Um korrumpierte Merkmale zu handhaben, verwendet die Methode eine robuste Kovarianzschätzung, um die Kovariaten zu weißisieren, bevor ein alternierendes Optimierungsverfahren zur Auffindung eines approximativen stationären Punktes durchgeführt wird.
2. Konfidenzset-Konstruktion: Ein Konfidenzset $\Theta(\mathcal{D})$ wird um den geschätzten Belohnungsparameter $\hat{\theta}$ konstruiert. Dieses Set wird basierend auf dem Likelihood-Verhältnis zwischen dem geschätzten Parameter und dem wahren Parameter definiert, um sicherzustellen, dass der wahre Parameter trotz der Korruption mit hoher Wahrscheinlichkeit innerhalb des Sets liegt.
3. Pessimistische Policy-Optimierung: Der letzte Schritt umfasst das Lernen einer pessimistischen optimalen Policy über dem konstruierten Konfidenzset. Dies wird durch die Reduktion des Problems auf korruptionsrobustes Offline-RL erreicht. Der spezifische Algorithmus, der für diese Reduktion verwendet wird, hängt von den Coverage-Annahmen der Offline-Datenverteilung ab.

Die Arbeit instanziiert dieses allgemeine Rahmenwerk unter drei verschiedenen Annahmen zur Datenabdeckung unter Verwendung unterschiedlicher robuster RL-Orakel:

1. Gleichmäßige Abdeckung (Uniform Coverage)

Unter der Annahme, dass die Offline-Daten den Feature-Raum gleichmäßig abdecken (speziell ist die Differenz-Feature-Kovarianzmatrix $\Sigma^{diff}$ gut konditioniert), nutzen die Autoren einen existierenden korruptionsrobusten Offline-RL-Algorithmus, R-LSVI [Zha+22], als Zero-Order-Orakel.

• Mechanismus: Der Algorithmus behandelt die robuste Offline-RL-Methode als Black Box, die eine Policy und eine Wertschätzung zurückgibt, aber keine Gradienteninformationen liefert.
• Ergebnis: Dies liefert eine Suboptimalitätslücke von $O(\epsilon^{1-o(1)})$, was im Hinblick auf den Korruptionsanteil $\epsilon$ nahezu optimal ist.

2. Niedrige relative Konditionszahl (Low Relative Condition Number)

Um die Annahme der gleichmäßigen Abdeckung zu lockern, führen die Autoren die Annahme einer niedrigen relativen Konditionszahl ein. Diese Bedingung ist schwächer und erfordert lediglich, dass das Verhältnis der Feature-Kovarianz der Ziel-Policy zur Kovarianz der Behavior-Policy beschränkt ist.

• Mechanismus: Da das Zero-Order-Orakel (R-LSVI) keine Gradienten liefern kann, verwenden die Autoren eine Gaußsche Approximations-Technik [NS17], um einen approximativen Subgradienten der optimalen Value-Funktion $V^*(\theta)$ zu konstruieren. Sie behandeln das robuste Offline-RL-Orakel als verzerrtes Zero-Order-Orakel und führen ein projiziertes Subgradientenverfahren über dem Konfidenzset durch.
• Ergebnis: Dieser Ansatz erreicht eine Suboptimalitätslücke von $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, wobei $\alpha$ die relative Konditionszahl ist. Die Abhängigkeit von $\epsilon$ ist $O(\epsilon^{1/4})$.

3. Beschränkte generalisierte Coverage-Ratio (Bounded Generalized Coverage Ratio)

Um die Abhängigkeit von $\epsilon$ weiter zu verbessern, betrachten die Autoren eine kürzlich von Gabbianelli et al. [Gab+24] eingeführte Annahme einer beschränkten generalisierten Coverage-Ratio.

• Mechanismus: Unter dieser Annahme entwerfen die Autoren eine neuartige korruptionsrobuste Offline-RL-Methode (Algorithmus 7), die als First-Order-Orakel fungiert. Diese Methode, die auf einem Primal-Dual-Framework für lineare MDPs basiert, liefert nicht nur eine approximativ optimale Policy, sondern auch einen approximativen Subgradienten der optimalen Value-Funktion $V^*(\theta)$. Dies ermöglicht es dem Haupt-RLHF-Algorithmus, direktes projiziertes Subgradientenverfahren durchzuführen, ohne auf Zero-Order-Glättung angewiesen zu sein.
• Ergebnis: Dies liefert eine signifikant verbesserte Suboptimalitätslücke von $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, wobei $\nu$ die generalisierte Coverage-Ratio ist. Die Abhängigkeit von $\epsilon$ verbessert sich auf $O(\sqrt{\epsilon})$.

Zentrale Beiträge und Ergebnisse

Die Arbeit stellt die ersten beweisbaren korruptionsrobusten Offline-RLHF-Methoden bereit. Die wesentlichen Beiträge und theoretischen Ergebnisse sind in Tabelle 1 der Arbeit zusammengefasst:

• Neuartiges Rahmenwerk: Die Reduktion von robustem RLHF auf robustes Offline-RL durch robuste Belohnungsschätzung und Konfidenzset-Konstruktion.
• Algorithmische Instanziierungen:
  • Algorithmus 1: Für gleichmäßige Abdeckung, erzielt $O(\epsilon^{1-o(1)})$ Suboptimalität unter Verwendung von R-LSVI als Zero-Order-Orakel.
  • Algorithmus 3: Für niedrige relative Konditionszahl, erzielt $\tilde{O}(\epsilon^{1/4})$ Suboptimalität mittels Gaußscher Approximation mit einem Zero-Order-Orakel.
  • Algorithmus 4 & 7: Für die beschränkte generalisierte Coverage-Ratio, erzielt $\tilde{O}(\sqrt{\epsilon})$ Suboptimalität unter Verwendung eines neu entworfenen First-Order-Robust-Offline-RL-Orakels.
• Orakel-Effizienz: Die Arbeit hebt hervor, dass der Übergang von Zero-Order- zu First-Order-Zugriff (Algorithmus 7) die Anzahl der benötigten Orakel-Aufrufe signifikant reduziert und die Abhängigkeit vom Korruptionsparameter $\epsilon$ verbessert.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit die erste ist, die Korruptionsrobustheit mit Offline-RLHF kombiniert und dabei rigorose theoretische Garantien bietet, wo frühere Arbeiten dies nicht konnten.

• Robustheit gegenüber adversariellen Angriffen: Die Methoden sind darauf ausgelegt, sowohl die Manipulation von Präferenzlabels als auch von Trajektorienmerkmalen zu überstehen, was eine kritische Anforderung für den realen Einsatz ist, wenn die Zuverlässigkeit der Daten beeinträchtigt ist.
• Theoretische Garantien: Die Arbeit liefert explizite Schranken für die Suboptimalitätslücke in Abhängigkeit vom Korruptionsanteil $\epsilon$, dem Horizont $H$, der Feature-Dimension $d$ und den Coverage-Konstanten ($\xi, \alpha, \nu$).
• Begrenzter Umfang und zukünftige Arbeit: Die Autoren äußern sich bescheiden über den aktuellen Umfang und merken an, dass die Ergebnisse spezifisch für lineare MDPs sind. Sie räumen ein, dass die Erweiterung dieser Ergebnisse auf nicht-konvexe Belohnungsfunktionen oder allgemeine Funktionsapproximationen (z. B. tiefe neuronale Netze) eine signifikante Herausforderung darstellt, da die Konvexität der optimalen Value-Funktion $V^*(\theta)$ in $\theta$ – welche entscheidend für ihre gradientenbasierten Beweise ist – in nicht-linearen Settings möglicherweise nicht gegeben ist. Sie merken zudem an, dass sie zwar vorläufige Simulationsergebnisse liefern, die Anwendung dieser Methoden auf praktische Settings wie das Fine-Tuning von Large Language Models (LLMs) jedoch eine offene und herausfordernde Richtung für die zukünftige Forschung bleibt.