Technische Samenvatting: Corruptie-robuust Offline Reinforcement Learning met Menselijke Feedback

Probleemdefinitie

Dit artikel behandelt de uitdaging van corruptie-robuustheid in Offline Reinforcement Learning from Human Feedback (RLHF). De auteurs beschouwen een setting waarbij een offline dataset bestaat uit paren trajecten $(\tau^0, \tau^1)$ samen met menselijke voorkeursfeedback $o \in \{+1, -1\}$. Het kernproblein is dat een $\epsilon$-fractie van deze data is gecorrumpeerd door een tegenstander. Deze corruptie kan zich manifesteren als:

1. Manipulatie van feedback: Het omdraaien van het voorkeursetiket $o$.
2. Manipulatie van trajectkenmerken: Het wijzigen van de kenmerken (features) van de trajecten $\tau$.

Het doel is om algoritmen te ontwerpen die een bijna-optimale policy kunnen identificeren uit dergelijke gecorrumpeerde data met bewijsbare theoretische garanties. De auteurs werken onder de assumptie van Lineaire Markov Beslissingsprocessen (MDP's), waarbij beloningen en transities lineaire functies zijn van een $d$-dimensionale feature-map $\phi$, met een horizonlengte $H$.

Bestaande literatuur heeft afzonderlijk corruptie-robuuste RL (leren van scalaire beloningen onder corruptie) en offline RLHF (leren van voorkeuren onder schone data) bestudeerd. Echter, deze benaderingen zijn niet toepasbaar op de specifieke intersectie van het leren van voorkeursdata die gecorrumpeerd is in een offline setting.

Methodologie

De voorgestelde methodologie volgt een driestapsframework om het probleem van robuuste offline RLHF te reduceren tot het probleem van robuuste offline RL:

1. Robuuste Beloningsmodel Schatting: De auteurs leren eerst de robuuste beloningsparameter $\theta$ door een Trimmed Maximum Likelihood Estimation (MLE) probleem op te lossen. In plaats van alle data te gebruiken, selecteert het algoritme een subset van $(1-\epsilon)N$ samples die de likelihood maximaliseert. Om gecorrumpeerde kenmerken aan te pakken, gebruikt de methode robuuste covariantieschatting om de covariaten te whitenen voordat een alternerende optimalisatieprocedure wordt uitgevoerd om een benaderd stationair punt te vinden.
2. Confidence Set Constructie: Een confidence set $\Theta(\mathcal{D})$ wordt geconstrueerd rond de geschatte beloningsparameter $\hat{\theta}$. Deze set is gedefinieerd op basis van de likelihood ratio tussen de geschatte parameter en de ware parameter, wat ervoor zorgt dat de ware parameter met een hoge waarschijnlijkheid binnen de set valt, ondanks de corruptie.
3. Pessimistische Policy Optimalisatie: De laatste stap omvat het leren van een pessimistische optimale policy over de geconstrueerde confidence set. Dit wordt bereikt door het probleem te reduceren tot corruptie-robuuste offline RL. De specifieke algoritme die voor deze reductie wordt gebruikt, hangt af van de coverage assumptions (dekking-assumpties) van de offline datadistributie.

Het artikel instantiëert dit algemene framework onder drie verschillende offline data dekking-assumpties, waarbij gebruik wordt gemaakt van verschillende robuuste offline RL-oracles:

1. Uniforme Dekking (Uniform Coverage)

Onder de assumptie dat de offline data de feature-ruimte uniform dekt (specifiek, de verschil-feature covariantie-matrix $\Sigma^{diff}$ is goed conditioneerd), maken de auteurs gebruik van een bestaand corruptie-robuust offline RL-algoritme, R-LSVI [Zha+22], als een zero-order oracle.

• Mechanisme: Het algoritme behandelt de robuuste offline RL-methode als een black box die een policy en een waarde-inschatting teruggeeft, maar geen gradiëntinformatie levert.
• Resultaat: Dit levert een suboptimaliteitskloof op van $O(\epsilon^{1-o(1)})$, wat bijna optimaal is met betrekking tot de corruptiefractie $\epsilon$.

2. Lage Relatieve Conditiegetal (Low Relative Condition Number)

In het besef dat uniforme dekking een sterke assumptie is, versoepelen de auteurs dit naar een Low Relative Condition Number assumptie. Deze conditie is zwakker en vereist enkel dat de ratio van de feature-covariantie van de doel-policy ten opzichte van de gedrags-policy begrensd is.

• Mechanisme: Omdat de zero-order oracle (R-LSVI) geen gradiënten kan leveren, gebruiken de auteurs een Gaussische benaderingstechniek [NS17] om een benaderde sub-gradiënt van de optimale waardefunctie $V^*(\theta)$ te construeren. Ze behandelen de robuste offline RL-oracle als een vertekende, zero-order oracle en voeren Projected Sub-Gradient Descent uit over de confidence set.
• Resultaat: Deze benadering bereikt een suboptimaliteitskloof van $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, waarbij $\alpha$ het relatieve conditiegetal is. De afhankelijkheid van $\epsilon$ is $O(\epsilon^{1/4})$.

3. Begrensde Gegeneraliseerde Dekkingsratio (Bounded Generalized Coverage Ratio)

Om de afhankelijkheid van $\epsilon$ verder te verbeteren, overwegen de auteurs een Bounded Generalized Coverage Ratio assumptie, recent geïntroduceerd door Gabbianelli et al. [Gab+24].

• Mechanisme: Onder deze assumptie ontwerpen de auteurs een nieuwe corruptie-robuuste offline RL-methode (Algoritme 7) die fungeert als een first-order oracle. Deze methode, gebaseerd op een primal-dual framework voor lineaire MDP's, geeft niet alleen een benaderend optimale policy terug, maar ook een benaderde sub-gradiënt van de optimale waardefunctie $V^*(\theta)$. Dit stelt de hoofd RLHF-algoritme in staat om directe projected sub-gradient descent uit te voeren zonder de noodzaak van zero-order smoothing.
• Resultaat: Dit levert een aanzienlijk verbeterde suboptimaliteitskloof op van $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, waarbij $\nu$ de gegeneraliseerde dekkingsratio is. De afhankelijkheid van $\epsilon$ verbetert naar $O(\sqrt{\epsilon})$.

Belangrijkste Bijdragen en Resultaten

Het artikel biedt de eerste bewijsbare corruptie-robuuste offline RLHF-methoden. De belangrijkste bijdragen en theoretische resultaten worden samengevat in Tabel 1 van het artikel:

• Nieuw Framework: De reductie van robuuste RLHF naar robuuste offline RL via robuuste beloningsschatting en de constructie van een confidence set.
• Algoritmische Instantiaties:
  • Algoritme 1: Voor uniforme dekking, waarbij een $O(\epsilon^{1-o(1)})$ suboptimaliteit wordt bereikt met R-LSVI als zero-order oracle.
  • Algoritme 3: Voor een laag relatief conditiegetal, waarbij een $\tilde{O}(\epsilon^{1/4})$ suboptimaliteit wordt bereikt met Gaussische benadering met een zero-order oracle.
  • Algoritme 4 & 7: Voor een begrensde gegeneraliseerde dekkingsratio, waarbij een $\tilde{O}(\sqrt{\epsilon})$ suboptimaliteit wordt bereikt met een nieuw ontworpen first-order robuuste offline RL-oracle.
• Oracle Efficiëntie: Het artikel benadrukt dat de overstap van zero-order naar first-order toegang (Algoritme 7) het aantal benodigde oracle-aanroepen aanzienlijk vermindert en de afhankelijkheid van de corruptieparameter $\epsilon$ verbetert.

Betekenis en Claims

De auteurs beweren dat dit werk de eerste is die corruptie-robuustheid combineert met offline RLHF, waarbij rigoureuze theoretische garanties biedt waar voorheen geen mogelijkheid toe was.

• Robuustheid tegen Adversariële Aanvallen: De methoden zijn ontworpen om bestand te zijn tegen de adiversariële manipulatie van zowel voorkeursetiketten als trajectkenmerken, een cruciale vereiste voor echte wereldimplementaties waar de betrouwbaarheid van data in het gedrang komt.
• Theoretische Garanties: Het artikel biedt expliciete grenzen aan de suboptimaliteitskloof in termen van de corruptiefractie $\epsilon$, horizon $H$, feature-dimensie $d$ en dekking-constanten ($\xi, \alpha, \nu$).
• Bescheiden Scope en Toekomstig Werk: De auteurs zijn bescheiden over de huidige scope en merken op dat de resultaten specifiek zijn voor lineaire MDP's. Zij erkennen dat het uitbreiden van deze resultaten naar niet-convexe beloningsfuncties of algemene functie-approximatie (bijv. diepe neurale netwerken) een grote uitdaging is, aangezien de convexiteit van de optimale waardefunctie $V^*(\theta)$ in $\theta$ — cruciaal voor hun gradiënt-gebaseerde bewijzen — mogelijk niet standhoudt in niet-lineaire settings. Zij merken ook op dat hoewel zij voorlopige simulatieresultaten bieden, het toepassen van deze methoden op praktische settings zoals het fine-tunen van Large Language Models (LLM's) een openstaand en uitdagend onderzoeksveld blijft voor de toekomst.