Technische Samenvatting: Heb je echt een vooraf getrainde Q-functie nodig voor Online RL Fine-tuning?

1. Probleemformulering

Het artikel onderzoekt de effectiviteit van het vooraf trainen van Q-functies op offline data bij het fine-tunen van een vooraf getrainde policy met behulp van online Reinforcement Learning (RL). De setting betreft een Markov Beslissingsproces (MDP) waarbij een agent beschikt over een vaste offline dataset $D_{offline}$ en een vooraf getrainde basis-policy $\pi_{base}$ (meestal getraind via supervised learning of imitation learning op $D_{offline}$). Het doel is om online RL fine-tuning uit te voeren om de returns te maximaliseren.

De centrale vraag is of de Q-functie ($Q_\phi$), die de actie-selectie van de policy tijdens online updates stuurt, ook vooraf getraind moet worden op $D_{offline}$ naast de policy, of dat deze willekeurig geïnitialiseerd moet worden en volledig online geleerd moet worden. De conventionele wijsheid in offline-to-online RL suggereert dat gezamenlijke pretraining van zowel de policy als de Q-functie gunstig is. Recente werken hebben echter aangetoond dat het starten met een vooraf getrainde policy en een willekeurig geïnitialiseerde Q-functie zeer performante resultaten kan opleveren. Dit artikel test systematisch de intuïtie dat het vooraf trainen van de Q-functie een noodzakelijke voorsprong biedt voor de downstream performance.

2. Methodologie

Experimentele Opstelling

De auteurs evalueren hun hypothesen op zes uitdagende continue controle-manipulatietaken uit Robomimic (lift, can, square) en OGBench (cube, scene, puzzle). Deze taken bevatten sparse rewards en langetermijn-redeneren (long-horizon reasoning).

• Basisalgoritme: De studie maakt gebruik van EXPO, een sample-efficiënt off-policy RL-algoritme. EXPO gebruikt een "base flow policy" ($\pi_{base}$) en een lichtgewicht "edit policy" ($\pi_{edit}$) die actie-correcties voorspelt. De uiteindelijke actie wordt geselecteerd door de Q-waarde te maximaliseren over een set van base en edited acties.
• Baselines:
  1. Naive Pretraining: Pretrain zowel $\pi_{base}$ als $Q_\phi$ op $D_{offline}$ met behulp van respectievelijk supervised learning en offline TD learning, vóór de online fine-tuning.
  2. Random Initialization: Pretrain alleen $\pi_{base}$ op $D_{offline}$; initialiseer $Q_\phi$ willekeurig en leer deze volledig tijdens de online fine-tuning.
  3. Offline Value Maximization: Probeert het gat tussen offline en online targets te overbruggen door tijdens de pretraining offline value maximization uit te voeren (bijv. het trainen van een edit policy of het distilleren van een one-step policy).

Voorgestelde Methode: Initialisatie via Policy Ensemble (IPE)

Gesterkt door de bevinding dat naive pretraining faalt, stellen de auteurs IPE voor, een methode om offline data beter te benutten voor de initialisatie van de Q-functie zonder de mismatch-problemen van standaard pretraining.

• Kernidee: Een enkele vooraf getrainde policy produceert vaak een smalle actie-distributie, wat ervoor zorgt dat de Q-functie convergeert naar de value function van die specifieke policy ($Q_{\pi_{base}} \approx V_{\pi_{base}}$) in plaats van een generaliseerbare actie-waarde structuur te leren.
• Procedure:
  1. Train een base policy $\pi_{base}$ op de offline dataset.
  2. Train $N$ aanvullende diverse policies ($\pi_1, \dots, \pi_N$) op dezelfde actie-distributie (met gebruik van dezelfde dataset of subsets met verschillende seeds).
  3. Voer rollouts uit van alle $N+1$ policies in de omgeving om diverse transities te verzamelen.
  4. Bundel deze rollouts om de replay buffer voor online RL fine-tuning te initialiseren.
     Deze aanpak voorziet de Q-functie van dekking over een breder scala aan acties bij elke staat, waardoor het mogelijk is om een Q-functie te leren die dichter bij de optimale online target ($Q^*_{RL}$) ligt, in plaats van beperkt te worden door de smalle distributie van een enkele policy.

3. Belangrijkste Bevindingen en Analyse

Het Falen van Naive Pretraining

In tegenstelling tot de conventionele intuïtie, vinden de auteurs dat het naief pretrainen van de Q-functie weinig tot geen voordeel biedt ten opzichte van willekeurige initialisatie. In verschillende taken belemmert het zelfs het online leren.

• De Mismatch: De Q-functie die geleerd wordt tijdens offline pretraining ($Q_{\pi_{base}}$) richt zich op de value function van de base policy. Echter, online RL fine-tuning convergeert naar een andere optimale Q-functie ($Q^*_{RL}$).
• Voorkeursnauwkeurigheid (Preference Accuracy): Zelfs wanneer de base policy bijna optimaal is, komt de offline vooraf getrainde critic niet overeen met de critic die door online RL wordt geleerd. De offline Q-functie slaagt er niet in om acties van de optimale policy ($\pi^*$) versus de base policy ($\pi_{base}$) correct te rangschikken op de manier die vereist is voor online convergentie.
• Ineffectiviteit van Oplossingen: Pogingen om dit gat te dichten via offline value maximization (bijv. het trainen van een edit policy of het toepassen van actie-gradiënten tijdens pretraining) slagen er niet in de performance of de voorkeursnauwkeurigheid te verbeteren, wat aangeeft dat online interactie noodzakelijk is om de juiste target te leren.

Het Mechanisme van IPE

Het artikel demonstreert dat het falen van naive pretraining voortkomt uit een gebrek aan actie-diversiteit. De rollouts van een enkele policy resulteren in een Q-functie met een zeer lage variantie, wat de functie effectief deterministisch maakt en het onmogelijk maakt om tussen alternatieve acties te onderscheiden.

• Diversiteit: Door een ensemble van policies te gebruiken, genereert IPE rollouts met een aanzienlijk hogere actie-diversiteit.
• Resultaat: Deze diversiteit stelt de Q-functie in staat om betekenisvolle actie-waarde structuren ($Q^*_{RL}$) te leren, in plaats van te imploderen naar de waarde van het gedrag van een enkele policy.

4. Resultaten

• Prestatieverbetering: Over de gehele suite van continuous control benchmarks levert IPE een gemiddelde verbetering van 1,26x (ongeveer 26%) in fine-tuning performance op vergeleken met naive Q-functie pretraining.
• Vergelijking met Random Initialization: IPE presteert beter dan zowel naive pretraining als random initialisatie, wat aantoont dat de kwaliteit van de Q-functie initialisatie cruciaal is, maar dat de bron van die initialisatie divers moet zijn.
• Schaalbaarheid: Performance schaalt met het aantal policies ($N$) dat in het ensemble wordt gebruikt. In de experimenten leverde $N=5$ de beste resultaten, wat suggereert dat een bredere dekking van gedrags-policies leidt tot betere downstream fine-tuning.
• Voorkeursnauwkeurigheid: IPE-getrainde Q-functies vertonen een hogere voorkeursnauwkeurigheid voor optimale acties vergeleken met de baselines, wat bevestigt dat de methode het gat naar $Q^*_{RL}$ succesvol overbrugt.

5. Betekenis en Claims

Het artikel daagt de heersende aanname uit dat "meer pretraining altijd beter is" in de context van offline-to-online RL. De belangrijkste bijdragen zijn:

1. Empirisch Bewijs: Het toont systematisch aan dat het direct pretrainen van een Q-functie op offline data vaak faalt in het versnellen of verbeteren van online RL fine-tuning wanneer men start vanuit een vooraf getrainde policy.
2. Theoretisch Inzicht: Het identificeert een fundamentele mismatch tussen de offline Q-functie ($Q_{\pi_{base}}$) en de online target ($Q^*_{RL}$), en laat zien dat offline value maximization alleen dit verschil niet kan oplossen.
3. Praktische Oplossing: Het introduceert IPE, een eenvoudige en effectieve methode die gebruikmaakt van policy ensembles om de Q-functie te bootstrappen. Door de actie-diversiteit in de pretraining fase te vergroten, stelt IPE online RL in staat om de juiste value functie efficiënter te leren.

De auteurs concluderen dat hoewel het pretrainen van de policy essentieel is, de strategie voor het initialiseren van de Q-functie rekening moet houden met de diversiteit van acties die nodig zijn om het optimale waarde-landschap te leren, in plaats van simpelweg de offline data-distributie van een enkele policy aan te passen. Het werk is beperkt tot off-policy RL settings, en de auteurs merken op dat het verminderen van de data-verzamelingsoverhead van IPE een richting is voor toekomstig werk.