RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses

1. Probleemstelling

Versterkingsleren (RL) is sterk afhankelijk van reward-ontwerp. Hoewel Large Language Models (LLM's) de generatie van rewards schaalbaar hebben gemaakt (bijvoorbeeld door het synthetiseren van code of het vormgeven van functies), blijft er een kritieke kloof bestaan: gegenereerde rewards zijn niet automatisch betrouwbare trainingsdoelen.

Bestaande literatuur richt zich op het genereren of selecteren van reward-kandidaten, maar negeert grotendeels het tijdstip van implementatie. De auteurs stellen dat de bruikbaarheid van een reward geen intrinsieke eigenschap is van de kandidaat alleen; deze is afhankelijk van:

1. Policy Competentie: Een reward die nuttig is voor optimalisatie in een laat stadium, kan te schaars of scherp zijn om het leren te starten vanuit een zwakke policy. Omgekeerd kan een dichte vroege reward misaligneren naarmate de policy verbetert.
2. Trainingsfase: Het wisselen van rewards halverwege de training kan leiden tot niet-stationaire doelen, schokken in de reward-schaal en instabiliteit in de waarde-schatting.

Het kernprobleem is het bepalen wanneer een gegenereerde reward-hypothese betrouwbaar genoeg is om te worden vergeleken en ingezet, en hoe over te schakelen tussen rewards zonder de training te destabiliseren.

2. Methodologie: RHYVE

De auteurs stellen RHYVE voor, een protocol dat gegenereerde rewards behandelt als hypothese in plaats van onmiddellijke doelen. Het scheidt reward-generatie van verificatie en implementatie.

Kerncomponenten:

• Reward Hypotheses ($H$): Een kleine set kandidaat-rewardfuncties $\{h_1, ..., h_K\}$ gegenereerd door een upstream-proces (bijvoorbeeld een LLM).
• Gedeelde Checkpoint Fork-verificatie:
  • In plaats van aparte agents vanaf nul te trainen, klonen RHYVE de huidige learner-toestand (policy $\pi_t$, critic $V_t$, optimizer-status $\Omega_t$) op specifieke checkpoints.
  • Elke kloon wordt getraind voor een korte fork-horizon ($L$) met een andere reward-hypothese.
  • De resulterende geforkte policies worden geëvalueerd met een gemeenschappelijke downstream-metriek om een "lokaal winnaar" te bepalen.
  • Dit voorkomt dat de kwaliteit van de reward wordt verward met onafhankelijke initialisatie of exploratiegeschiedenis.
• Fase-profielconstructie:
  • RHYVE houdt de "winnaar" van de fork-verificatie bij over de trainingsstappen heen.
  • Het identificeert verificatie-informatieve checkpoints waar de winnaarmarge stabiel en significant is (het onderscheiden van ware fase-structuur van ruis).
  • Het detecteert of de "beste" reward verandert naarmate de policy competenter wordt (bijvoorbeeld: een dichte bootstrap-reward wint vroeg, maar een schaarse, taak-trouwe reward wint later).
• Fase-bewuste Implementatieregels:
  Op basis van het fase-profiel kiest RHYVE een van drie strategieën:
  1. Enkele Reward: Als één hypothese stabiel is vanaf het eerste informatieve checkpoint.
  2. Twee-fase Schema: Als een vroege winnaar later wordt ingehaald door een stabiele late-fase winnaar (bijvoorbeeld: Warm-up $t < t_s$ met $h_{early}$, vervolgens $h_{late}$ voor $t \ge t_s$).
  3. Conservatieve Fallback: Als het profiel dubbelzinnig is of marges verwaarloosbaar zijn, wordt agressief wisselen vermeden om instabiliteit te voorkomen.
• Switch-operatoren: Het artikel evalueert hoe de switch wordt uitgevoerd:
  • Harde Switch: Directe vervanging (praktische standaard).
  • Potentie-gebaseerde Reward Shaping (PBRS): Gebruikt de oude critic om de overgang te gladstrijken.
  • Critic Reset: Herinitialiseert de critic op het switch-punt.

3. Belangrijkste Bijdragen

1. Conceptuele Verschuiving: Het herformuleren van gegenereerde rewards als competentie-afhankelijke hypothesen. Het artikel stelt dat verificatie een dynamisch proces is dat gekoppeld is aan de leercapaciteit, en geen statische evaluatie.
2. RHYVE Protocol: Een nieuwe methode voor fork-verificatie vanuit gedeelde checkpoints om het optimale implementatieschema (enkele versus twee-fase) te bepalen zonder een universele scheduler te vereisen.
3. Empirische Validatie:
   • Gedemonstreerd op FRANKACABINET (een schaarse, fase-gevoelige manipulatie-taak), waarbij bleek dat fase-bewuste implementatie zowel de piekprestaties als de behouden terminale prestaties significant verbetert in vergelijking met directe of eenmalige implementatie.
   • Uitgebreid naar LLM-genererde reward-kandidaten, waarbij werd bewezen dat fase-afhankelijke winnaar-wisselingen optreden zelfs bij geautomatiseerde generatie, maar dat het optimale schema kandidaat-familie-afhankelijk is (er is geen enkel "warm-up"-schema dat universeel optimaal is).
4. Rigoureuze Controles: Het onderzoek omvat uitgebreide controles (compute-gelijkgestelde baselines, conservatieve online selectoren, schaal-matching en dichte-orakel grens-taken) om de voordelen van fase-bewustheid te isoleren van verstorende factoren zoals extra compute of reward-schaling.

4. Experimentele Resultaten

• Competentie-beperkte Verificatie: Reward-rangschikkingen zijn instabiel bij lage competentieniveaus. Fork-verificatie wordt pas informatief nadat de policy de taak-afhankelijke competentiedrempels heeft bereikt.
• Prestatiewinst: Op de FRANKACABINET-taak bereikte een vaste warm-up van 50 stappen gevolgd door een harde switch naar de taak-trouwe reward de hoogste piek-succes (0,389) en de beste herberekende terminale prestatie (0,163), beter dan directe orakel-implementatie (0,215) en eenmalige implementatie.
• LLM-kandidaten: Experimenten met door LLM's gegenereerde pools (licht gecureerd versus minimaal gefilterd) toonden aan dat hoewel fase-afhankelijk gedrag bestaat, de "beste" implementatieregel varieert per specifieke kandidaat-pool. Dit weerlegt het idee van een universeel warm-up-schema.
• Grensvoorwaarden:
  • BALLBALANCE (Dicht Orakel): In taken waar de orakel-reward al dicht is, biedt warm-up geen voordeel, wat bevestigt dat de methode specifiek is voor schaarse/fase-gevoelige regimes.
  • FRANKACUBESTACK (Alle-mislukking): In taken waar de setup onleerbaar is binnen het budget, faalt RHYVE om betekenisvolle rangschikkingen te produceren, wat de reikwijdte van de methode verduidelijkt.
• Vergelijking Selectoren: Reactieve online selectoren (bijvoorbeeld bewegend gemiddelde, periodiek) presteerden slechter dan het stabiele fase-bewuste schema in schaarse, kleine-kandidaat regimes, waarbij ze vaak faalden om te switchen of te laat switchten door ruis in vroege signalen.

5. Betekenis en Conclusie

• Verificatie-informeerde Implementatie: RHYVE wordt gepositioneerd niet als een nieuwe reward-generator of universele scheduler, maar als een implementatieprotocol. Het beantwoordt de vraag: "Gegeven een set kandidaten, wanneer is de learner competent genoeg om het vertrouwen in de vergelijking?"
• Gekoppelde Problemen: Het artikel stelt vast dat reward-generatie en reward-implementatie moeten worden bestudeerd als gekoppelde problemen. Een reward die "goed" is in isolatie, kan "slecht" zijn voor een specifieke trainingsfase.
• Praktische Implicatie: Voor practitioners die LLM's gebruiken om rewards te genereren, suggereert het artikel een workflow:
  1. Genereer een kleine set kandidaten.
  2. Gebruik fork-verificatie op gedeelde checkpoints om het "fase-profiel" in kaart te brengen.
  3. Implementeer een schema (enkele of twee-fase) op basis van de stabiliteit van het profiel, in plaats van blind een vaste warm-up toe te passen of reactief te switchen.

Kortom, RHYVE biedt een robuust kader voor het veilig integreren van door LLM's gegenereerde rewards in RL-pipelines door ervoor te zorgen dat reward-wisseling alleen plaatsvindt wanneer de policy competent genoeg is om de bruikbaarheid van het nieuwe doel te verifiëren.