RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses

1. Enunciazione del Problema

L'Apprendimento per Rinforzo (RL) dipende fortemente dalla progettazione della ricompensa. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano reso scalabile la generazione di ricompense (ad esempio, sintetizzando codice o funzioni di modellazione), persiste un divario critico: le ricompense generate non sono automaticamente obiettivi di allenamento affidabili.

La letteratura esistente si concentra sulla generazione o sulla selezione di candidati di ricompensa, ma ignora largamente il momento della distribuzione. Gli autori sostengono che l'utilità di una ricompensa non è una proprietà intrinseca del singolo candidato; piuttosto, dipende da:

1. Competenza della Politica: Una ricompensa utile per l'ottimizzazione in fase avanzata potrebbe essere troppo sparsa o acuta per avviare l'apprendimento da una politica debole. Viceversa, una ricompensa densa iniziale potrebbe diventare disallineata man mano che la politica migliora.
2. Fase di Allenamento: Il cambio di ricompense a metà allenamento può causare target non stazionari, shock nella scala delle ricompense e instabilità nella stima del valore.

Il problema centrale è determinare quando un'ipotesi di ricompensa generata è abbastanza affidabile da essere confrontata e distribuita, e come effettuare la transizione tra le ricompense senza destabilizzare l'allenamento.

2. Metodologia: RHYVE

Gli autori propongono RHYVE, un protocollo che tratta le ricompense generate come ipotesi piuttosto che come obiettivi immediati. Separa la generazione della ricompensa dalla verifica e dalla distribuzione.

Componenti Principali:

• Ipotesti di Ricompensa ($H$): Un piccolo insieme di funzioni di ricompensa candidate $\{h_1, ..., h_K\}$ generate da un processo a monte (ad esempio, un LLM).
• Verifica per Fork da Checkpoint Condivisi:
  • Invece di addestrare agenti separati da zero, RHYVE clona lo stato corrente dell'agente (politica $\pi_t$, critico $V_t$, stato dell'ottimizzatore $\Omega_t$) a checkpoint specifici.
  • Ogni clone viene addestrato per un breve orizzonte di fork ($L$) utilizzando un'ipotesi di ricompensa diversa.
  • Le politiche fork risultanti vengono valutate utilizzando una metrica a valle comune per determinare un "vincitore locale".
  • Questo evita di confondere la qualità della ricompensa con l'inizializzazione indipendente o la storia dell'esplorazione.
• Costruzione del Profilo di Fase:
  • RHYVE traccia il "vincitore" della verifica del fork attraverso i passaggi di allenamento.
  • Identifica i checkpoint informativi per la verifica dove il margine del vincitore è stabile e significativo (distinguendo la vera struttura di fase dal rumore).
  • Rileva se il "migliore" premio cambia man mano che la politica diventa più competente (ad esempio, una ricompensa densa di avvio vince all'inizio, ma una ricompensa fedele al compito e sparsa vince in seguito).
• Regole di Distribuzione Consapevole della Fase:
  Basandosi sul profilo di fase, RHYVE seleziona una delle tre strategie:
  1. Singola Ricompensa: Se un'ipotesi è stabile dal primo checkpoint informativo in poi.
  2. Pianificazione a Due Stadi: Se un vincitore iniziale viene successivamente superato da un vincitore stabile della fase tardiva (ad esempio, Riscaldamento $t < t_s$ con $h_{early}$, poi $h_{late}$ per $t \ge t_s$).
  3. Ritorno Conservativo: Se il profilo è ambiguo o i margini sono trascurabili, evita cambi aggressivi per prevenire instabilità.
• Operatori di Cambio: Il documento valuta come eseguire il cambio:
  • Cambio Rigido: Sostituzione diretta (predefinito pratico).
  • Modellazione della Ricompensa Basata sul Potenziale (PBRS): Utilizza il vecchio critico per ammorbidire la transizione.
  • Reset del Critico: Reinizializza il critico nel punto di cambio.

3. Contributi Chiave

1. Cambiamento Concettuale: Riformulazione delle ricompense generate come ipotesi dipendenti dalla competenza. Il documento sostiene che la verifica è un processo dinamico legato alla capacità dell'apprendista, non una valutazione statica.
2. Protocollo RHYVE: Un metodo innovativo per la verifica per fork da checkpoint condivisi per determinare la pianificazione di distribuzione ottimale (singola vs. a due stadi) senza richiedere un pianificatore universale.
3. Validazione Empirica:
   • Dimostrato su FRANKACABINET (un compito di manipolazione sparsa e sensibile alla fase), mostrando che la distribuzione consapevole della fase migliora significativamente sia le prestazioni di picco che le prestazioni terminali mantenute rispetto alla distribuzione diretta o monolitica.
   • Esteso a candidati di ricompensa generati da LLM, dimostrando che i cambiamenti di vincitore dipendenti dalla fase si verificano anche con la generazione automatizzata, ma la pianificazione ottimale è dipendente dalla famiglia di candidati (nessuna singola pianificazione di "riscaldamento" è universalmente ottimale).
4. Controlli Rigorosi: Lo studio include controlli estesi (baseline con calcolo abbinato, selector online conservativi, abbinamento della scala e compiti di confine con oracolo denso) per isolare i benefici della consapevolezza della fase da fattori confondenti come calcolo extra o scalatura delle ricompense.

4. Risultati Sperimentali

• Verifica Limitata dalla Competenza: Le classifiche delle ricompense sono instabili a bassi livelli di competenza. La verifica per fork diventa informativa solo dopo che la politica raggiunge le soglie di competenza dipendenti dal compito.
• Guadagni nelle Prestazioni: Sul compito FRANKACABINET, un riscaldamento fisso di 50 passaggi seguito da un cambio rigido alla ricompensa fedele al compito ha raggiunto il successo di picco più alto (0,389) e le migliori prestazioni terminali ricalcolate (0,163), superando la distribuzione diretta dell'oracolo (0,215) e la distribuzione monolitica.
• Candidati LLM: Gli esperimenti con pool generati da LLM (leggermente curati vs. minimamente filtrati) hanno mostrato che, sebbene esista un comportamento dipendente dalla fase, la regola di distribuzione "migliore" varia in base al pool specifico di candidati. Questo smentisce l'idea di una pianificazione di riscaldamento universale.
• Condizioni di Confine:
  • BALLBALANCE (Oracolo Denso): In compiti in cui la ricompensa dell'oracolo è già densa, il riscaldamento non offre alcun beneficio, confermando che il metodo è specifico per regimi sparsi/sensibili alla fase.
  • FRANKACUBESTACK (Tutti Fallimenti): In compiti in cui l'impostazione è non apprendibile entro il budget, RHYVE non riesce a produrre classifiche significative, chiarificando la portata del metodo.
• Confronto dei Selettori: I selettori online reattivi (ad esempio, media mobile, periodici) hanno ottenuto risultati inferiori rispetto alla pianificazione consapevole della fase stabile in regimi sparsi e con piccoli candidati, spesso fallendo nel cambiare o cambiando troppo tardi a causa di segnali iniziali rumorosi.

5. Significato e Conclusione

• Distribuzione Informata dalla Verifica: RHYVE è posizionato non come un nuovo generatore di ricompense o un pianificatore universale, ma come un protocollo di distribuzione. Risponde alla domanda: "Dato un insieme di candidati, quando l'apprendista è abbastanza competente da fidarsi del confronto?"
• Problemi Accoppiati: Il documento stabilisce che la generazione della ricompensa e la distribuzione della ricompensa devono essere studiate come problemi accoppiati. Una ricompensa che è "buona" in isolamento può essere "cattiva" per una specifica fase di allenamento.
• Implicazione Pratica: Per i professionisti che utilizzano LLM per generare ricompense, il documento suggerisce un flusso di lavoro:
  1. Generare un piccolo insieme di candidati.
  2. Utilizzare la verifica per fork a checkpoint condivisi per mappare il "profilo di fase".
  3. Distribuire una pianificazione (singola o a due stadi) basata sulla stabilità del profilo, piuttosto che applicare ciecamente un riscaldamento fisso o cambiare in modo reattivo.

In sintesi, RHYVE fornisce un quadro robusto per integrare in sicurezza le ricompense generate da LLM nelle pipeline RL, assicurando che il cambio di ricompense avvenga solo quando la politica è abbastanza competente da verificare l'utilità del nuovo obiettivo.