Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement

Riepilogo Tecnico: ERFSL – Cercatore Efficiente di Funzioni di Ricompensa per RL Multi-Obiettivo

Enunciato del Problema
La progettazione di funzioni di ricompensa efficaci per l'Apprendimento per Rinforzo (RL) in ambienti complessi e personalizzati, caratterizzati da obiettivi multipli e spesso conflittuali, presenta sfide significative. Con la proliferazione degli obiettivi di ottimizzazione, la regolazione manuale delle strutture e dei coefficienti delle funzioni di ricompensa diventa laboriosa e soggetta ad ambiguità. Inoltre, le esigenze dei ricercatori fluttuano spesso e i requisiti possono essere vaghi. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato potenziale nella generazione di codice e in compiti zero-shot, faticano con l'ottimizzazione "black-box" e con il bilanciamento dei pesi numerici in scenari multi-obiettivo. Gli approcci esistenti si basano spesso su esplorazioni per tentativi ed errori, inefficienti quando si tratta di funzioni di ricompensa complesse in cui correttezza del codice e bilanciamento dei pesi devono essere affrontati simultaneamente.

Metodologia: Il Framework ERFSL
Gli autori propongono ERFSL (Efficient Reward Function Searcher using LLMs), un framework che tratta gli LLM come cercatori white-box efficienti, scomponendo il processo di progettazione della ricompensa in fasi distinte. Il framework opera senza feedback umano diretto o esempi di ricompensa (apprendimento zero-shot) e consiste nei seguenti componenti fondamentali:

1. Decomposizione del Compito e Raffinamento della Descrizione:

   • I requisiti dell'utente vengono decomposti in obiettivi di prestazione numericamente espliciti (ad esempio, "zero collisioni", "overflow dei dati ridotto a 0").
   • Viene impiegato un meta-prompt per rivedere la descrizione del compito in linguaggio naturale, identificando ambiguità (ad esempio, obiettivi conflittuali) e suggerendo chiarimenti per garantire che l'LLM riceva un contesto chiaro.

2. Generazione e Critica del Codice di Ricompensa (Fase 1):

   • Invece di generare una funzione di ricompensa monolitica, l'LLM genera singoli componenti di ricompensa adattati a ciascun requisito specifico dell'utente.
   • Un modulo Reward Critic (Critico della Ricompensa) convalida questi componenti. Segue una guida passo-passo: elenca le potenziali cause di fallimento, esamina il codice dell'ambiente e i requisiti, ed emette codice corretto. Questo processo isola gli errori (ad esempio, logica errata o feedback denso mancante) e consente la correzione con un numero minimo di iterazioni (spesso una sola).

3. Ricerca dei Pesi della Ricompensa (Fase 2):

   • Inizializzazione dei Pesi: Un Reward Weight Initializer (Inizializzatore dei Pesi della Ricompensa) utilizza l'LLM per pre-calcolare valori approssimativi per i componenti di ricompensa, assicurandosi che siano sulla stessa scala. Ciò previene deviazioni significative dei gruppi di pesi iniziali dalle soluzioni ottimali e aiuta ad acquisire diverse soluzioni di Pareto senza ricerche estese.
   • Analisi dei Log: Per evitare di sovraccaricare l'LLM con log di training grezzi e lunghi, un Training Log Analyzer (Analizzatore dei Log di Training) produce un riassunto testuale conciso dei risultati del training (ad esempio, overflow medio dei dati, tendenze nel consumo energetico).
   • Strategie di Ricerca Direzionale: Il Reward Weight Searcher (Cercatore dei Pesi della Ricompensa) elabora $K=5$ gruppi di pesi in ingresso. Sulla base dei log riassunti, genera $K=5$ gruppi in uscita utilizzando strategie ispirate agli algoritmi genetici ma adattate per gli LLM:
     • Mutazione Direzionale: Il cercatore specifica punti di partenza per l'aggiustamento di pesi specifici (ad esempio, aumentare o diminuire una penalità) in base alla performance di specifici gruppi in ingresso.
     • Crossover: Gli aggiustamenti provenienti da diversi gruppi mutati vengono integrati per esplorare lo spazio di ricerca in modo efficiente.
   • Questa decomposizione separa la generazione di suggerimenti di aggiustamento dall'esecuzione degli aggiornamenti dei pesi, riducendo il carico sulle capacità numeriche e di comprensione del contesto lungo dell'LLM.

Risultati Chiave
Il framework è stato valutato su un compito personalizzato di raccolta dati che coinvolgeva molteplici agenti mobili autonomi (AMAs) con obiettivi di sicurezza, prestazione ed energia.

• Correzione del Codice: Il Reward Critic ha corretto con successo errori nel codice di ricompensa (come segni di penalità invertiti o feedback denso mancante) con un'unica iterazione di feedback per requisito. Al contrario, metodi di base come EUREKA-S non sono riusciti a identificare errori logici, modificando solo i pesi.
• Efficienza della Ricerca:
  • Il Reward Weight Initializer ha generato con successo soluzioni all'interno dell'insieme delle soluzioni di Pareto, eliminando spesso la necessità di ulteriori ricerche.
  • Anche quando inizializzato con pesi significativamente fuori target (ad esempio, 500 volte il valore ottimale), il sistema ha soddisfatto i requisiti dell'utente in una media di 5,2 iterazioni utilizzando GPT-4o.
  • La rimozione dell'Analizzatore dei Log di Training (TLA) o del processo di bilanciamento dei pesi ha portato a un numero maggiore di iterazioni e a una selezione meno flessibile della dimensione del passo.
• Prestazioni del Modello:
  • GPT-4o ha dimostrato una flessibilità superiore nella scelta delle dimensioni del passo di ricerca e nella gestione di contesti complessi.
  • GPT-4o mini, nonostante capacità di ragionamento numerico e di contesto lungo inferiori, ha performato adeguatamente. La scomposizione del processo di ricerca dei pesi ha permesso al modello più piccolo di avere successo, sebbene richiedesse leggermente più iterazioni a causa di aggiustamenti della dimensione del passo meno flessibili.

Significato e Affermazioni
Il paper afferma che ERFSL sfrutta efficacemente le capacità di comprensione semantica degli LLM per risolvere problemi di progettazione di ricompense multi-obiettivo senza richiedere esempi di ricompensa umani. Separando la progettazione dei componenti della ricompensa dalla ricerca dei pesi della ricompensa, e utilizzando un approccio white-box con loop di feedback chiari, il framework supera i limiti dell'ottimizzazione black-box.

Gli autori sottolineano che ERFSL abilita:

1. Adattabilità zero-shot: Progettazione di funzioni di ricompensa per ambienti personalizzati senza precedenti esempi di ricompensa.
2. Robustezza agli errori: La capacità di autocorreggere la logica del codice e prevenire errori irrimediabili attraverso il Reward Critic.
3. Esplorazione efficiente di Pareto: La capacità di generare funzioni di ricompensa diversificate ed equilibrate attraverso l'inizializzazione e strategie di ricerca dirette, riducendo il costo computazionale della sintonizzazione dei pesi.

Il lavoro suggerisce che, sebbene gli LLM possano faticare con l'ottimizzazione numerica pura black-box, eccellono quando forniti di contesti di compito chiari e quando i compiti complessi vengono scomposti in sottocompiti gestibili (generazione di codice, analisi dei log e aggiustamento dei pesi).