ERFSL: An Efficient Reward Function Searcher via Language Models for Custom-Environment Multi-Objective Optimization (Student Abstract)

Riepilogo Tecnico di ERFSL: Un Cercatore Efficiente di Funzioni di Ricompensa tramite Modelli Linguistici

Enunciato del Problema
I metodi basati sull'apprendimento (LB) sono efficaci per compiti multi-obiettivo, tuttavia la progettazione di funzioni di ricompensa complesse rimane un collo di bottiglia significativo a causa di requisiti utente ambigui e variabili. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse nell'aiutare la progettazione di ricompense per scenari di controllo personalizzati e giochi virtuali, spesso faticano con compiti intricati, producendo codice errato o generando funzioni di ricompensa con pesi sbilanciati. Gli approcci esistenti che decompongono i compiti in sotto-abilità forniscono feedback ma potrebbero non sfruttare appieno la comprensione semantica degli LLM per l'ottimizzazione end-to-end delle ricompense in ambienti personalizzati.

Metodologia: ERFSL
Gli autori propongono ERFSL (Efficient Reward Function Searcher via Language Models), un framework che decompone la generazione di ricompense assistita da LLM in due fasi distinte: progettazione dei componenti di ricompensa e assegnazione dei pesi della ricompensa. Il sistema opera in un contesto testuale di requisiti utente espliciti e loop di feedback chiari.

1. Descrizione dell'Ambiente e Meta-Prompting: Il sistema accetta descrizioni in linguaggio naturale, codice/API dell'ambiente e requisiti utente. Viene impiegato un meta-prompt per migliorare la qualità della descrizione, decomponendo i requisiti utente in obiettivi numerici specifici (ad esempio, zero violazioni dei vincoli) per ridurre l'ambiguità e facilitare la modifica umana.
2. Generazione del Codice di Ricompensa (Fase 1):
   • Progettazione dei Componenti: L'LLM genera un componente specifico del codice di ricompensa per ogni requisito utente.
   • Critic della Ricompensa: Per affrontare potenziali errori derivanti dalla mancanza di conoscenze pregresse sull'ambiente, ogni componente viene testato separatamente. Un "critic della ricompensa" analizza l'output e fornisce feedback esplicito per correggere gli errori di codice. Questo processo richiede tipicamente solo un'iterazione di feedback per requisito.
   • Gestione dell'Incompletezza: L'LLM può fabbricare le variabili necessarie e sollecitare gli utenti a completarle, gestendo efficacemente le descrizioni dell'ambiente incomplete.
3. Ricerca dei Pesi della Ricompensa (Fase 2):
   • Inizializzatore dei Pesi (RWI): Per garantire che i componenti della ricompensa siano su una scala comparabile, il sistema pre-calcola i valori dei componenti e designa $K=5$ gruppi di pesi iniziali.
   • Ottimizzazione Iterativa: Un analizzatore del registro di allenamento riassume i risultati dell'addestramento. Basandosi su questo contesto, l'LLM suggerisce $K=5$ aggiustamenti dei pesi.
   • Strategia di Ricerca: Ispirata agli algoritmi genetici, la ricerca specifica un punto di partenza e una direzione di aggiustamento (aumento/diminuzione/affinamento) per mutare i pesi. Per più aggiustamenti, il sistema esegue incroci tra gruppi di input mutati.
   • Ingegneria dei Prompt: Il processo separa la generazione di suggerimenti di aggiustamento dall'output dei gruppi di pesi per accorciare i prompt e garantire un'esecuzione precisa.

Contributi Chiave

• Strategia di Decomposizione: Il documento introduce un approccio di ricerca white-box che separa la generazione dei componenti di ricompensa dall'assegnazione dei pesi, sfruttando la comprensione semantica degli LLM sotto feedback esplicito.
• Meccanismo di Correzione Efficiente: L'integrazione di un "critic della ricompensa" permette la correzione degli errori di codice con un numero minimo di iterazioni (spesso solo una per componente), affrontando un comune modo di fallimento nei metodi di base.
• Ricerca Robusta dei Pesi: Il framework impiega una strategia flessibile di dimensione del passo e meccanismi di incrocio per navigare l'insieme di Pareto delle funzioni di ricompensa, capace di recuperare anche quando i pesi iniziali sono significativamente errati (ad esempio, per un fattore di 500).
• Indipendenza dal Modello: L'approccio è dimostrato funzionare adeguatamente con modelli più piccoli ed economicamente vantaggiosi come GPT-4o mini, a condizione che il processo di ricerca sia decomposto per ridurre la lunghezza del contesto.

Risultati Sperimentali
Gli autori hanno valutato ERFSL su un compito di benchmark basato sulla simulazione che coinvolge unità mobili (AUV) per il trasferimento di dati, confrontandolo con una linea di base denominata EUREKA-M (un adattamento del framework Eureka).

• Correzione del Codice: Il critic della ricompensa ha corretto con successo gli errori di codice con una singola iterazione di feedback per componente, mentre le linee di base come EUREKA-M hanno faticato con errori difficili da correggere a causa della mancanza di feedback esplicito e diviso per compito.
• Efficienza della Ricerca dei Pesi:
  • Con una configurazione standard, l'Inizializzatore dei Pesi della Ricompensa (RWI) ha generato soluzioni diversificate all'interno dell'insieme di Pareto.
  • Anche quando il peso dell'energia è stato inizializzato con una deviazione di 500x, ERFSL ha richiesto una media di sole 5,2 iterazioni per soddisfare i requisiti utente.
  • La rimozione dell'Analizzatore del Registro di Addestramento (TLA) ha aumentato il numero di iterazioni, evidenziando l'importanza dell'analisi del contesto.
  • La linea di base EUREKA-M, che utilizzava piccoli passi casuali, ha richiesto un numero sostanzialmente maggiore di iterazioni per convergere.
• Prestazioni con Modelli Più Piccoli: Utilizzando GPT-4o mini, le prestazioni nella generazione del codice di ricompensa e nella ricerca dei pesi sono rimaste adeguate, superando EUREKA-M, sebbene la selezione della dimensione del passo fosse meno flessibile rispetto al modello GPT-4o più grande.

Significato e Affermazioni
Il documento afferma che ERFSL offre una soluzione pratica ed efficiente per la progettazione di funzioni di ricompensa in ambienti personalizzati e multi-obiettivo. Decomponendo il compito e utilizzando loop di feedback espliciti, il metodo mitiga i rischi di fabbricazione del codice e di squilibrio dei pesi spesso osservati nella progettazione assistita da LLM. Gli autori sottolineano che il sistema non richiede capacità di ragionamento avanzate dall'LLM, rendendolo accessibile anche con modelli più piccoli come GPT-4o mini. Il lavoro mira a dimostrare che gli LLM possono fungere da efficaci "cercatori" di funzioni di ricompensa quando guidati da prompt strutturati e feedback iterativi, piuttosto che affidarsi esclusivamente alle loro capacità generative.