ERFSL: An Efficient Reward Function Searcher via Language Models for Custom-Environment Multi-Objective Optimization (Student Abstract)

Resumo Técnico do ERFSL: Um Buscador Eficiente de Funções de Recompensa via Modelos de Linguagem

Declaração do Problema
Os métodos baseados em aprendizado (LB) são eficazes para tarefas multiobjetivo, mas o projeto de funções de recompensa complexas permanece um gargalo significativo devido a requisitos de usuário ambíguos e variados. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado promessa no auxílio ao projeto de recompensas para cenários de controle personalizado e jogos virtuais, eles frequentemente lutam com tarefas intrincadas, produzindo código incorreto ou gerando funções de recompensa com pesos desequilibrados. Abordagens existentes que decompõem tarefas em sub-habilidades fornecem feedback, mas podem não aproveitar plenamente a compreensão semântica dos LLMs para otimização de recompensa de ponta a ponta em ambientes personalizados.

Metodologia: ERFSL
Os autores propõem o ERFSL (Buscador Eficiente de Funções de Recompensa via Modelos de Linguagem), um framework que decompõe a geração de recompensas auxiliada por LLMs em duas fases distintas: projeto de componentes de recompensa e atribuição de pesos de recompensa. O sistema opera sob um contexto textual de requisitos explícitos do usuário e loops de feedback claros.

1. Descrição do Ambiente & Meta-Prompting: O sistema aceita descrições em linguagem natural, códigos/APIs do ambiente e requisitos do usuário. Um meta-prompt é empregado para aprimorar a qualidade da descrição, decompondo requisitos do usuário em objetivos numéricos específicos (por exemplo, zero violações de restrição) para reduzir ambiguidade e facilitar a modificação humana.
2. Geração de Código de Recompensa (Fase 1):
   • Projeto de Componentes: O LLM gera um componente de código de recompensa específico para cada requisito do usuário.
   • Crítico de Recompensa: Para abordar erros potenciais decorrentes da falta de conhecimento prévio do ambiente, cada componente é testado separadamente. Um "crítico de recompensa" analisa a saída e fornece feedback explícito para corrigir erros de código. Este processo tipicamente requer apenas uma iteração de feedback por requisito.
   • Tratamento de Incompletude: O LLM pode fabricar variáveis necessárias e solicitar aos usuários que as completem, gerenciando efetivamente descrições de ambiente incompletas.
3. Busca de Pesos de Recompensa (Fase 2):
   • Inicializador de Pesos (RWI): Para garantir que os componentes de recompensa estejam em uma escala comparável, o sistema pré-calcula valores de componentes e designa $K=5$ grupos de pesos iniciais.
   • Otimização Iterativa: Um analisador de logs de treinamento resume os resultados do treinamento. Com base neste contexto, o LLM sugere $K=5$ ajustes de pesos.
   • Estratégia de Busca: Inspirada em algoritmos genéticos, a busca especifica um ponto de partida e uma direção de ajuste (aumentar/diminuir/ajustar finamente) para mutar pesos. Para múltiplos ajustes, o sistema realiza cruzamentos entre grupos de entrada mutados.
   • Engenharia de Prompt: O processo separa a geração de sugestões de ajuste da saída de grupos de pesos para encurtar prompts e garantir execução precisa.

Principais Contribuições

• Estratégia de Decomposição: O artigo introduz uma abordagem de busca de caixa branca que separa a geração de componentes de recompensa da atribuição de pesos, aproveitando a compreensão semântica dos LLMs sob feedback explícito.
• Mecanismo de Correção Eficiente: A integração de um "crítico de recompensa" permite a correção de erros de código com iterações mínimas (frequentemente apenas uma por componente), abordando um modo de falha comum em métodos de base.
• Busca de Pesos Robusta: O framework emprega uma estratégia flexível de tamanho de passo e mecanismos de cruzamento para navegar no conjunto de Pareto de funções de recompensa, capaz de recuperar mesmo quando os pesos iniciais estão significativamente fora (por exemplo, por um fator de 500).
• Agnosticismo de Modelo: A abordagem demonstrou funcionar adequadamente com modelos menores e economicamente viáveis, como o GPT-4o mini, desde que o processo de busca seja decomposto para reduzir o comprimento do contexto.

Resultados Experimentais
Os autores avaliaram o ERFSL em uma tarefa de benchmark baseada em simulação envolvendo unidades móveis (AUVs) para transferência de dados, comparando-o com uma linha de base denominada EUREKA-M (uma adaptação do framework Eureka).

• Correção de Código: O crítico de recompensa corrigiu com sucesso erros de código com uma única iteração de feedback por componente, enquanto linhas de base como o EUREKA-M lutaram com erros difíceis de corrigir devido à falta de feedback explícito e dividido por tarefa.
• Eficiência na Busca de Pesos:
  • Com uma configuração padrão, o Inicializador de Pesos de Recompensa (RWI) gerou soluções diversas dentro do conjunto de Pareto.
  • Mesmo quando o peso de energia foi inicializado com uma desvio de 500x, o ERFSL exigiu uma média de apenas 5,2 iterações para atender aos requisitos do usuário.
  • A remoção do Analisador de Logs de Treinamento (TLA) aumentou a contagem de iterações, destacando a importância da análise de contexto.
  • A linha de base EUREKA-M, que usava pequenos tamanhos de passo aleatórios, exigiu substancialmente mais iterações para convergir.
• Desempenho com Modelos Menores: Ao usar o GPT-4o mini, o desempenho na geração de código de recompensa e na busca de pesos permaneceu adequado, superando o EUREKA-M, embora a seleção de tamanho de passo fosse menos flexível do que com o modelo GPT-4o maior.

Significado e Alegações
O artigo alega que o ERFSL oferece uma solução prática e eficiente para o projeto de funções de recompensa em ambientes personalizados e multiobjetivo. Ao decompor a tarefa e utilizar loops de feedback explícitos, o método mitiga os riscos de fabricação de código e desequilíbrio de pesos frequentemente vistos no projeto auxiliado por LLMs. Os autores enfatizam que o sistema não requer capacidades de raciocínio avançadas do LLM, tornando-o acessível mesmo com modelos menores como o GPT-4o mini. O trabalho visa demonstrar que os LLMs podem servir como "buscadores" eficazes para funções de recompensa quando guiados por prompts estruturados e feedback iterativo, em vez de depender exclusivamente de suas capacidades generativas.