Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement

Resumo Técnico: ERFSL – Buscador Eficiente de Função de Recompensa para RL Multiobjetivo

Declaração do Problema
Projetar funções de recompensa eficazes para Aprendizado por Reforço (RL) em ambientes complexos e personalizados com múltiplos objetivos, frequentemente conflitantes, apresenta desafios significativos. À medida que os objetivos de otimização proliferam, o ajuste manual das estruturas e coeficientes da função de recompensa torna-se intensivo em mão de obra e propenso a ambiguidades. Além disso, as necessidades dos pesquisadores frequentemente flutuam, e os requisitos podem ser vagos. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado promessa na geração de código e em tarefas zero-shot, eles lutam com otimização de "caixa preta" e com o equilíbrio de pesos numéricos em cenários multiobjetivo. Abordagens existentes frequentemente dependem de exploração por tentativa e erro, o que é ineficiente ao lidar com funções de recompensa complexas onde a correção do código e o equilíbrio de pesos devem ser abordados simultaneamente.

Metodologia: O Framework ERFSL
Os autores propõem o ERFSL (Buscador Eficiente de Função de Recompensa usando LLMs), um framework que trata LLMs como buscadores de caixa branca eficientes, decompondo o processo de design de recompensa em etapas distintas. O framework opera sem feedback humano direto ou exemplos de recompensa (aprendizado zero-shot) e consiste nos seguintes componentes principais:

1. Decomposição de Tarefa e Refinamento de Descrição:

   • Requisitos do usuário são decompostos em objetivos de desempenho numericamente explícitos (por exemplo, "zero colisões", "transbordamento de dados reduzido a 0").
   • Um meta-prompt é empregado para revisar a descrição da tarefa em linguagem natural, identificando ambiguidades (por exemplo, objetivos conflitantes) e sugerindo esclarecimentos para garantir que o LLM receba um contexto claro.

2. Geração e Crítica de Código de Recompensa (Etapa 1):

   • Em vez de gerar uma função de recompensa monolítica, o LLM gera componentes de recompensa individuais adaptados a cada requisito específico do usuário.
   • Um módulo Crítico de Recompensa valida esses componentes. Ele segue um guia passo a passo: listando possíveis razões de falha, revisando o código do ambiente e os requisitos, e gerando código corrigido. Esse processo isola erros (por exemplo, lógica incorreta ou feedback denso ausente) e permite correção com iterações mínimas (frequentemente apenas uma).

3. Busca de Pesos de Recompensa (Etapa 2):

   • Inicialização de Pesos: Um Inicializador de Pesos de Recompensa usa o LLM para pré-calcular valores aproximados para os componentes de recompensa, garantindo que estejam na mesma escala. Isso evita que grupos de pesos iniciais se desviem significativamente de soluções ótimas e ajuda a adquirir soluções de Pareto diversas sem busca extensiva.
   • Análise de Logs: Para evitar sobrecarregar o LLM com logs de treinamento brutos e extensos, um Analisador de Logs de Treinamento produz um resumo textual conciso dos resultados do treinamento (por exemplo, transbordamento médio de dados, tendências de consumo de energia).
   • Estratégias de Busca Direcional: O Buscador de Pesos de Recompensa processa $K=5$ grupos de pesos de entrada. Com base nos logs resumidos, ele gera $K=5$ grupos de saída usando estratégias inspiradas em algoritmos genéticos, mas adaptadas para LLMs:
     • Mutação Direcional: O buscador especifica pontos de partida para ajustar pesos específicos (por exemplo, aumentar ou diminuir uma penalidade) com base no desempenho de grupos de entrada específicos.
     • Cruzamento: Ajustes de diferentes grupos mutados são integrados para explorar o espaço de busca de forma eficiente.
   • Essa decomposição separa a geração de sugestões de ajuste da execução de atualizações de pesos, reduzindo a carga sobre as capacidades de compreensão numérica e de contexto longo do LLM.

Resultados Chave
O framework foi avaliado em uma tarefa personalizada de coleta de dados envolvendo múltiplos agentes móveis autônomos (AMAs) com objetivos de segurança, desempenho e energia.

• Correção de Código: O Crítico de Recompensa corrigiu com sucesso erros no código de recompensa (como sinais de penalidade invertidos ou feedback denso ausente) com apenas uma iteração de feedback por requisito. Em contraste, métodos de base como o EUREKA-S falharam em identificar erros lógicos, modificando apenas pesos.
• Eficiência de Busca:
  • O Inicializador de Pesos de Recompensa gerou com sucesso soluções dentro do conjunto de soluções de Pareto, frequentemente eliminando a necessidade de busca adicional.
  • Mesmo quando inicializado com pesos significativamente fora do alvo (por exemplo, 500 vezes o valor ótimo), o sistema atendeu aos requisitos do usuário em uma média de 5,2 iterações usando GPT-4o.
  • Remover o Analisador de Logs de Treinamento (TLA) ou o processo de balanceamento de pesos resultou em contagens de iteração mais altas e seleção de tamanho de passo menos flexível.
• Desempenho do Modelo:
  • GPT-4o demonstrou flexibilidade superior na escolha de tamanhos de passo de busca e no manuseio de contextos complexos.
  • GPT-4o mini, apesar de possuir capacidades de raciocínio numérico e de contexto longo mais fracas, desempenhou adequadamente. A decomposição do processo de busca de pesos permitiu que o modelo menor tivesse sucesso, embora tenha exigido ligeiramente mais iterações devido a ajustes de tamanho de passo menos flexíveis.

Significado e Alegações
O artigo afirma que o ERFSL aproveita efetivamente as capacidades de compreensão semântica dos LLMs para resolver problemas de design de recompensa multiobjetivo sem exigir exemplos de recompensa humana. Ao separar o design de componentes de recompensa da busca por pesos de recompensa, e ao utilizar uma abordagem de caixa branca com loops de feedback claros, o framework supera as limitações da otimização de caixa preta.

Os autores enfatizam que o ERFSL permite:

1. Adaptabilidade zero-shot: Projetar funções de recompensa para ambientes personalizados sem exemplos de recompensa prévios.
2. Robustez a erros: A capacidade de autocorrigir a lógica do código e prevenir erros irrecuperáveis por meio do Crítico de Recompensa.
3. Exploração eficiente de Pareto: A capacidade de gerar funções de recompensa diversas e equilibradas por meio de inicialização e estratégias de busca direcionada, reduzindo o custo computacional do ajuste de pesos.

O trabalho sugere que, embora os LLMs possam lutar com otimização numérica pura de caixa preta, eles se destacam quando fornecidos com contextos de tarefa claros e quando tarefas complexas são decompostas em subtarefas gerenciáveis (geração de código, análise de logs e ajuste de pesos).