Resumo Técnico: Descobrindo Interfaces de Aprendizado por Reforço com Modelos de Linguagem de Grande Escala

Formulação do Problema

Sistemas de Aprendizado por Reforço (RL) dependem de interfaces de ambiente — especificamente mapeamentos de observação ($\phi$) e funções de recompensa ($R$) — para definir o Processo de Decisão de Markov (MDP) que um agente experimenta. Embora avanços recentes tenham utilizado Modelos de Linguagem de Grande Escala (LLMs) para automatizar o projeto de recompensas, essas abordagens tipicamente assumem um espaço de observação fixo e pré-ajustado. Em muitos cenários, estados brutos de simuladores contêm informações mal estruturadas que dificultam o aprendizado, e a engenharia manual de observações e recompensas permanece um gargalo significativo.

Este artigo aborda o problema da descoberta de interfaces de RL a partir do estado bruto do simulador. O objetivo é sintetizar conjuntamente um mapeamento de observação $\phi: S \to O$ e uma função de recompensa $R: S \times A \times S \to \mathbb{R}$ para maximizar uma métrica de sucesso em nível de trajetória $F$. Os autores formalizam isso como um problema de otimização em dois níveis, onde o loop externo busca a interface ótima $(\phi, R)$, e o loop interno treina um agente de RL $\pi$ no MDP induzido $M_I = (O, A, T_\phi, R)$ para avaliar o desempenho. O espaço de busca consiste em programas executáveis operando diretamente sobre variáveis de estado do simulador.

Metodologia: LIMEN

Os autores propõem o LIMEN (Learning Interfaces via MDP-guided EvolutioN), um framework evolutivo guiado por LLM projetado para descobrir interfaces eficazes.

Componentes Principais

1. Representação de Programa Executável: Tanto o mapeamento de observação quanto a função de recompensa são representados como programas Python usando operações numéricas compatíveis com JAX. Isso permite que a busca altere a dimensionalidade, estrutura e semântica do espaço de entrada do agente e do sinal de recompensa, em vez de apenas aprender embeddings dentro de um espaço fixo.
2. Evolução Guiada por LLM: O framework trata o LLM como um operador de mutação estruturado. Começando com uma descrição da tarefa, o sistema gera interfaces candidatas. Em iterações subsequentes, o LLM recebe um prompt contendo a descrição da tarefa, uma interface pai selecionada de um arquivo e feedback dos candidatos de melhor desempenho e dos falhos (incluindo rastros de erro). Esse ciclo de feedback orienta o LLM a evitar padrões de código negativos.
3. Busca de Qualidade-Diversidade (MAP-Elites): Para evitar que a busca colapse em uma única estratégia, o LIMEN emprega um arquivo MAP-Elites. O arquivo é estruturado por dois descritores comportamentais:
   • Dimensionalidade da Observação: Agrupada em intervalos uniformes (ex: 1–50, 51–100 características).
   • Complexidade Estrutural da Recompensa: Medida pela contagem de nós da Árvore de Sintaxe Abstrata (AST).
     Isso garante a manutenção de soluções estruturalmente diversas (ex: observações compactas com recompensas simples versus observações complexas com moldagem intrincada).
4. Cascata de Avaliação: Para gerenciar custos computacionais, os candidatos passam por um filtro de cascata com "orçamento curto". As interfaces devem exceder um limiar mínimo de sucesso em uma execução de treinamento truncada antes de prosseguir para a avaliação completa com múltiplas sementes. A aptidão é definida como a taxa média de sucesso entre as sementes de avaliação.

Configuração Experimental

Os autores avaliaram o LIMEN em cinco tarefas novas que abrangem raciocínio discreto e controle contínuo:

• XLand-MiniGrid (Discreto): Três tarefas de complexidade composicional crescente (Fácil: coleta de objetos; Médio: posicionamento relacional; Difícil: cadeias de regras multi-etapa). Observações padrão são grades egocêntricas achatadas.
• MuJoCo Robotics (Contínuo): Duas tarefas (Go1 Push Recovery: equilíbrio de quadrúpede sob força; Panda Tracking: seguimento de trajetória de manipulador). Essas tarefas apresentam recompensas esparsas e controle de alta dimensionalidade.

Os experimentos compararam a Descoberta Conjunta (LIMEN) contra três baselines:

• Esparsa: Observações brutas com recompensas binárias de sucesso.
• Apenas-Obs: Evolução de observações com recompensa fixa.
• Apenas-Recompensa: Evolução de recompensas com observações brutas fixas (instanciando métodos como Eureka).

Resultados Principais

1. Superioridade da Otimização Conjunta: O LIMEN superou consistentemente todas as baselines. Alcançou altas taxas de sucesso em todas as tarefas (99% em Fácil/Médio, 85% em Difícil, 45% em Panda, 48% em Go1).
2. Falha Catastrófica da Otimização de Componente Único:
   • Apenas-Recompensa falhou em tarefas de gridworld composicionais (19% em Médio, 1% em Difícil), indicando que mesmo recompensas bem estruturadas não podem compensar observações não estruturadas nesses domínios.
   • Apenas-Obs falhou completamente na tarefa de rastreamento do Panda (0% de sucesso), demonstrando que observações brutas são insuficientes quando o sinal de recompensa é muito esparsa para guiar o aprendizado.
   • Isso confirma que diferentes domínios falham por razões fundamentalmente distintas, necessitando de co-projeto.
3. Necessidade de Feedback Evolutivo: Uma baseline de amostragem independente de LLM (30 amostras aleatórias sem seleção evolutiva) performou significativamente pior que o LIMEN (ex: 2,1% vs. 97% em Médio). Isso indica que o prior do LLM sobre designs de interface é insuficiente por si só; o ciclo iterativo de avaliar e refinar é essencial para navegar no espaço combinatório.
4. Robustez: Interfaces evoluídas mantiveram estrutura relevante para a tarefa sob deslocamentos de distribuição (ex: forças de empurrão aumentadas ou velocidades de rastreamento), degradando-se graciosamente em vez de colapsar, sugerindo a descoberta de padrões estruturais generalizáveis.

Análise das Interfaces Descobertas

A análise dos programas evoluídos revelou padrões consistentes e interpretáveis que se assemelham a estratégias manuais de engenharia de RL:

• Observações: Construção frequente de características geométricas relativas (distâncias normalizadas, indicadores direcionais), codificações multi-escala e indicadores explícitos de fase da tarefa.
• Recompensas: Incorporação de moldagem baseada em potencial, bônus de marco para transições de fase e penalidades de suavidade.
• Descoberta Estrutural: Na tarefa Go1, a evolução descobriu uma mudança estrutural na função de recompensa (removendo um "portão de verticalidade" nas recompensas de posição) que melhorou significativamente a dinâmica de aprendizado, demonstrando a capacidade do sistema de modificar a estrutura da recompensa, não apenas seus parâmetros.

Significado e Afirmações

O artigo afirma que a construção automática de interfaces de RL a partir do estado bruto pode reduzir substancialmente o esforço de engenharia manual. A contribuição principal é a demonstração de que componentes de observação e recompensa frequentemente se beneficiam do co-projeto, pois otimizá-los isoladamente leva a falhas catastróficas em pelo menos um domínio dentro da suíte de avaliação.

Os autores posicionam o LIMEN como um passo em direção à automação do "viés indutivo" de problemas de RL. Ao buscar sobre programas executáveis que definem o próprio MDP induzido, o método produz artefatos de código interpretáveis e transferíveis em vez de embeddings neurais aprendidos. O trabalho destaca que, enquanto os métodos atuais focam no projeto de recompensas, a interface de observação é igualmente crítica e frequentemente o fator limitante em tarefas complexas e composicionais.

Limitações: Os autores reconhecem que a abordagem depende do acesso a variáveis de estado estruturadas do simulador (informação privilegiada) e de uma métrica confiável de sucesso em nível de trajetória. Além disso, o custo computacional permanece um gargalo, escalando com os requisitos de treinamento de RL, embora o paralelismo baseado em JAX mitigue isso para os experimentos atuais. Trabalhos futuros são sugeridos para ambientes de maior escala e observações baseadas em visão.