=== RESUMO ===

Resumo Técnico: De Especificações Geradas por LLM para Locomoção Quadrúpede Aprendida

Declaração do Problema

O aprendizado por reforço profundo (RL) permitiu que robôs quadrúpedes aprendessem locomoção ágil, mas o desempenho permanece fortemente dependente da engenharia manual de funções de recompensa. Projetar essas recompensas exige substancial especialização no domínio e frequentemente depende de ajustes empíricos em vez de primeiros princípios para equilibrar termos locais (rastreamento, postura, energia). Além disso, recompensas numéricas locais falham em descrever explicitamente o comportamento temporal global desejado, o que é particularmente crítico para a locomoção multi-gait (múltiplas marchas), onde caminhada, trote e salto diferem em tempos de contato e padrões de suporte. Embora especificações formais como a Lógica Temporal de Sinal (STL) ofereçam interpretabilidade e robustez quantitativa, escrevê-las manualmente ainda exige perícia significativa. Por outro lado, abordagens recentes de Grandes Modelos de Linguagem (LLM) que geram código de recompensa diretamente a partir de linguagem natural frequentemente carecem do rigor estrutural necessário para restrições temporais complexas. Este artigo aborda a lacuna de gerar especificações de recompensa estruturadas temporalmente e interpretáveis usando LLMs, enquanto fundamenta seus parâmetros numéricos em dados de especialistas.

Metodologia

Os autores propõem um pipeline que aproveita LLMs para gerar a estrutura de especificações de Lógica Temporal de Sinal Paramétrica (PSTL), enquanto utiliza trajetórias de especialistas para instanciar os parâmetros e filtrar a saída.

1. Geração de Especificação por LLM:

   • Modelos (GPT-5.5 e Qwen 3.6) são instruídos com objetivos de locomoção em linguagem natural e uma gramática STL restrita.
   • Crucialmente, os LLMs são solicitados a propor apenas a estrutura simbólica (templates) para rastreamento de comando, segurança e estrutura de marcha. Os limiares numéricos e constantes temporais são deixados como parâmetros simbólicos para serem estimados posteriormente, evitando que o LLM invente valores arbitrários.
   • Duas configurações são exploradas:
     • Consciente de Marcha (Multi-Gait): O prompt define três regimes de velocidade (caminhada-trote, trote, salto) baseados em transições de número de Froude. O LLM gera especificações distintas para cada regime.
     • Agnóstico de Marcha: O prompt não prescreve marchas específicas, permitindo que o robô descubra padrões de contato.

2. Fundamentação de Dados e Filtragem de Consistência com Especialista:

   • Os parâmetros numéricos para os templates de PSTL gerados são estimados a partir de um conjunto de dados de 50 trajetórias de especialistas por regime.
   • Um mecanismo de filtragem é aplicado: uma especificação gerada é retida apenas se sua robustez mediana sobre as trajetórias dos especialistas for não negativa ($Q_{0.50}(R_\phi) \ge 0$). Isso descarta especificações que são sistematicamente violadas pelo comportamento do especialista, garantindo que o sinal de recompensa se alinhe com a competência demonstrada.

3. Construção de Recompensa e Treinamento:

   • As especificações retidas são convertidas em funções de recompensa suaves de histórico finito usando semânticas de robustez STL.
   • Os valores de robustez para especificações ativas são agregados usando uma função soft-min e normalizados via $\tanh$ para evitar o domínio de grandes magnitudes.
   • A recompensa escalar final é uma soma ponderada de termos de segurança, rastreamento e padrão.
   • As políticas são treinadas usando Otimização de Política Próxima (PPO) no ambiente de simulação MuJoCo XLA (MJX) com o robô quadrúpede Barkour.

Principais Contribuições

1. Pipeline Híbrido LLM-Especialista: Um novo framework onde LLMs geram a estrutura simbólica de especificações de locomoção interpretáveis, enquanto dados de especialistas fundamentam os parâmetros numéricos.
2. Filtro de Consistência com Especialista: Um mecanismo para descartar especificações geradas por LLM que contradizem o comportamento demonstrado pelo especialista (robustez mediana < 0), evitando a introdução de restrições sistematicamente violadas no sistema de recompensa.
3. Avaliação Comparativa de Formulações: Uma investigação sobre como prescrever explicitamente a estrutura de marcha (consciente de marcha) versus permitir o comportamento emergente (agnóstico de marcha) afeta a locomoção aprendida.
4. Benchmarking: Uma comparação abrangente contra heurísticas projetadas à mão, geração direta de código de recompensa por LLM (Text2Reward) e um oráculo de troca de especialista.

Resultados

O estudo avalia o desempenho em velocidades de avanço de 0,3 m/s a 2,1 m/s usando métricas incluindo Custo de Transporte (CoT), taxa de sobrevivência, sucesso de comando e correspondência de marcha.

• Desempenho Agnóstico de Marcha:

  • GPT-5.5 e Text2Reward (Agnóstico de Marcha) alcançaram o desempenho quantitativo mais forte, mantendo 100% de sobrevivência e sucesso de comando em todas as velocidades com baixo CoT.
  • No entanto, a inspeção visual revelou uma falha crítica: essas políticas aprenderam um padrão de contato do tipo "salto" (bound-like) em todo o intervalo de velocidade, incluindo baixas velocidades (0,3 m/s). Isso resultou em movimentos de pernas não naturais e de alta cadência e oscilações verticais, indicando que altos índices de sucesso quantitativo não garantem controle dinamicamente apropriado.
  • Qwen 3.6 (Agnóstico de Marcha) falhou em sobreviver em velocidades $\ge 1,6$ m/s.

• Desempenho Consciente de Marcha (Multi-Gait):

  • Qwen 3.6 (Multi-Gait): Alcançou 100% de sobrevivência e sucesso de comando em toda a faixa de velocidade (0,3–2,1 m/s) e conseguiu corresponder com sucesso à marcha alvo "salto" em altas velocidades.
  • GPT-5.5 (Multi-Gait): Capturou bem as marchas de baixa/média velocidade, mas falhou no rastreamento de comando em velocidades $\ge 1,9$ m/s.
  • Text2Reward (Multi-Gait): Falhou completamente em altas velocidades (1,9–2,1 m/s), terminando em todas as execuções (rollouts).
  • Engenharia Manual (Heurística): Perdeu precisão de rastreamento nas velocidades mais altas (2,0–2,1 m/s).

• Ablação sobre o Horizonte de Robustez ($H$):

  • Horizontes temporais mais curtos ($H \in \{1, 5\}$) geralmente produziram políticas mais estáveis e bem-sucedidas.
  • Horizontes mais longos ($H=20, 30$) frequentemente degradaram o desempenho, pois o operador "sempre" ($G$) em STL depende do pior valor na janela, mantendo as violações passadas no sinal de recompensa por mais tempo e complicando a atribuição de crédito.

• Comparação de Modelos:

  • O desempenho relativo de GPT-5.5 e Qwen 3.6 foi altamente dependente da configuração de controle. O GPT-5.5 destacou-se no cenário agnóstico de marcha, enquanto o Qwen 3.6 superou-o no cenário multi-marcha, particularmente em altas velocidades.

Significância e Alegações

O artigo afirma que inserir lógica temporal como uma representação intermediária entre a geração por LLM e o aprendizado de política oferece vantagens distintas sobre a geração direta de código de recompensa, particularmente para locomoção de alta velocidade. A abordagem baseada em STL (especificamente o Qwen 3.6 no cenário multi-marcha) aprendeu com sucesso a marcha de "salto" desejada em alta velocidade, onde a geração direta de código (Text2Reward) falhou.

No entanto, os autores mantêm uma postura modesta em relação às descobertas:

• Não há Dominância Universal: Nenhuma formulação de recompensa domina universalmente em ambos os cenários de tarefa (consciente de marcha vs. agnóstico) e em todos os critérios de avaliação.
• Limitações de Métricas Quantitativas: Os resultados destacam que um alto sucesso de rastreamento de comando não garante a recuperação das estruturas de marcha pretendidas ou do movimento natural, como visto nas políticas agnósticas de marcha que adotaram uma marcha de salto em baixas velocidades.
• Restrição de Simulação: Os autores observam explicitamente que as avaliações estão confinadas à simulação (MJX). Embora a randomização de domínio tenha sido usada, a transferibilidade da simulação para a realidade (sim-to-real) desses comportamentos de marcha aprendidos ainda não foi estabelecida em hardware físico.

O trabalho demonstra que os LLMs podem efetivamente propor a estrutura de especificações formais, mas os parâmetros e a validade dessas especificações devem ser rigorosamente fundamentados em dados de especialistas para produzir políticas de locomoção robustas, interpretáveis e eficazes.