Resumo Técnico: CRAFT – Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

1. Formulação do Problema

O artigo aborda o desafio de aplicar o Aprendizado por Reforço Multiagente (MARL) a tarefas de coordenação multi-robótica no mundo real. Embora o MARL ofereça um framework para tomada de decisão descentralizada, sua aplicação na robótica é dificultada por:

• Espaços de ação conjunta contínuos e de alta dimensão.
• Recompensa esparsa e complexa: Definir recompensas que capturem tanto comportamentos individuais quanto a coordenação de equipe necessária é difícil.
• Não-estacionaridade: Agentes aprendendo concomitantemente criam um ambiente mutável uns para os outros.
• Tarefas de longo horizonte: Tarefas que exigem comportamentos ricos em contato ao longo de múltiplas etapas frequentemente falham porque pequenos erros nas interações iniciais impedem o sucesso posterior.

Os autores postulam que os humanos aprendem coordenação complexa através de "coaching" (treinamento/orientação) — um processo que envolve design de currículo (divisão de tarefas em subtarefas), fornecimento de sinais de aprendizado (recompensas) e avaliação de progresso. Eles argumentam que Modelos de Fundação (Modelos de Linguagem de Grande Escala - LLMs e Modelos de Linguagem-Visão - VLMs) podem automatizar esse papel de coaching, decompondo tarefas, gerando recompensas e refinando-as com base em feedback visual e quantitativo.

2. Metodologia: O Framework CRAFT

O CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) opera em um loop de coaching automatizado composto por quatro módulos principais:

2.1 Módulo de Geração de Currículo

Um Curriculum LLM decompõe uma tarefa alvo de longo horizonte ($M_{target}$) em uma sequência de $K$ subtarefas ($M_1, \dots, M_K$).

• Processo: O LLM recebe uma descrição em linguagem natural da tarefa e do ambiente. Para mitigar a estocasticidade das saídas do LLM, o sistema gera múltiplos currículos candidatos e solicita que o LLM os refine em um único currículo coerente.
• Fundamentação (Grounding): As subtarefas são descritas usando variáveis de estado específicas do ambiente (ex: "minimizar a distância euclidiana até o manuseio") em vez de linguagem natural vaga, para garantir um design de recompensa preciso.

2.2 Módulo de Geração de Função de Recompensa

Para cada subtarefa $M_k$, um Reward Generation LLM traduz a descrição em linguagem natural em uma função de recompensa em Python executável ($R_k$).

• Contexto: O LLM recebe descrições do ambiente, funções auxiliares (para processar estados de alta dimensão) e funções de recompensa de subtarefas anteriores para evitar o esquecimento catastrófico.
• Estrutura: A recompensa é decomposta em componentes interpretáveis (ex: lift_reward, balance_reward) para facilitar análises posteriores.
• Treinamento: Uma política descentralizada $\pi_k$ é treinada usando um algoritmo de Treinamento Centralizado e Execução Descentralizada (especificamente MAPPO).

2.3 Módulo de Avaliação de Política

Antes de avançar para a próxima subtarefa, um Evaluation VLM avalia a política treinada $\pi_k$.

• Entradas: O VLM analisa imagens de rollout (instantâneos visuais) e trajetórias de variáveis de estado.
• Decisão: Ele determina se a política completou a subtarefa com sucesso.
  • Sucesso: O currículo prossegue para $M_{k+1}$.
  • Falha: O VLM fornece um motivo para a falha, disparando o loop de refinamento.

2.4 Módulo de Refinamento de Recompensa

Se uma política falhar, o sistema entra em um loop de refinamento (até $J$ iterações, tipicamente $J=3$):

1. Geração de Conselho: Um Advice VLM analisa o motivo da falha, o código da recompensa atual e as curvas de aprendizado dos componentes de recompensa (gráficos que mostram como termos específicos de recompensa evoluíram durante o treinamento). Ele gera conselhos em formato livre sobre como modificar a recompensa (ex: "aumentar o peso do termo de levantamento", "remover o quadrado da elevação").
2. Refinamento de Recompensa: Um Refine LLM recebe o código da recompensa que falhou e o conselho do VLM para gerar uma nova função de recompensa refinada ($R^{j+1}_k$).
3. Retreinamento: A política é retreinada com a nova recompensa. Se todas as tentativas falharem, a melhor política das iterações é selecionada e o currículo avança para a próxima subtarefa.

Warm-Starting (Início Quente): Ao mudar para uma nova subtarefa, os pesos da política são inicializados a partir da política bem-sucedida da subtarefa anterior. Para evitar a "perda de plasticidade" (convergência para ótimos locais), o sistema reseta os parâmetros de exploração (desvio padrão da política) e os pesos da rede de valor, preservando os pesos do ator.

3. Principais Contribuições

1. Framework CRAFT: Um framework inovador que utiliza as capacidades de raciocínio de modelos de fundação para realizar o coaching autônomo de equipes multi-robóticas em tarefas de coordenação de longo horizonte.
2. Design Automatizado de Currículo e Recompensa: A integração de LLMs para decomposição de tarefas e geração de recompensas, combinada com VLMs para avaliação visual e refinamento de recompensa, reduzindo a necessidade de design humano de currículos e funções de recompensa.
3. Validação Empírica: Demonstração da eficácia do CRAFT em tarefas multi-robóticas complexas (navegação de quadrúpedes e manipulação bimanual) onde o MARL padrão e baselines de LLM falham.
4. Transferência para o Mundo Real: Transferência zero-shot bem-sucedida de políticas aprendidas da simulação para o hardware físico (quadrúpedes Unitree Go1 e Go2) sem ajuste fino (fine-tuning).

4. Resultados Experimentais

Os autores avaliaram o CRAFT em três ambientes: Quadruped Gate (passagem por portão estreito), Quadruped Seesaw (equilíbrio e escalada) e Two-Arm Lift (levantamento cooperativo de pote).

• Desempenho vs. Baselines:
  • O CRAFT alcançou as maiores taxas de sucesso em Seesaw (59,33%) e Lift (94,67%), e manteve-se competitivo em Gate (78,33%).
  • Baselines: "Env Reward" (recompensa humana) e "Example Reward" alcançaram taxas de sucesso próximas de zero ou muito baixas. "From Scratch" (recompensas do CRAFT sem currículo) teve desempenho significativamente inferior ao CRAFT, destacando a necessidade do currículo.
  • Baselines de LLM: Comparado ao Eureka (busca de recompensa por LLM sem currículo) e CurricuLLM (currículo por LLM sem refinamento por VLM), o CRAFT superou ambos. O Eureka frequentemente aprendeu políticas com configurações de juntas não naturais e fisicamente implausíveis, enquanto o CurricuLLM sofreu com menor confiabilidade devido à falta de refinamento de recompensa.
• Eficácia do Refinamento de Recompensa: O loop de refinamento guiado por VLM melhorou significativamente a "Taxa de Sucesso do Currículo" (a fração de tentativas resultando em uma política bem-sucedida) e a "Taxa de Sucesso Máxima" em comparação ao CurricuLLM.
• Confiabilidade do VLM: O módulo de avaliação de política do VLM alcançou 85,71% de precisão contra o ground truth, com erros sendo falsos negativos conservadores (rejeitando políticas bem-sucedidas), o que é tolerável, pois apenas dispara mais refinamento.
• Transferência para Hardware: Na tarefa Quadruped Gate, a política treinada na simulação alcançou uma taxa de sucesso de 65% em robôs reais ao longo de 20 execuções sem qualquer ajuste fino, demonstrando uma transferência sim-to-real robusta.

5. Significância e Alegações

O artigo afirma que o CRAFT demonstra a viabilidade de usar modelos de fundação como coaches autônomos para sistemas multi-robóticos. Sua significância reside em:

• Redução da Intervenção Humana: Automatizando o processo tedioso de projetar currículos e funções de recompensa para tarefas de coordenação complexas.
• Habilitação de Coordenação Complexa: Aprender com sucesso comportamentos difíceis de adquirir via treinamento direto ou design de recompensa estático, particularmente em cenários de longo horizonte e ricos em contato.
• Plausibilidade Física: A abordagem de currículo em estágios guia os agentes em direção a comportamentos fisicamente viáveis (ex: agarres estáveis antes do levantamento) em vez de otimizar apenas para o sucesso terminal, o que frequentemente leva a movimentos não naturais em métodos de otimização direta como o Eureka.

Limitações Reconhecidas:

• Estocasticidade: A dependência de modelos de fundação introduz variabilidade; algumas tentativas podem falhar devido a um currículo ou geração de recompensa ruins, embora isso seja gerenciável em simulação executando múltiplas tentativas.
• Dependência de VLM: O módulo de avaliação depende fortemente de trajetórias numéricas de estado em vez de apenas informações visuais, potencialmente limitando a detecção de falhas baseadas puramente em visão (ex: má coordenação espacial).
• Escalabilidade: A abordagem atual requer múltiplas consultas a LLM/VLM por subtarefa, o que pode ser computacionalmente caro, embora os autores notem que é suficiente para as tarefas testadas.

Os autores concluem que, embora os modelos de fundação introduzam estocasticidade, sua capacidade de decompor tarefas e refinar recompensas autonomamente oferece um caminho promissor para a coordenação multi-robótica escalável e confiável em ambientes do mundo real.