Adapting Generalist Robot Policies with Semantic Reinforcement Learning

Resumo Técnico: Adaptando Políticas de Robôs Generalistas com Aprendizado por Reforço Semântico

Declaração do Problema
Modelos de visão-linguagem-ação (VLA) demonstraram a capacidade de aprender repertórios de habilidades diversas através de pré-treinamento em larga escala, servindo como poderosos priors para o comportamento robótico. No entanto, alavancar essas políticas generalistas para resolver tarefas novas, complexas ou de longo horizonte permanece um desafio significativo. Estratégias de implantação padrão, como o zero-shot prompting, frequentemente falham porque o VLA não consegue decompor corretamente a semântica de tarefas complexas em comportamentos atômicos executáveis ou fundamentar esses comportamentos no contexto físico específico do robô.

Abordagens existentes para melhorar VLAs via Aprendizado por Reforço (RL) operam tipicamente diretamente sobre o espaço de ação de baixo nível do robô (ex: posições de juntas ou deltas do efetuador final). Esses métodos frequentemente assumem que a distribuição de ação da política base já está próxima de uma política performante. Essa suposição falha para tarefas fora da distribuição (OOD), onde o comportamento inicial da política base é incorreto ou colapsa em modos de falha. Consequentemente, métodos de RL no espaço de ação têm dificuldade em explorar efetivamente ou recuperar-se de erros significativos, limitando sua capacidade de adaptar VLAs para novos e complexos cenários.

Metodologia: Aprendizado por Reforço de Ação Semântica (SARL)
Os autores propõem o Aprendizado por Reforço de Ação Semântica (SARL), um framework que desloca o espaço de otimização do RL do espaço de ação de baixo nível do robô para o espaço semântico de comandos de linguagem. O insight central é que, para políticas generalistas suficientemente expressivas, os comandos de linguagem atuam como um espaço de ação eficaz. Modular esses comandos elicita habilidades já presentes no repertório de pré-treinamento da política, permitindo a composição de habilidades existentes para resolver tarefas que vão além das capacidades de zero-shot.

A metodologia envolve os seguintes componentes principais:

1. Formulação de MDP Semântico: O SARL trata o comando de linguagem de um VLA como uma "ação semântica" ($\ell \in A_{sem}$). Em vez de aprender uma política $\pi: S \to A_{robot}$, o sistema aprende uma política $\pi_{sem}: S \to A_{sem}$ que seleciona comandos de linguagem. O VLA atua como uma função de transformação, convertendo a ação semântica selecionada $\ell$ em uma ação robótica $a \sim \pi_{vla}(\cdot | s, \ell)$.
2. Loop de RL Online: O SARL emprega um loop de RL online para aprender uma função Q semântica ($Q_{sem}$). Esta função estima a eficácia de comandos de linguagem específicos em progredir em direção a uma recompensa de tarefa. A política seleciona comandos baseando-se na distribuição softmax desses valores Q, permitindo que o sistema controle adaptativamente o VLA para direcioná-lo ao sucesso da tarefa.
3. Geração de Candidatos e Cache: Para tornar a busca sobre o espaço infinito de possíveis comandos de linguagem tratável, o SARL utiliza um Modelo de Visão-Linguagem (VLM) para gerar um conjunto de ações semânticas candidatas ($A_{sem}^t$) em cada etapa, com base na observação atual e na tarefa. Para restringir ainda mais o espaço de busca e permitir um aprendizado eficiente, o sistema armazena em cache um conjunto finito de comandos. O VLM é então restrito a selecionar candidatos deste cache, permitindo a codificação one-hot do espaço de ação e um aprendizado de Q eficiente.
4. Fundamentação (Grounding): Crucialmente, o SARL aprende a fundamentar essas ações semânticas na experiência do mundo real. Ao interagir com o ambiente, o sistema aprende quais comandos de linguagem específicos induzem comportamentos físicos bem-sucedidos, distinguindo entre instruções semanticamente plausíveis, mas fisicamente ineficazes, e aquelas que levam ao sucesso.

Principais Contribuições

• Espaço de Ação Semântico: O artigo introduz o conceito de tratar comandos de linguagem como o principal espaço de ação para RL, elevando o problema de aprendizado do controle de baixo nível para o direcionamento semântico. Isso permite uma exploração estruturada e semanticamente significativa que aproveita os priors comportamentais codificados nos VLAs.
• Algoritmo SARL: Os autores apresentam o SARL, um algoritmo que aprende a otimizar os prompts de VLA através de interação online. Ele combina os priors semânticos de VLMs para geração de candidatos com as capacidades de fundamentação do RL para refinar a seleção de prompts com base em resultados físicos.
• Decomposição e Fundamentação: O trabalho demonstra que a adaptação bem-sucedida requer não apenas decompor metas complexas em subtarefas (o que os VLMs conseguem fazer), mas também aprender o mapeamento fundamentado entre instruções semânticas e os comportamentos físicos que elas induzem (o que o RL provê).

Resultados
Os autores avaliam o SARL através de benchmarks simulados (Libero-10) e configurações do mundo real usando um robô WidowX. Os experimentos focam em tarefas complexas de longo horizonte que são inviáveis para a implantação zero-shot de VLA e desafiadoras para os métodos de RL existentes.

• Desempenho: O SARL supera significativamente as linhas de base existentes, incluindo Diffusion Steering via RL (DSRL), Residual RL e abordagens de VLM de Aprendizado em Contexto (ICL). Em tarefas do mundo real, o SARL melhora a taxa de sucesso de um VLA base de quase 0% para aproximadamente 80% dentro de 60–100 episódios online.
• Comparação com RL de Espaço de Ação: Diferente do DSRL e do Residual RL, que são limitados pela distribuição de ação inicial da política base e frequentemente falham em aprender em tarefas onde a política base é significativamente incorreta, o SARL navega com sucesso por esses modos de falha explorando diferentes prompts semânticos.
• Comparação com Baselines de VLM: Embora as linhas de base de ICL VLM consigam decompor tarefas, elas frequentemente selecionam instruções que são semanticamente significativas, mas fisicamente ineficazes (ex: usando verbos incorretos ou referências a objetos errados). O SARL supera essas linhas de base ao aprender a selecionar prompts que estão fundamentados nas capacidades reais do robô e no ambiente específico.

Significância e Alegações
O artigo afirma que o SARL desbloqueia capacidades fundamentalmente novas para adaptar políticas de robôs generalistas. Ao otimizar sobre o espaço de ação semântica, o SARL permite que robôs resolvam tarefas complexas de longo horizonte que são inviáveis para:

1. Abordagens de RL existentes que operam ao nível da ação do robô.
2. Implantação de VLA em zero-shot.
3. VLAs implantados com direcionamento de linguagem de alto nível via VLMs sem RL online.

Os autores enfatizam que a eficiência do SARL advém de sua capacidade de reutilizar habilidades pré-treinadas em vez de aprender novas do zero, o que restringe o espaço de busca para comportamentos apropriados à tarefa. Além disso, o método destaca a importância crítica de fundamentar instruções semânticas em comportamentos físicos, uma capacidade que abordagens puramente baseadas em linguagem ou puramente baseadas em ação não possuem. O trabalho sugere que futuras políticas de robôs generalistas poderiam ser projetadas com capacidades de seguimento de linguagem ainda mais fortes, e o SARL poderia servir como um conjunto de ferramentas padrão para adaptação autônoma em ambientes abertos.