Resumo Técnico: Amostragem Restrita Combinada e Aprendizado por Reforço para Manipulação Robótica

Declaração do Problema

Treinar políticas de manipulação não-preensil em ambientes ricos em contato continua sendo um desafio central na robótica. Embora o Aprendizado por Reforço (RL) tenha demonstrado força ao lidar com dinâmicas ricas em contato ao suavizar implicitamente as descontinuidades subjacentes, ele enfrenta sérios problemas de exploração. Modos de interação relevantes muitas vezes exigem o alcance de estados de contato raros antes de receber recompensas informativas.

Um gargalo crítico reside no design das distribuições de reset e de objetivo ($p(s_0)$ e $p(g)$). Estratégias existentes frequentemente dependem de heurísticas, geração de cena aleatória ou amostradores específicos para tarefas (ex: específicos para preensão). Esses métodos falham em fornecer um mecanismo geral para especificar as diversas configurações de contato necessárias para tarefas não-preensis, como o equilíbrio de objetos, onde o espaço de estados é restringido por dinâmicas de contato complexas e estruturas de complementaridade.

Metodologia

Os autores propõem o CSRL (Combined Constrained Sampling and Reinforcement Learning), uma estrutura que integra um amostrador de estado informado pela física com RL condicionado a objetivos. A abordagem consiste em três componentes principais:

1. Amostrador de Estado Restrito

Ao contrário dos simuladores de física padrão que amostram a dinâmica para frente, este amostrador gera estados iniciais e de objetivo válidos resolvendo um problema de restrição não linear. Ele modela explicitamente a estrutura de contato para garantir uma cobertura diversa de modos de contato.

• Formulação: O amostrador define um espaço de restrição $S_c$ usando dinâmica de corpo rígido, restrições de colisão e restrições de força de contato (cones de fricção de Coulomb). Ele assume que os objetivos podem ser mantidos em equilíbrio quase-estático.
• Variáveis: As variáveis de decisão incluem modos de contato discretos ($c_{ij} \in \{0, 1\}$) e variáveis de estado contínuas ($s$), juntamente com pontos de ataque e forças lineares para contatos ativos.
• Estratégia de Amostragem: Uma abordagem hierárquica é utilizada. Primeiro, uma configuração de modo de contato é amostrada (ex: selecionando 1, 2 ou 3 contatos de suporte). Em seguida, um método de Lagrange Aumentado resolve um problema de otimização proximal para projetar uma amostra aleatória de caixa delimitada $\bar{s}$ sobre a variedade viável $S_c$. Este processo é repetido até que um conjunto de dados $D$ de estados viáveis seja gerado.

2. Estratégias de Reset e Currículo

Para enfrentar o desafio de exploração em espaços de alta dimensão onde inícios e objetivos aleatórios são provavelmente distantes, o CSRL emprega duas estratégias adicionais:

• Interpolação Projetada: Em vez de resetar para estados aleatórios, o sistema amostra um início $a$ e um objetivo $g$ do conjunto de dados restrito $D$. Ele calcula uma interpolação convexa entre eles em um espaço de estados incorporado $\phi$, então projeta este ponto interpolado de volta para a variedade restrita $S_c$ (aproximada pela busca do vizinho mais próximo em $D$). Isso garante que os estados intermediários permaneçam fisicamente válidos.
• Aprendizado de Currículo: Uma variável de fase $\alpha$ é programada de próximo a 0 para 1. Inicialmente, a interpolação usa $t \sim U[0, \alpha]$, resetando o agente para mais perto do objetivo. O tempo de truncamento do MDP também é escalonado com $\alpha$, permitindo que o agente colete trajetórias curtas perto do objetivo antes de enfrentar trajetórias mais longas e complexas.

3. Integração com RL

O amostrador restrito fornece a distribuição $p_0$ para um MDP condicionado a objetivo. O agente de RL (usando TD7 como padrão, com avaliações de variantes TD3 e HER) aprende uma política universal $\pi: s, g \mapsto a$ para conectar qualquer estado inicial a qualquer estado de objetivo dentro da distribuição.

Principais Contribuições

1. Novo Amostrador de Estado Restrito: Um método para gerar distribuições de reset e de objetivo para manipulação rica em contato que considera explicitamente a estrutura de contato, fornecendo uma cobertura rica de diversos modos de contato sem se comprometer com primitivas de interação específicas.
2. Interpolação Projetada e Currículo: Uma estratégia para unir estados amostrados usando interpolação projetada por restrição e um currículo que aumenta gradualmente a dificuldade da tarefa, mitigando desafios de recompensa esparsa.
3. Validação Experimental: Demonstração de que esta abordagem supera o RL padrão com resets aleatórios e métodos de reset alternativos em quatro domínios de dificuldade crescente.

Resultados Experimentais

Os autores avaliaram o CSRL em quatro domínios:

1. Double-sphere (Duas esferas): Um teste básico para manipulação universal entre estados quase-estáticos.
2. Panda-sphere: Testa habilidades de contato de corpo inteiro usando um braço Panda.
3. Sphere-cube (Esfera-cubo): Testa controle de rotação e orientação, incluindo equilíbrio em arestas/cantos.
4. Panda-cube: Testa o controle de um cubo com contatos de efetuador e dedos.

Principais Descobertas:

• Superioridade da Amostragem Restrita: Nos domínios double-sphere e panda-sphere, o uso de amostragem restrita tanto para inícios quanto para objetivos superou significativamente a amostragem aleatória. A amostragem aleatória teve um desempenho particularmente ruim na tarefa panda-sphere, falhando em gerar estados de sustentação estática válidos.
• Impacto da Interpolação e do Currículo: A adição da interpolação projetada e do aprendizado de currículo melhorou ainda mais as taxas de sucesso e a velocidade de convergência em todos os domínios e algoritmos de RL (incluindo variantes HER).
• Comparação com Currículo Reverso: A estratégia de interpolação proposta superou a geração de currículo reverso (que simula de trás para frente a partir dos objetivos), particularmente em termos de eficiência computacional e taxas de sucesso.
• Transferência para o Mundo Real: Uma política sphere-cube treinada em simulação foi transferida com sucesso para uma configuração do mundo real usando uma bola acoplada ao efetuador e rastreamento OptiTrack, demonstrando o potencial para transferência sim-to-real de habilidades fundamentais de manipulação.

Significância e Alegações

O artigo afirma que, ao complementar a amostragem de dinâmica baseada em física com um amostrador de estado restrito informado pela física, é possível treinar políticas de manipulação universais, não-preensis e dinâmicas em ambientes ricos em contato. A abordagem aborda efetivamente o gargalo de exploração em RL ao garantir que o agente seja exposto a diversas configurações de contato fisicamente válidas desde o início.

Os autores posicionam este trabalho como um passo em direção à manipulação não-preensil generalista. Eles observam que, embora a abordagem atual foque em "treinamento privilegiado" (onde a política tem acesso total ao estado), ela estabelece as bases para futuros paradigmas professor-aluno. O artigo reconhece limitações quanto aos custos computacionais para objetos complexos devido ao uso de um solver NLP de CPU única, e os desafios da transferência baseada em sensores, sugerindo trabalhos futuros em paralelização e solvers dedicados.