Resumo Técnico: Estrutura de Política Adaptativa ao Contexto para Manipulação Robótica Robusta e Reativa

Declaração do Problema

Gerar estratégias de manipulação robustas e reativas que se adaptem a informações de contexto em mudança continua sendo um desafio significativo na robótica. Embora o Aprendizado de Demonstrações (Learning from Demonstration - LfD) tenha surgido como uma solução eficaz para gerar políticas reativas, particularmente através de abordagens baseadas em Sistemas Dinâmicos (DS), os métodos de estado da arte frequentemente enfrentam um compromisso (trade-off). A maioria das abordagens baseadas em DS foca em abordar limitações de robustez, mas negligencia a modulação de políticas em resposta ao contexto ambiental. Consequentemente, elas tendem a ser inflexíveis em relação à parametrização por variáveis dependentes da tarefa (ex: forças de contato, descritores de forma de objetos) e têm dificuldade com a generalização fora da distribuição (Out-of-Distribution - OOD), levando a comportamentos imprevisíveis ou desvios de trajetória quando confrontadas com distúrbios ou condições iniciais não vistas.

Metodologia

Os autores propõem uma estrutura de política adaptativa ao contexto que combina manipulação robusta, reativa e parametrizada por tarefas usando uma formulação de Mistura de Especialistas (Mixture of Experts - MoE). A estrutura opera dentro de um loop de controle de duas camadas: um loop interno lida com a dinâmica de baixo nível do robô, enquanto um loop externo consulta uma política adaptativa ao contexto para gerar velocidades desejadas do efetuador final.

O núcleo da abordagem é um MoE que sintetiza três políticas de especialistas distintas, distribuídas Gaussianamente, ponderadas por coeficientes de mistura calculados dinamicamente:

1. Política LfD (Especialista Baseado em Dados):

   • Base: Regressão de Processos Gaussianos (GPR) é utilizada para aprender uma política condicionada ao estado do robô (posição e orientação) e a parâmetros de baixa dimensão dependentes da tarefa ($\mathbf{c}$).
   • Função: Imita movimentos demonstrados.
   • Limitação: Políticas puramente baseadas em dados frequentemente exibem atratores falsos e falham em generalizar além da distribuição de treinamento.

2. Política de Estabilização (Especialista Consciente de Incerteza):

   • Mecanismo: Aproveita a incerteza epistêmica de forma fechada (variância preditiva) fornecida pelo GPR.
   • Função: Guia o robô para regiões de baixa incerteza epistêmica (ou seja, próximo às trajetórias demonstradas) ao gerar ações ao longo do gradiente da variância preditiva.
   • Inovação: Diferente de trabalhos anteriores, esta política incorpora explicitamente a orientação no espaço de estados e utiliza o kernel combinado para posição e orientação para guiar o robô tanto em translação quanto em rotação simultaneamente.

3. Política de Atrator de Objetivo (Especialista de Convergência):

   • Mecanismo: Uma política baseada em kernel que identifica a pose de objetivo demonstrada com a maior ativação de kernel em relação ao estado atual.
   • Função: Guia o robô em direção ao objetivo seguindo o gradiente da ativação do kernel, garantindo a convergência empírica ao estado de objetivo, o que o GPR sozinho não garante.

Coeficientes de Mistura:
A estrutura emprega coeficientes de mistura ($\pi$) dependentes do estado em vez de pesos constantes:

• $\pi_{gap}$ (Atrator de Objetivo): Aumenta conforme o robô se aproxima da pose de objetivo.
• $\pi_{sp}$ (Estabilização): Aumenta com a incerteza preditiva (distância dos dados), mas é reduzida perto do objetivo para priorizar o atrator.
• $\pi_{lfd}$ (LfD): Ativa-se suavemente perto das demonstrações onde a incerteza é baixa e o objetivo está distante.

A ação de controle final é a soma ponderada das médias desses três especialistas.

Principais Contribuições

O artigo identifica três contribções primárias:

1. Integração Explícita de Parâmetros de Tarefa: Ao contrário de trabalhos anteriores que consideram apenas o estado do robô, esta estrutura incorpora explicitamente parâmetros dependentes da tarefa de baixa dimensão (ex: forças de contato, descritores de forma de objeto, variáveis de fase) na política aprendida, permitindo a adaptação a mudanças ambientais.
2. Formulação MoE Consciente de Incerteza: O problema é formulado como um MoE com coeficientes de mistura variáveis e conscientes da incerteza. Isso contrasta com abordagens anteriores que assumem coeficientes constantes, permitindo que o sistema priorize dinamicamente a segurança (política de estabilização) ou a convergência (atrator de objetivo) com base na incerteza do estado atual e proximidade do objetivo.
3. Políticas de Estabilização e Convergência Aprimoradas: Os autores estendem políticas de estabilização existentes para incluir a orientação como parte do estado e introduzem uma nova política de atrator de objetivo baseada em kernel. Resultados experimentais demonstram que ambas as extensões são necessárias para aumentar a robustez e garantir a convergência.

Resultados Experimentais

A estrutura foi avaliada no conjunto de dados de escrita LASA e em três cenários do mundo real usando um robô KUKA LWR de 7-DoF:

1. Conjunto de Dados de Escrita LASA:

   • A estrutura proposta alcançou 100% de taxa de sucesso na reprodução de trajetórias a partir de condições iniciais aleatórias, superando o GPR isolado, políticas de difusão e SEDS (Sistemas Dinâmicos Elásticos Estáveis) em termos de velocidade de convergência e fidelidade da trajetória.
   • Demonstrou robustez OOD superior em comparação aos baselines, que frequentemente falharam ou sofreram deriva (drift).

2. Preensão Condicionada por Força:

   • O robô agarrou e transportou com sucesso uma esfera enquanto reagia a variações nas forças de contato.
   • O sistema demonstrou reatividade ao re-agarrar um objeto que foi manualmente derrubado, adaptando sua trajetória com base nos parâmetros de força alterados.
   • Resultado: 100% de taxa de sucesso com 0 colisões, enquanto a remoção de qualquer uma das políticas (estabilização ou atrator de objetivo) levou a falhas significativas ou colisões.

3. Manipulação de Itens de Comida Deformáveis:

   • O robô adaptou estratégias de colocação para um filé de peixe com base em sua configuração de preensão (capturada via sobreposição de caixa delimitadora/bounding box).
   • Resultado: 95% de taxa de sucesso com 0 colisões, lidando com sucesso com objetos deformáveis onde a estratégia dependia da forma do objeto no gripper.

4. Preensão Centrada em Objeto (Extensão do Sistema):

   • A estrutura foi estendida para agarrar três objetos YCB diferentes de uma esteira estática e móvel.
   • O sistema lidou com variações na pose do objeto, na pose inicial do robô e nas velocidades da esteira (até 0,03 m/s).
   • Resultado: Altas taxas de sucesso (até 100%) em condições dinâmicas, demonstrando a capacidade de alternar políticas com base nas fases da tarefa (preensão, colocação, repouso).

Estudos de Ablação:

• A remoção do componente de orientação da política de estabilização fez com que o robô falhasse ao tentar recuperar orientações fora da distribuição (out-of-distribution).
• A remoção de qualquer uma das políticas (estabilização ou atrator de objetivo) resultou ou em deriva das demonstrações ou em falha de convergência ao objetivo.

Significância e Alegações

Os autores alegam que este trabalho aborda uma lacuna na literatura ao fornecer uma abordagem unificada que combina adaptação em tempo real, robustez OOD e modulação por parâmetros externos arbitrários.

• Robustez: A estrutura mantém um desempenho robusto mesmo quando confrontada com distúrbios, diferentes condições iniciais ou mudanças de distribuição, alcançando altas taxas de sucesso com zero colisões em tarefas do mundo real.
• Eficiência de Dados: Ao aproveitar o GPR e a estrutura MoE, a abordagem requer menos demonstrações do que métodos baseados em difusão, alcançando desempenho comparável ou superior em regimes de poucos dados.
• Reatividade: A formulação baseada em DS permite que o robô reaja a mudanças de contexto (ex: mudanças de força, deformação de objeto) em tempo real sem necessidade de replanejamento.
• Modularidade: A estrutura modular MoE permite a adição ou remoção ad-hoc de políticas, aumentando a explicabilidade e interpretabilidade.

O artigo conclui que, embora o método seja especificamente projetado para cenários de baixa dimensão e poucos dados, ele oferece uma solução prática e eficaz para manipulação de objetos reativa, incluindo objetos macios e deformáveis, sem exigir planejamento feedforward complexo. Sugere-se como trabalho futuro explorar representações alternativas de LfD (ex: políticas de difusão) que possam lidar com entradas de maior dimensão enquanto aproveitam a robustez da estrutura proposta.