Resumo Técnico: Shield-Loco

Declaração do Problema

Políticas de aprendizado por reforço (RL) têm demonstrado sucesso ao permitir a locomoção de pernas dinâmica ao mapear locais de contato desejados para comandos de juntas de baixo nível. No entanto, essas políticas carecem de mecanismos ativos para prevenir violações de segurança ao encontrar restrições ambientais (ex: obstáculos) que não estavam presentes durante o treinamento. Embora o aprendizado seguro offline em larga escala seja impraticável para cobrir todos os casos extremos, as estruturas de segurança existentes enfrentam limitações significativas:

• Modelos de ordem reduzida: Métodos como Funções de Barreira de Controle (CBF) frequentemente dependem de modelos simplificados que não conseguem raciocinar sobre comportamentos de corpo inteiro, levando a falhas sob dinâmicas de contato não modeladas.
• Recuperação conservadora: Abordagens de Blindagem por Modelo Preditivo (MPS) e de alcançabilidade de Hamilton-Jacobi (HJ) frequentemente recorrem a controladores de recuperação conservadores que sacrificam o desempenho da tarefa ou exigem certificados manuais que falham em cenários complexos.
• Escalabilidade: A alcançabilidade HJ escala exponencialmente com a dimensão do estado, tornando modelos de corpo inteiro de pernas intratáveis.

O desafio central é intervir na política para garantir a segurança sem degradar o desempenho da tarefa ou exigir um retreinamento completo da política de RL.

Metodologia

Os autores propõem o Shield-Loco, um filtro de segurança preditivo que opera post-hoc nos locais de contato fornecidos a uma política de RL condicionada ao contato. O insight fundamental é que os locais de contato dos pés servem como uma abstração cinemática suficiente para impor a evasão de colisões de corpo inteiro, permanecendo tratável para otimização online.

Visão Geral da Estrutura

Em cada etapa de controle, o filtro recebe uma sequência nominal de locais de contato de um planejador de alto nível. Ele realiza um rollout (projeção) usando um simulador de física completa (MuJoCo) e a política de RL congelada para prever estados futuros.

1. Predição: Se nenhuma violação de segurança for prevista dentro do horizonte recuante, o contato nominal é passado para a política.
2. Intervenção: Se uma violação for prevista, um otimizador baseado em amostragem busca uma sequência de contato alternativa que maximize o retorno de horizonte finito enquanto satisfaz restrições de segurança.
3. Execução: O primeiro local de contato otimizado é enviado para a política de RL, que gera torques de junta. O processo se repete assincronamente, permitindo que a política de baixo nível rode em alta frequência (50 Hz) mesmo que o otimizador rode em uma frequência menor (3 Hz).

Formulação de Otimização

O filtro resolve o seguinte problema de otimização quando a intervenção é necessária:
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
Sujeito a restrições de segurança $g(s_t, p_t) \leq 0$, onde $a_t = \pi(s_t, p_t)$ e $s_{t+1} = f(s_t, a_t)$.

• Recompensa ($r$): Codifica o desempenho da tarefa (ex: rastreamento de contatos desejados, eficiência energética).
• Função de Valor ($V$): Uma função de valor aprendida faz o bootstrap de retornos de longo horizonte, treinada offline via aprendizado de diferença temporal em trajetórias coletadas pelo otimizador.
• Restrições de Segurança ($g$):
  • Penalidade de Contato do Pé: Penalidades suaves baseadas na função de distância assinada (SDF) entre os pés e os obstáculos.
  • Colisão de Corpo Inteiro: Uma grande penalidade é aplicada se qualquer elo do robô entrar em contato com um obstáculo, detectado via dados de contato do MuJoCo.

Componentes Algorítmicos para Tratabilidade

Para tornar a otimização viável em um cenário de contato descontínuo, os autores introduzem três componentes principais:

1. Projeção Geométrica: Locais de contato amostrados são projetados no conjunto livre de colisões via um Programa Quadrático (QP) antes da avaliação do rollout. Isso garante que os candidatos satisfaçam restrições rígidas localmente, embora o rollout completo ainda seja avaliado para segurança.
2. Atualizações com Aumento de Momento: Derivada do Gradiente Natural Proximal Acelerado, esta regra de atualização acelera a convergência ao extrapolar na direção de melhoria, reduzindo o número de iterações necessárias.
3. Troca de Réplicas (Tempering de Paralelo): Para escapar de mínimos locais rasos, múltiplas réplicas do otimizador com diferentes temperaturas inversas ($\lambda$) são mantidas. Réplicas adjacentes trocam sequências de contato baseadas no critério de Metropolis-Hastings, permitindo que réplicas de alta temperatura explorem amplamente enquanto as de baixa temperatura explorem soluções promissoras.

Principais Contribuições

1. Filtro de Segurança Preditivo em Locais de Contato: Um método que opera diretamente nos locais de contato de entrada para políticas de RL, permitindo a evasão de colisões de corpo inteiro sem modificar a política subjacente.
2. Otimização Baseada em Amostragem Tratável: Um esquema de otimização inovador incorporando projeção geométrica, atualizações com aumento de momento e troca de réplicas para lidar com o cenário de custo não suave e descontínuo da locomoção de pernas.
3. Validação em Simulação e Mundo Real: Avaliação abrangente em um quadrupedal Unitree Go2 em ambientes densos e obstruídos, demonstrando reduções substanciais em violações de segurança com desvio mínimo do passo nominal.

Resultados

O método foi avaliado em um quadrupedal Unitree Go2 tanto em simulação MuJoCo quanto em experimentos de hardware no mundo real.

• Troca entre Segurança e Desempenho: Comparado às linhas de base (CBF e alcançabilidade HJ usando aproximações de unicycle), o Shield-Loco alcançou custos de rastreamento significativamente menores e menos violações de segurança reais. As linhas de base de ordem reduzida tiveram dificuldades em ambientes densos e obstruídos, enquanto o Shield-Loco manteve um forte equilíbrio entre segurança e rastreamento.
• Variantes do Otimizador: Entre os otimizadores testados (MPPI, CEM e Replica Exchange MPPI), a variante Replica Exchange alcançou o menor custo de rastreamento (0.0086) enquanto mantinha baixas taxas de violação, embora tenha incorrido em maior tempo de otimização.
• Estudos de Ablação:
  • Momento: Coeficientes de momento não nulos ($\beta$) melhoraram consistentemente os custos de rastreamento, com $\beta=0.1$ proporcionando o desempenho ideal.
  • Horizonte e Iterações: Um orçamento computacional moderado ($N=3$ iterações, $H \in [4, 6]$) forneceu o melhor equilíbrio entre segurança e reatividade.
  • Projeção: Aplicar projeção geométrica tanto durante a amostragem do rollout quanto no plano otimizado final foi crítico para minimizar as violações.
• Implantação no Mundo Real: O sistema navegou com sucesso em ambientes obstruídos com obstáculos (celulares, pacotes, cabos) e grandes obstáculos estáticos. O design assíncrono permitiu que o robô permanecesse estável mesmo quando o otimizador levava mais tempo do que o ciclo de planejamento (ex: 400ms para $H=8$), pois a política de baixo nível continuava rastreando os últimos alvos de contato seguros conhecidos.

Significância e Limitações

O artigo posiciona o Shield-Loco como uma intervenção de segurança minimamente invasiva que preenche a lacavra entre a expressividade de modelos de física completa e a tratabilidade necessária para filtragem de segurança online. Ao operar em locais de contato em vez de torques de junta, ele evita a "maldição da dimensionalidade" enquanto mantém a capacidade de raciocinar sobre colisões de corpo inteiro.

Limitações e Trabalhos Futuros:

• Garantias Teóricas: O método carece de garantias teóricas formais de otimalidade ou segurança. O plano filtrado pode desviar do conjunto seguro real se o otimizador convergir para um mínimo local.
• Projeção Heurística: A projeção geométrica é uma heurística e pode não preservar estritamente as propriedades de convergência do otimizador.
• Limitações da Política: Violações reais nos experimentos foram por vezes causadas pela política de RL gerando configurações intermediárias de fase de balanço inseguras, mesmo quando os alvos de contato eram seguros.
• Escopo: A validação está atualmente limitada a quadrupedeis em terrenos planos. Estender para locomoção em múltiplos terrenos, humanoides ou cenários que exigem torção ativa do torso permanece como trabalho futuro.
• Percepção: O framework atual assume geometria de obstáculos conhecida; integrar pipelines de percepção online para implantação totalmente autônoma em ambientes não vistos é identificado como uma direção futura necessária.