Resumo Técnico: Aprendizado por Reforço Condicionado a Objetivos com Informação de Física sob Dinâmicas de Contato Híbridas

Declaração do Problema

O Aprendizado por Reforço Condicionado a Objetivos (GCRL) visa aprender políticas que generalizam através de objetivos arbitrários utilizando feedback esparso. Embora o GCRL com Informação de Física (Pi-GCRL) tenha aplicado com sucesso vieses indutivos inspirados em controle ótimo (especificamente restrições de Equações Diferenciais Parciais) à navegação e ao alcance de objetivos sem objetos, sua aplicação à manipulação robótica rica em contatos permanece problemática.

Em ambientes ricos em contatos, a dinâmica do sistema é híbrida, alternando entre movimento em espaço livre, interação mediada por contato e transporte de objetos. Essas transições induzem uma controlabilidade dependente do modo: certas coordenadas do estado (ex: posições de objetos) podem ser localmente incontroláveis em modos de contato específicos (ex: quando não há preensão). Os autores argumentam que os métodos de Pi-GCRL existentes, que tipicamente aplicam a regularização Eikonal de estado total, falham nesses cenários porque as suposições subjacentes da equação Eikonal (dinâmicas isotrópicas e totalmente controláveis) são violadas. Esse desalinhamento causa uma distorção na função de valor, penalizando variações válidas ao longo de coordenadas incontroláveis e degradando o desempenho da política.

Metodologia

O artigo propõe uma análise principada deste modo de falha e introduz duas formulações complementares para abordá-lo: Regularização Consciente de Contato e Decomposição Hierárquica.

1. Análise Teórica: Descompasso Eikonal

Os autores formalizam a falha da regularização Eikonal de estado total em sistemas híbridos. Eles modelam a manipulação como um sistema híbrido onde o estado $s = (x, z)$ consiste em coordenadas controláveis $x$ e coordenadas localmente incontroláveis $z$ (ex: pose do objeto quando não está sendo agarrado).

• Proposição 4.1 demonstra que, se o custo ótimo de ida $d^*$ depende de coordenadas localmente incontroláveis ($\nabla_z d^* \neq 0$), a restrição Eikonal de estado total ($\|\nabla_s d^*\| = 1$) contradiz a caracterização Hamilton-Jacobi-Bellman (HJB) local.
• A restrição Eikonal aloca incorretamente o orçamento de gradiente para direções onde nenhum movimento instantâneo é possível, enquanto a equação HJB restringe corretamente os gradientes apenas ao longo de direções factíveis.

2. Aprendizado de Valor com Informação de Física Consciente de Contato

Para resolver o descompasso, os autores propõem substituir a restrição de norma de gradiente de estado total por uma restrição direcional alinhada com as transições factíveis observadas.

• Em vez de penalizar a norma total do gradiente, o método aproxima a direção da dinâmica em tempo contínuo usando o vetor de transição empírica $(s' - s)$.
• Isso resulta em um resíduo do tipo HJB consciente de contato (Eq. 4):
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• Esta formulação garante que os gradientes de valor sejam restritos apenas ao longo de direções onde o movimento é de fato observado, ignorando efetivamente as coordenadas incontroláveis durante modos de contato específicos.

3. Fluxo Hierárquico com Informação de Física (Pi-H-Flow)

Os autores introduzem um framework hierárquico para alinhar ainda mais a regularização com a controlabilidade:

• Política de Alto Nível ($\pi_{hi}$): Um modelo baseado em fluxo gera subobjetivos $x_g$ em uma representação controlável $X$ (excluindo coordenadas de pose do objeto). Isso separa o raciocínio centrado no objeto de alto nível da execução de baixo nível.
• Política de Baixo Nível ($\pi_{lo}$): Opera inteiramente dentro da representação controlável $X$, mapeando o estado atual e o subobjetivo para ações primitivas.
• Regularização: Restrições com informação de física (Eikonal ou HJB) são aplicadas apenas no nível baixo dentro de $X$, onde as dinâmicas são totalmente controláveis e as suposições isotrópicas são mais válidas.
• O fluxo de alto nível é treinado para gerar estados controláveis futuros, enquanto o aprendiz de baixo nível utiliza o resíduo HJB consciente de contato para aprender a função de valor.

Principais Contribuições

1. Análise Principada: O artigo identifica e prova que a regularização Eikonal de estado total é estruturalmente desalinhada com dinâmicas de contato híbridas devido a coordenadas localmente incontroláveis, distinguindo isso de problemas causados por dinâmicas anisotrópicas.
2. Novas Formulações:
   • Um resíduo consciente de contato que restringe os gradientes de valor apenas ao longo de direções de transição factíveis.
   • Uma decomposição hierárquica que isola dinâmicas controláveis para regularização com informação de física, separando-as de variáveis de estado centradas no objeto.
3. Validação Empírica: Os autores validam sua abordagem através de tarefas de manipulação offline condicionadas a objetivos em simulação (OGBench) e em uma tarefa de pick-and-place real com um robô UR5e.

Resultados Experimentais

Os métodos propostos foram avaliados no conjunto OGBench (tarefas de rearranjo de cubos Duplo, Triplo e Quádruplo) e em uma tarefa de pick-and-place no mundo real.

• Simulação (OGBench):

  • Falha das Baselines: Métodos padrão regularizados por Eikonal (Eik-GCIVL, Eik-QRL) falharam em convergir de forma confiável, confirmando o desalinhamento teórico.
  • Melhoria do Consciente de Contato: A variante HJB consciente de contato (HJB-GCIVL) superou significativamente os métodos Eikonal de estado total, particularmente em cenários complexos de múltiplos objetos.
  • Benefício Hierárquico: O framework hierárquico (Pi-H-Flow-HJB-GCIVL) alcançou as maiores taxas de sucesso e a convergência mais rápida.
  • Ablação: O uso da representação "Juntas+Contatos" controlável no nível baixo consistentemente melhorou o desempenho (ganho de 10–20% na taxa de sucesso) em relação ao uso do estado total, validando o benefício da decomposição de estado.

• Experimentos no Mundo Real:

  • Treinado em um dataset offline de ~60k passos coletados de uma política MPC roteirizada.
  • O proposto Pi-H-Flow-HJB-GCIVL alcançou as maiores taxas de sucesso (75% com limiar de 10cm, 60% com 5cm, 50% com 3cm), superando tanto as baselines sem informação de física quanto as variantes com informação de física não hierárquicas.
  • Resultados qualitativos mostraram que a política pode recuperar-se de agarres desalinhados e utilizar modos de interação alternativos (ex: deslizar objetos).

Significância e Alegações

O artigo afirma fornecer um passo principado para estender o Pi-GCRL à manipulação rica em contatos. Ao analisar o descompasso geométrico entre restrições Eikonal e dinâmicas híbridas, os autores demonstram que a aplicação ingênua de vieses com informação de física pode ser prejudicial.

A significância reside em:

1. Correção de uma Falha Teórica: Mostrar que a continuidade de Lipschitz (imposta por restrições Eikonal) é insuficiente para sistemas híbridos e que as restrições devem respeitar a controlabilidade local.
2. Framework Prático: Oferecer uma arquitetura hierárquica escalável que combina geração de subobjetivos baseada em fluxo com aprendizado de valor consciente de contato.
3. Aplicabilidade no Mundo Real: Demonstrar que esses insights teóricos se traduzem em melhor desempenho em robôs físicos usando dados offline limitados.

Os autores mantêm-se modestos quanto às limitações, observando que os algoritmos atuais ainda demandam muitos dados e que o regularizador HJB não garante inerentemente segurança ou respeita limites de atuadores. Eles sugerem que trabalhos futuros devem integrar modelos de física mais explícitos e restrições de segurança.