Resumo Técnico: APEX – Execução de Política Adaptativa para Manipulação de Precisão

1. Definição do Problema: O Gap de Execução em Tempo de Teste

Sistemas modernos de aprendizado por imitação, incluindo políticas visuomotoras e de Visão-Linguagem-Ação (VLA), tipicamente produzem referências de ação de alto nível (ex: alvos de junta ou poses do efetuador final) que são executadas por controladores de baixo nível, como esquemas Proporcional-Derivativo (PD). No entanto, existe uma discrepância crítica entre a referência comandada pela política e o movimento real realizado pelo robô, denominada gap de execução em tempo de teste.

Este gap surge de duas fontes primárias:

1. Saídas de Alto Nível Inadequadas: As saídas da política frequentemente carecem de sinais de referência de ordem superior (velocidade, aceleração) e podem conter descontinuidades, sendo insuficientes para um rastreamento de baixo nível preciso.
2. Dinâmicas de Baixo Nível Imperfeitas: Controladores comerciais costem operar com dinâmicas não modeladas, incertezas de parâmetros e parâmetros de ganho ($K_p, K_d$) inacessíveis.

Soluções existentes geralmente exigem modificações intrusivas, como alterar a arquitetura da política, retreinar com aprendizado residual ou mudar o próprio controlador. Essas abordagens são frequentemente impraticáveis para modelos pré-treinados de grande escala ou plataformas comerciais proprietárias onde a política e o controlador são tratados como "caixas pretas" inacessíveis. A questão central abordada é: É possível mitigar o gap de execução sem modificar nem a política, nem o controlador?

2. Metodologia: O Framework APEX

Os autores propõem o Adaptive Policy EXecution (APEX), um framework plug-and-play inserido entre a política de alto nível e o controlador de baixo nível. Inspirado no controle motor biológico — onde loops sensoriomotores rápidos corrigem desvios sobre a marcha sem regenerar planos de alto nível — o APEX opera como uma camada de correção online que deixa tanto a política quanto o controlador intactos.

O APEX funciona em dois estágios:

A. Filtragem Passiva Adaptativa (Reconstrução de Sinal)

Como as saídas da política ($a_\pi$) frequentemente carecem dos sinais de velocidade ($\dot{a}$) e aceleração ($\ddot{a}$) necessários para a viabilidade dinâmica, o APEX primeiro reconstrói uma referência suave e dinamicamente viável ($\bar{a}$) usando um filtro passivo adaptativo.

• O filtro é impulsionado pelo erro de rastreamento $e_a = a_\pi - a$.
• Ele gera internamente sinais $\dot{\bar{a}}$ e $\ddot{\bar{a}}$ bem definidos, garantindo que a referência fornecida ao controlador seja suave e com largura de banda limitada.

B. Correção Adaptativa em Tempo de Teste

Para compensar dinâmicas de sistema desconhecidas (inércia $J$) e ganhos de controlador inacessíveis ($K_p, K_d$), o APEX aumenta a referência filtrada com termos adaptativos. O comando $a_r$ enviado ao controlador é formulado como:
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
Onde:

• $\hat{w}$, $\hat{w}_d$ e $\hat{J}$ são estimativas variantes no tempo dos parâmetros desconhecidos ($1/K_p$, $K_d/K_p$ e $J$).
• Esses coeficientes são atualizados online via uma lei adaptativa impulsionada pelo erro de rastreamento em tempo real e pela velocidade da referência filtrada, sem diferenciar a saída bruta da política.

Garantias Teóricas

O artigo fornece uma análise de estabilidade (Teorema 1) provando que, para um sistema com parâmetros desconhecidos e distúrbios limitados, os sinais do sistema em malha fechada permanecem limitados e o erro de rastreamento converge para um conjunto residual. Isso garante o desempenho de rastreamento assintótico mesmo sem o conhecimento exato da dinâmica do robô.

3. Principais Contribuições

1. Compatibilidade Black-Box: O APEX é o primeiro framework que mitiga o gap de execução sem exigir modificações na arquitetura da política, retreinamento ou acesso aos parâmetros internos do controlador de baixo nível.
2. Correção de Estágio Duplo: Ele combina de forma única um filtro passivo para reconstruir sinais de ordem superior com uma lei adaptativa para compensar dinâmicas desconhecidas, abordando tanto artefatos do lado da política quanto limitações do lado do controlador.
3. Convergência Provável: O framework oferece garantias teóricas de convergência sob suposições padrão de controle adaptativo.
4. Generalização: O método é agnóstico à classe específica de política (determinística ou generativa) e à representação de ação (espaço de juntas ou espaço de tarefa).

4. Resultados Experimentais

Os autores avaliaram o APEX em ambientes de simulação e no mundo real (UR5), testando quatro classes de políticas: ACT, Diffusion Policy, Flow Matching e a VLA $\pi_{0.5}$.

• Isolando o Gap de Execução: Em um experimento de "reprodução de demonstração" (onde trajetórias de especialistas são reproduzidas diretamente para o controlador, removendo o erro da política), o APEX reduziu o erro de rastreamento em 41,2% (de 30,84 mrad para 18,15 mrad) e aumentou as taxas de sucesso de 62,5% para 81,3%. Isso confirma que as imperfeições do controlador de baixo nível sozinhas causam falhas significativas.
• Ponte entre Política e Controlador: Quando pareado com políticas aprendidas, o APEX melhorou as taxas de sucesso entre 4,8 a 25,8 pontos percentuais em todas as classes de política testadas.
  • Ganhos notáveis foram observados na tarefa de Inserção de Pino (PegInsertion) (folga radial de 3mm), onde o sucesso do Flow Matching melhorou de 20% para 35% em um UR5 real.
  • O APEX demonstrou robustez através de diferentes ganhos de controlador PD ($K_p, K_d$), superando correções de parâmetros fixos.
• Validação Cross-Platform: O framework generalizou-se com sucesso através de diferentes simuladores (ManiSkill, LIBERO), representações de ação (juntas vs. efetuador final) e hardware real.

5. Significância e Alegações

O artigo alega que o gap de execução em tempo de teste é um gargalo fundamental na manipulação de precisão, frequentemente negligenciado em favor da melhoria do treinamento da política. A significância do APEX reside em sua capacidade de recuperar o desempenho perdido de políticas bem treinadas simplesmente corrigindo o fluxo de execução.

Os autores enfatizam que:

• Mesmo referências de ação de nível especialista falham em executar com precisão em hardware comercial devido às limitações do controlador.
• Uma camada de correção leve e não intrusiva na interface política-controlador é suficiente para mitigar este gap.
• A natureza adaptativa do APEX permite que ele funcione efetivamente mesmo quando as dinâmicas do sistema são desconhecidas ou quando o controlador é uma "caixa preta", tornando-o altamente prático para o deployment de modelos de aprendizado por imitação de grande escala.

Limitações Reconhecidas: A implementação atual requer ajuste manual de ganhos de adaptação, e o termo de distúrbio é tratado como limitado em vez de explicitamente estimado, levando a uma convergência para um erro residual em vez de erro zero. Trabalhos futuros visam integrar mecanismos de autoajuste e observadores de distúrbios.