MaskAdapt: Learning Flexible Motion Adaptation via Mask-Invariant Prior for Physics-Based Characters

Resumo Técnico: MaskAdapt

1. Problema

O controle de personagens físicos (baseados em física) para realizar uma ampla gama de movimentos interativos e realistas permanece um desafio significativo na animação e robótica. Abordagens recentes tentam estender habilidades de controladores pré-treinados usando módulos auxiliares (como camadas de adaptação ou arquiteturas residuais) sem retreinar do zero, evitando o "esquecimento catastrófico".

No entanto, as abordagens residuais existentes para adaptação de movimento enfrentam duas limitações principais:

1. Instabilidade na Base: Os controladores base (frozen) são treinados sem considerar as mudanças na distribuição de estados que ocorrem durante a fase de adaptação. Quando um controlador residual começa a modificar partes específicas do corpo, o controlador base, nunca exposto a essas variações, frequentemente gera ações instáveis.
2. Falta de Flexibilidade e Controle Semântico: Os métodos de composição existentes são limitados a regiões corporais fixas ou carecem de mecanismos integrados para controle semântico (ex: controle via texto).

2. Metodologia

O MaskAdapt propõe um framework de duas etapas baseado em aprendizado residual, projetado para criar um "prior de movimento" robusto e invariante a máscaras.

Etapa 1: Aprendizado de um Prior de Movimento Invariante a Máscaras (Base Policy)

• Mascaramento Estocástico: Durante o treinamento, partes do estado de observação (juntas do corpo) são aleatoriamente ocultadas (mascaradas) com uma probabilidade $\rho$. O controlador base $\pi$ recebe o estado mascarado $\bar{s}_t$ e o mask $m_t$.
• Regularização Invariante a Máscaras (Mask-Invariant Loss - MI Loss): Para garantir que o comportamento seja consistente independentemente do que está visível, introduz-se uma perda de regularização baseada na Divergência de Kullback-Leibler (KL). Esta perda minimiza a diferença entre a distribuição de ações gerada com observação completa ($s$) e a gerada com observação mascarada ($\bar{s}$).
  • Objetivo: Forçar o controlador a aprender um prior de movimento robusto que não colapse ou se torne instável quando partes do corpo estiverem "invisíveis" ou sendo modificadas futuramente.
• Resultado: Um controlador base congelado que mantém a diversidade e estabilidade do movimento mesmo sob observações parciais.

Etapa 2: Aprendizado Residual para Adaptação Localizada (Residual Policy)

• Um controlador residual $\psi$ é treinado sobre o controlador base congelado.
• Composição Dinâmica de Movimento: O residual modifica apenas as partes do corpo indicadas por uma máscara dinâmica, preservando o comportamento original nas partes não mascaradas.
• Rastreamento Parcial Guiado por Texto: Para tarefas onde o objetivo é definido semanticamente, o framework utiliza um gerador de movimento difusivo autoregressivo pré-treinado (baseado em texto) para fornecer trajetórias cinemáticas de referência. O controlador residual adapta as partes designadas para seguir esses alvos semânticos, enquanto o base mantém a locomoção subjacente.
• Discriminador Condicional: O discriminador de recompensa é condicionado à máscara de corpo, permitindo a aplicação seletiva de realismo físico em diferentes configurações de mascaramento.

3. Contribuições Chave

1. Framework de Duas Etagens com Prior Robusto: A introdução de um esquema de treinamento que usa mascaramento estocástico e regularização MI para criar um prior de movimento que é intrinsecamente estável sob condições de observação incompleta.
2. Flexibilidade na Composição de Movimento: Capacidade de adaptar múltiplas partes do corpo dinamicamente dentro de uma única sequência, superando a limitação de regiões fixas de trabalhos anteriores.
3. Integração Semântica (Texto): Um mecanismo que integra diretamente a orientação cinemática baseada em texto no processo de aprendizado residual, permitindo controle intuitivo de partes específicas do corpo (ex: "mova o braço para a esquerda") mantendo a física realista.
4. Validação em Robótica Real: O método foi validado não apenas em simulação, mas também em um robô humanoide real (Unitree G1), demonstrando a transferência de habilidades de adaptação.

4. Resultados

Os experimentos foram conduzidos em simulação (IsaacGym) e no robô Unitree G1, comparando o MaskAdapt com state-of-the-art como AMP, CML (Composite Motion Learning) e MaskedMimic.

• Robustez do Controlador Base:
  • Sob condições de mascaramento, o MaskAdapt (com perda MI) manteve uma entropia normalizada de 0.9025, quase idêntica à linha de base sem mascaramento (AMP: 0.9124).
  • Sem a perda MI, a entropia caiu drasticamente para 0.7448, indicando colapso do comportamento e perda de diversidade.
• Composição de Movimento:
  • O MaskAdapt superou consistentemente o CML em métricas de entropia para regiões adaptadas e preservadas em casos como "Pular + Chute Alternado" e "Andar + Girar Braços".
  • Demonstrou transições suaves e naturais ao alternar máscaras entre membros superiores e inferiores.
• Rastreamento Parcial Guiado por Texto:
  • O método alcançou erros de rastreamento menores (0.0423m para braços) e taxas de sucesso de 100% em tarefas de rastreamento parcial, superando o MaskedMimic e modelos treinados do zero.
  • Qualitativamente, manteve a estabilidade da locomoção (andar) enquanto executava comandos complexos com os braços, algo onde métodos concorrentes falhavam (instabilidade na marcha).
• Aplicação Real: O robô Unitree G1 demonstrou sucesso ao adaptar um movimento de caminhada para incluir um soco, validando a eficácia do framework no mundo real.

5. Significado e Impacto

O MaskAdapt representa um avanço significativo no controle de personagens físicos ao resolver o problema fundamental de instabilidade que surge quando se tenta adaptar comportamentos locais sobre um controlador global.

• Eficiência e Reutilização: Permite reutilizar controladores base complexos e treinados com eficiência, adicionando novas habilidades sob demanda sem retreinar todo o sistema.
• Controle Intuitivo: A ponte entre modelos de difusão baseados em texto e controladores físicos permite que usuários não especialistas controlem personagens complexos com comandos de linguagem natural, focando em partes específicas do corpo.
• Aplicabilidade Robótica: A demonstração em um robô real sugere que essa abordagem é viável para robôs humanoides que precisam se adaptar a tarefas dinâmicas e interagir com o ambiente de forma flexível, mantendo o equilíbrio e a coordenação motora.

Em suma, o MaskAdapt estabelece um novo padrão para adaptação de movimento física, combinando robustez estatística (via prior invariante a máscaras) com flexibilidade semântica (via controle textual e composição dinâmica).