Resumo Técnico: DADP (Domain Adaptive Diffusion Policy)

1. O Problema

O aprendizado de políticas adaptáveis a domínios (capazes de generalizar para dinâmicas de transição não vistas) permanece um desafio fundamental no controle baseado em aprendizado. Embora existam avanços no aprendizado de representações de domínio, as abordagens atuais enfrentam duas limitações principais:

1. Entrelaçamento de Informações: Métodos que aprendem representações através de predição dinâmica (usando o histórico recente) tendem a misturar (entrelaçar) informações estáticas do domínio (ex: gravidade, atrito, comprimentos de membros) com propriedades dinâmicas variantes no tempo (ex: velocidades instantâneas, acelerações). Essa mistura confunde a política condicionada, limitando a adaptação zero-shot (sem dados de ajuste no novo domínio).
2. Subutilização de Representações: Muitos métodos tratam a representação aprendida apenas como uma entrada adicional concatenada à rede, o que não aproveita plenamente a estrutura da informação de domínio no processo de geração de ações, resultando em desempenho degradado.

2. Metodologia Proposta (DADP)

O DADP propõe uma solução baseada em duas inovações principais: Desentrelaçamento Não Supervisionado e Injeção Consciente do Domínio no Processo de Difusão.

A. Predição Dinâmica com Contexto Atrasado (Lagged Context Dynamical Prediction)

Para obter representações de alta qualidade que capturem apenas a informação estática do domínio, os autores introduzem uma estratégia de predição dinâmica com um atraso temporal ($\Delta t$).

• Mecanismo: Em vez de usar o histórico imediatamente anterior ao passo atual ($t-1$) para prever o próximo estado ($t+1$), o modelo usa um contexto histórico deslocado ($t-\Delta t$).
• Lógica: À medida que $\Delta t$ aumenta, a correlação temporal entre o contexto e as variações dinâmicas instantâneas diminui. O contexto antigo não consegue mais "ajudar" na predição de variações transitórias (como velocidade instantânea), forçando o encoder a aprender apenas os fatores estáticos do domínio (como gravidade ou massa) que permanecem constantes ao longo do tempo.
• Resultado: Isso permite o aprendizado não supervisionado de representações puramente estáticas, filtrando ruídos dinâmicos transitórios.

B. Injeção de Representação no Processo de Difusão

Após aprender a representação estática $z$, o DADP não a utiliza apenas como condição de entrada, mas a integra diretamente no processo generativo do modelo de difusão.

• Viés na Distribuição Priori: O processo de difusão não começa com ruído Gaussiano puro, mas com uma Distribuição Gaussiana Mista onde o centro de cada componente é deslocado pela representação do domínio $z$. Isso cria "picos" no espaço latente correspondentes a diferentes modais de ação para cada domínio.
• Reformulação do Objetivo de Difusão: O objetivo de treinamento é reformulado para prever um termo composto que inclui tanto o ruído quanto o deslocamento da representação. Isso simplifica o processo de remoção de ruído (denoising), guiando a trajetória diretamente para o manifold de ação correto do domínio específico.
• Vantagem: Isso evita que a política tenha que reconstruir diferentes modais de ação a partir de um único ponto de ruído, explorando melhor a estrutura do espaço latente.

3. Contribuições Principais

1. Aprendizado de Representação Não Supervisionado: Introdução da Lagged Context Dynamical Prediction, uma abordagem simples e eficaz para extrair representações de domínio puramente estáticas sem necessidade de rótulos supervisionados ou geração de dados extras complexos.
2. Utilização via Predição de Representação: Uma nova estratégia de uso de representações em políticas de difusão, que envolve viésar a priori e reformular o alvo de difusão, superando a simples concatenação de entradas.
3. Desempenho Superior: Demonstração de desempenho consistente e superior em tarefas de locomoção e manipulação, especialmente em cenários Out-of-Distribution (OOD) e zero-shot.
4. Código e Dados Abertos: Liberação completa do código, pipelines de geração de dados e benchmarks, facilitando a reprodutibilidade e customização pela comunidade.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks desafiadores do MuJoCo (locomoção: HalfCheetah, Walker2d, Ant, Hopper) e Adroit (manipulação).

• Desempenho Geral: O DADP superou consistentemente os métodos State-of-the-Art (SOTA), incluindo CORRO, Prompt-DT e Meta-DT, tanto em configurações In-Distribution (IID) quanto Out-of-Distribution (OOD).
• Estabilidade: O método apresentou desvio padrão menor entre diferentes sementes aleatórias, indicando maior estabilidade e robustez.
• Ablação de $\Delta t$: A análise mostrou que aumentar o atraso temporal ($\Delta t$) melhora significativamente a qualidade da representação (medida por precisão de linear probe e perda de reconstrução), aproximando-se do desempenho de representações supervisionadas.
• Mastery (Domínio): O DADP alcançou a maior taxa de "mastery" (capacidade de atingir >60% do desempenho do especialista em múltiplos domínios), demonstrando que uma única política pode adaptar-se robustamente a uma ampla gama de ambientes e morfologias.
• Visualização: Visualizações t-SNE confirmaram que, com $\Delta t$ alto, as representações de diferentes domínios formam clusters distintos e bem separados, ao contrário dos métodos anteriores que apresentavam sobreposição.

5. Significado e Impacto

O DADP representa um avanço significativo na área de Meta-RL e controle adaptativo. Ao resolver o problema de entrelaçamento entre informações estáticas e dinâmicas e ao integrar profundamente a informação de domínio no processo generativo de difusão, o trabalho oferece:

• Uma solução prática para a adaptação zero-shot em robótica, onde parâmetros do ambiente são desconhecidos.
• Uma nova perspectiva sobre como utilizar modelos de difusão não apenas como geradores, mas como mecanismos estruturados para condicionamento de domínio.
• Um framework robusto que pode ser aplicado a tarefas complexas de manipulação e locomoção, superando as limitações de métodos baseados puramente em aprendizado end-to-end ou condicionamento superficial.

Limitações e Futuro: O trabalho foca atualmente em dinâmicas estacionárias (invariantes no tempo). Futuras pesquisas visam estender a abordagem para ambientes não estacionários, onde informações variantes no tempo também seriam cruciais para o controle.