xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing

O artigo apresenta o xTED, um framework que utiliza um modelo de difusão para editar trajetórias de um domínio de origem e adaptá-las a um domínio alvo, preenchendo lacunas de dados de forma universal e flexível para melhorar o aprendizado de políticas em tarefas de tomada de decisão com dados limitados.

O essencial

Imagine que você é um treinador de futebol. Você tem um time jogando muito bem no seu campo de treino (o Domínio Alvo), mas você quer que eles aprendam com as jogadas de outro time que joga em um campo totalmente diferente, com grama mais alta, bola mais pesada e regras ligeiramente distintas (o Domínio Fonte).

Se você simplesmente pegar os vídeos do outro time e mostrar para o seu time, eles vão ficar confusos. Eles vão tentar copiar os movimentos, mas como o ambiente é diferente, vão tropeçar e falhar. É como tentar ensinar um nadador a andar na areia usando apenas vídeos de um nadador no mar: a física é outra.

A maioria dos métodos atuais tenta criar um "tradutor" complexo ou um "filtro" especial dentro do cérebro do robô para tentar entender essas diferenças. Isso é difícil, caro e muitas vezes não funciona bem quando o ambiente muda.

O que o xTED faz?

O xTED (Cross-Domain Trajectory Editing) propõe uma ideia genial: em vez de tentar ensinar o robô a entender as diferenças, vamos "editar" os vídeos do outro time para que pareçam ter sido gravados no nosso campo.

Pense no xTED como um editor de vídeo mágico com Inteligência Artificial, mas em vez de mudar a cor do céu ou a roupa de uma pessoa, ele muda a física e o movimento dos robôs nos vídeos.

A Analogia do "Restaurador de Fotos"

Imagine que você tem uma foto antiga e borrada de um robô tentando pegar uma xícara (o Domínio Fonte). A foto está com uma cor estranha e o robô parece estar flutuando porque foi tirada em um simulador com gravidade diferente.

1. O Problema: Se você tentar treinar um robô novo usando essa foto estranha, ele vai aprender a flutuar e não vai pegar a xícara.
2. A Solução xTED: O xTED pega essa foto "estranha" e a passa por um processo de "desembaçamento" e "reconstrução" baseado em como os robôs reais se movem no seu laboratório (o Domínio Alvo).
   • Ele adiciona um pouco de "ruído" (como se a foto estivesse ficando borrada).
   • Depois, ele usa um modelo treinado com dados do seu laboratório para "desembaçar" a foto.
   • O resultado: A foto ainda mostra o robô pegando a xícara (a tarefa é a mesma), mas agora o robô parece estar pisando no chão corretamente, com a gravidade e o peso certos do seu laboratório.

Como funciona na prática?

O xTED usa uma tecnologia chamada Modelo de Difusão (a mesma tecnologia que cria imagens incríveis como o DALL-E ou Midjourney).

• O Segredo: Em vez de criar uma imagem do zero, o xTED pega uma trajetória (uma sequência de movimentos) de um robô antigo, adiciona um pouco de "caos" (ruído) e depois pede para a IA reconstruir essa trajetória, mas seguindo as regras do novo robô.
• O Resultado: Você tem um monte de dados de um robô antigo que agora "parece" ter sido gerado pelo robô novo. Você mistura esses dados editados com os seus dados reais e treina o robô.

Por que isso é incrível?

1. Não precisa de um tradutor complexo: Você não precisa ensinar o robô a entender "como é o outro robô". Você apenas entrega dados que já parecem ser do "seu" robô.
2. Preserva a essência: O xTED é inteligente o suficiente para saber: "Ok, mude a física e o visual, mas não mude o fato de que o robô precisa pegar a xícara". A tarefa continua a mesma.
3. Funciona na vida real: Os autores testaram isso com robôs reais. Um robô (Airbot) aprendeu tarefas e o xTED "editou" esses dados para que um robô diferente (WidowX) pudesse usá-los. O resultado? O robô novo aprendeu muito mais rápido e com muito mais sucesso do que se tivesse tentado usar os dados originais ou apenas os dados dele mesmo.

Resumo em uma frase:

O xTED é como um filtro de realidade que pega dados de um mundo estranho e os transforma em dados de um mundo familiar, permitindo que robôs aprendam com experiências de outros robôs sem se confundir com as diferenças físicas entre eles.

Resumo técnico

Resumo Técnico: xTED

1. O Problema

A aplicação de Aprendizado por Reforço (RL) ou Aprendizado por Imitação (IL) em tarefas do mundo real enfrenta frequentemente a escassez de dados. Para mitigar isso, pesquisadores tentam reutilizar dados pré-coletados de domínios de origem (como simulações ou outros robôs) para treinar políticas em um domínio alvo. No entanto, existem lacunas de domínio significativas (gaps) entre os dados de origem e alvo, incluindo:

• Diferenças de aparência: Variações visuais e de viewpoints (câmeras).
• Diferenças de dinâmica: Alterações na física (gravidade, atrito, inércia).
• Diferenças de morfologia: Variações no corpo do agente (tamanho, tipos de juntas).

Limitações das Abordagens Atuais:
Os métodos existentes de transferência de política entre domínios geralmente focam em aprender correspondências ou correções dentro do processo de aprendizado da política (ex: discriminadores específicos de domínio, representações agnósticas ao domínio). Isso resulta em:

• Arquiteturas de modelo complexas e pesadas.
• Falta de flexibilidade (modelos muitas vezes específicos para uma tarefa ou domínio).
• Dificuldade em reutilizar modelos para múltiplos domínios de origem sem retreinamento.
• Foco em corrigir o processo de aprendizado em vez de resolver a raiz do problema: os dados em si.

2. Metodologia: xTED

O artigo propõe o xTED (Cross-Domain Trajectory EDiting), uma abordagem que trata a adaptação entre domínios como um problema de pré-processamento de dados. Em vez de adaptar a política, o xTED edita as trajetórias do domínio de origem para que se alinhem com as propriedades do domínio alvo, preservando a semântica da tarefa original.

Arquitetura do Modelo de Difusão:
O xTED utiliza um modelo de difusão especializado para dados de decisão, projetado para lidar com a heterogeneidade e dependências temporais complexas das trajetórias (estados, ações e recompensas).

• Codificação e Decodificação Separadas: Diferente de modelos que tratam trajetórias como uma matriz homogênea (como imagens), o xTED codifica e decodifica sequências de estados ($\tau_s$), ações ($\tau_a$) e recompensas ($\tau_r$) separadamente. Isso preserva seus significados físicos distintos.
• Modelagem de Estrutura de Dependência:
  • Utiliza Self-Attention para modelar dependências temporais dentro de cada sequência.
  • Utiliza Cross-Attention para capturar dependências mútuas entre estados e ações.
  • Modela a dependência causal onde as recompensas dependem de pares estado-ação, mas não o inverso (evitando correlações espúrias).
• Processo de Edição (Two-Stage):
  1. Treinamento: O modelo de difusão é treinado exclusivamente nos dados do domínio alvo para aprender a distribuição de trajetórias realista desse domínio.
  2. Edição da Fonte: As trajetórias do domínio de origem são perturbadas com ruído (processo forward) em um passo intermediário ($k < K$), controlado por uma razão de edição $\kappa$ (ex: 0.5). Em seguida, o modelo pré-treinado do alvo é usado para denoising (processo reverse).
  • Resultado: O ruído remove os vieses específicos do domínio de origem (dinâmica, aparência), enquanto a estrutura de baixa frequência (semântica da tarefa) é preservada e reconstruída com as dinâmicas do domínio alvo.

3. Principais Contribuições

1. Mudança de Paradigma: Propõe tratar a adaptação entre domínios como edição de dados em vez de adaptação de política, permitindo o uso de qualquer algoritmo de aprendizado de política downstream (IL ou RL, single-domain ou cross-domain).
2. Arquitetura Específica para Trajetórias: Desenvolve uma arquitetura de difusão que entende a natureza heterogênea de dados de decisão (estados, ações, recompensas) e suas dependências causais, superando a aplicação direta de métodos de edição de imagem.
3. Flexibilidade e Generalização: O método é agnóstico à tarefa e ao domínio, não requer retreinamento para novos domínios de origem e pode ser combinado com outros métodos de adaptação.
4. Validação em Cenários Reais e Simulados: Demonstra eficácia em tarefas de manipulação robótica real (com robôs WidowX e Airbot) e em benchmarks de simulação (MuJoCo).

4. Resultados Experimentais

Os experimentos cobriram robótica real (manipulação com distratores) e simulação (HalfCheetah e Walker2d com gaps de gravidade, atrito e morfologia).

• Desempenho Superior: O uso de dados de origem editados pelo xTED resultou consistentemente em melhorias de desempenho em comparação com o treinamento apenas no domínio alvo.
  • Exemplo Real: Na tarefa "Cup" (copo), a taxa de sucesso aumentou de 43% para 97% ao adicionar dados editados, enquanto adicionar dados brutos de origem não trouxe ganhos ou piorou o desempenho.
  • Exemplo Simulação: Em tarefas MuJoCo com gaps de atrito, adicionar dados brutos de origem degradou o desempenho em até 32%, enquanto os dados editados trouxeram melhorias de até 26%.
• Comparação com Baselines: O xTED superou métodos de aumento de dados tradicionais (como S4RL) e métodos de transferência de política existentes.
• Qualidade da Edição: A análise de erro de dinâmica (MAE) mostrou que as trajetórias editadas possuem erros de dinâmica muito próximos aos dados do alvo, muito inferiores aos dados originais de origem.
• Aumento de Dados Unidomaino: O modelo também funcionou bem como gerador de dados para aumento de dados em cenários onde não há dados de origem disponíveis, superando técnicas de geração pura.

5. Significado e Impacto

O xTED representa um avanço significativo na robótica e no aprendizado de máquina, pois:

• Desacopla a adaptação de domínio do aprendizado de política: Permite que pesquisadores foquem no algoritmo de RL/IL mais adequado para a tarefa, sem se preocupar com a complexidade de corrigir gaps de domínio durante o treinamento.
• Facilita a reutilização de dados: Torna viável o uso massivo de dados históricos ou de simulação em robôs reais, reduzindo o custo de coleta de dados.
• Robustez: Demonstra ser robusto a diferentes tipos de lacunas de domínio (visual, dinâmica, morfológica) simultaneamente.
• Eficiência: Oferece uma solução leve e flexível que pode ser integrada a pipelines existentes sem a necessidade de arquiteturas complexas de transferência.

Em resumo, o xTED prova que "editar" os dados para torná-los compatíveis com o domínio alvo é uma estratégia mais eficaz e flexível do que tentar forçar a política a aprender a lidar com dados incompatíveis.