Resumo Técnico: BEACON

Declaração do Problema

A aprendizagem de robôs via clonagem de comportamento (BC) avançou significativamente com modelos de sequência como Políticas de Difusão, contudo, um gargalo crítico permanece: políticas treinadas em um domínio (fonte) frequentemente degradam-se quando implantadas em outro (alvo), mesmo quando as semânticas da tarefa são idênticas. Essas lacunas de domínio surgem de discrepâncias visuais (textura, iluminação, pose da câmera) e incompatibilidades físicas (atrito, dinâmicas de contato, atrasos de atuação). Embora a coleta de conjuntos de dados em larga escala do domínio alvo seja cara e difícil de escalar, os dados de origem (por exemplo, de simulação ou demonstrações humanas) são abundantes, mas frequentemente incompatíveis.

As abordagens existentes para este problema dividem-se em duas categorias:

1. Randomização de Domínio: Aumenta a diversidade da fonte para melhorar a robustez, mas não alinha explicitamente as distribuições.
2. Adaptação de Domínio: Alinha explicitamente as representações de origem e alvo (por exemplo, via correspondência de características ou treinamento adversarial). No entanto, esses métodos frequentemente dependem de objetivos heurísticos, podem ignorar deslocamentos não visuais e têm dificuldade em configurações de múltiplas fontes, onde as fontes diferem entre si e também do alvo.

A questão central abordada por este artigo é: Como podemos aproveitar demonstrações de origem abundantes, mas incompatíveis, para melhorar a generalização no domínio alvo, minimizando a necessidade de dados rotulados do alvo, sem depender de funções de perda de alinhamento heurísticas?

Metodologia: BEACON

Os autores propõem o BEACON (Adaptação de Melhor Esforço para Co-treinamento Cruzado de Domínios), um framework orientado por teoria que reformula o co-treinamento cruzado de domínios como um problema de reponderação de importância consciente de discrepâncias.

Fundamentação Teórica

O BEACON baseia-se no framework de Adaptação de Melhor Esforço (BEA) [23]. Em vez de misturar ingenuamente dados de origem e alvo ou impor alinhamento de características, o BEACON aprende conjuntamente uma política $\pi_\theta$ e um conjunto de pesos por amostra $q$ para minimizar um limite de generalização derivado teoricamente para o domínio alvo.

A função objetivo (Eq. 6) minimiza:
$$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$$

Onde:

• $\ell_{BC}$ é a perda de clonagem de comportamento por difusão.
• $d_i$ é um termo de discrepância que penaliza amostras de origem incompatíveis com o alvo.
• $p_0$ é uma ponderação de referência (distribuição empírica apenas do alvo).
• Os termos de regularização ($\lambda_1, \lambda_2$) garantem que os pesos aprendidos permaneçam ancorados à distribuição do alvo e previnam soluções degeneradas.

Adaptações Práticas para Robótica

A aplicação do framework BEA original a políticas de difusão de alta dimensão exigiu várias adaptações-chave:

1. Estimativa de Discrepância ao Nível de Instância: Em vez de uma única penalidade ao nível de domínio, o BEACON calcula uma pontuação de discrepância por amostra $d_i$. O estimador padrão utiliza k-Vizinhos Mais Próximos (k-NN) no espaço de incorporação do codificador de visão da política. Ele mede a distância de uma amostra de origem até seus vizinhos mais próximos no alvo, normalizada pela dispersão dentro do alvo. Isso permite que o sistema identifique e reduza o peso de trajetórias específicas de origem "outliers" que são visual ou comportamentalmente incompatíveis com o alvo, mesmo dentro de um único simulador.
2. Otimização Alternada Estocástica: Devido ao custo computacional dos modelos de difusão, o BEACON emprega atualizações alternadas estocásticas em vez de minimização em lote completo. Ele alterna entre:
   • Atualização de Peso ($q$): Um passo de subgradiente projetado baseado na perda por exemplo e na discrepância.
   • Atualização de Política ($\theta$): Um passo AdamW na perda do minibatch ponderado.
   • Controle de Complexidade: O controle de capacidade baseado em norma original é substituído por decaimento de peso compatível com o otimizador ($\gamma \|q\|_\infty R(\theta)$), vinculando o peso máximo da amostra à força da regularização.
3. Extensão Multi-Fonte (MS-BEACON): Para cenários com domínios de origem heterogêneos (por exemplo, múltiplos simuladores), o método introduz um esquema de ponderação de dois níveis: um peso ao nível de domínio $w$ para selecionar domínios de origem úteis e um peso ao nível de instância $\tilde{q}$ para filtrar trajetórias incompatíveis dentro de cada domínio.

Contribuições Principais

1. Co-treinamento Orientado por Teoria: O BEACON é o primeiro método a adaptar o framework BEA para políticas generativas de robôs, minimizando diretamente um limite de generalização baseado em discrepância, em vez de depender de funções de perda de alinhamento de características heurísticas.
2. Reponderação Escalável ao Nível de Instância: A introdução de estimadores de discrepância escaláveis ao nível de instância (k-NN no espaço de incorporação) permite que o método lide eficazmente com políticas de sequência de alta dimensão e dados de origem heterogêneos.
3. Alinhamento de Características Implícito: O artigo demonstra que o alinhamento de características emerge naturalmente como um subproduto da função objetivo de reponderação consciente de discrepâncias, sem exigir um termo de perda de alinhamento explícito.
4. Robustez Multi-Fonte: A extensão MS-BEACON equilibra eficazmente domínios de origem heterogêneos, mitigando a transferência negativa quando as fontes diferem significativamente entre si e do alvo.

Resultados Experimentais

O BEACON foi avaliado em tarefas de manipulação sim-a-sim, sim-a-real e multi-fonte (empilhamento de blocos, limpeza de canecas, enfiar linha) em um robô Franka Emika Panda.

• Generalização Superior: O BEACON superou consistentemente as linhas de base, incluindo Apenas-Alvo, Co-treinamento de razão fixa e métodos de alinhamento de características (MMD, UOT).
  • Em sim-a-sim (lacunas de textura e ponto de vista), o BEACON alcançou uma taxa de sucesso média de 0,64 (lacuna de textura) e 0,45 (textura + ponto de vista), superando a próxima melhor linha de base (MMD) por uma margem significativa.
  • Em sim-a-real, onde as políticas Apenas-Alvo quase falharam (0,10 de sucesso médio), o BEACON alcançou 0,77 de sucesso médio, demonstrando robustez tanto a lacunas visuais quanto físicas.
• Robustez Fora da Distribuição (OOD): O BEACON manteve o desempenho quando avaliado em instâncias de tarefa fora da distribuição das demonstrações alvo, enquanto as linhas de base de alinhamento de características (como MMD) sofreram degradação significativa.
• Alinhamento Implícito: Visualizações UMAP confirmaram que o BEACON aproxima as características latentes de origem e alvo como resultado da dinâmica de reponderação, apesar da ausência de uma perda de alinhamento explícita.
• Eficiência de Dados: Aumentar a escala das demonstrações alvo melhorou ainda mais o desempenho do BEACON, indicando que a reponderação de origem amplifica o valor dos dados alvo em vez de substituí-los.

Significado e Alegações

O artigo afirma que o BEACON oferece um paradigma complementar aos métodos existentes de adaptação de domínio. Em vez de focar em forçar espaços latentes a coincidirem (o que pode colapsar a geometria relevante para a tarefa), o BEACON foca em selecionar quais trajetórias de origem devem influenciar a aprendizagem do alvo.

Os autores afirmam que:

• A reponderação de importância é uma alavanca de design mais fundamental para a aprendizagem de robôs cruzada de domínios do que a escolha de onde alinhar representações em uma rede.
• Fundamentar essa alavanca na teoria de generalização produz ganhos concretos em robustez e eficiência de dados.
• O método é particularmente eficaz em regimes de poucos dados alvo, onde a coleta de grandes conjuntos de dados alvo é inviável.

O artigo reconhece limitações, observando que os experimentos foram restritos a interações quase estáticas e que a suposição de escassez de dados reais pode não se manter em todos os cenários futuros onde grandes conjuntos de dados do mundo real heterogêneos possam estar disponíveis. No entanto, os resultados sugerem que o mecanismo de reponderação proposto permanece uma estratégia robusta para lidar com deslocamentos de domínio.