Ergodic Imitation for Adaptive Exploration around Demonstrations

Resumo Técnico: Imitação Ergódica para Exploração Adaptativa ao Redor de Demonstrações

Declaração do Problema
Na robótica, a aprendizagem por imitação (IL) enfrenta um desafio crítico: a discrepância entre as condições de treinamento e os ambientes de implantação, causada por mudanças ambientais, observações imperfeitas ou erros de controle. Quando um robô tenta seguir uma trajetória nominal sob tais discrepâncias, frequentemente fica preso e falha em completar a tarefa. Embora modelos generativos profundos tenham sido utilizados para IL, eles frequentemente superajustam-se aos dados de demonstração, memorizando sequências de ações específicas em vez de aprender políticas generalizáveis. Consequentemente, as abordagens atuais permanecem frágeis sob deslocamentos mínimos de distribuição. Além disso, os métodos existentes de exploração adaptativa estão amplamente restritos a transições discretas, carecendo das capacidades de exploração contínua necessárias para ajustes sutis no espaço de estados em tarefas como montagem robótica. O problema central é a necessidade de uma estratégia online que permaneça fundamentada em demonstrações, mas que possa transitar adaptativamente do rastreamento rígido para a exploração quando o ambiente divergir da distribuição de treinamento.

Metodologia
Os autores propõem uma abordagem de Imitação Ergódica Adaptativa que unifica o rastreamento e a exploração dentro de um único controlador. O método opera sobre um conjunto de dados de trajetórias de estados de especialistas, omitindo rótulos de ação explícitos para focar na cobertura do espaço de estados.

1. Recuperação de Fase e Estimativa de Progresso:
   Em cada intervalo de replanejamento, o sistema consulta o conjunto de dados de especialistas para encontrar o contexto mais relevante com base no estado atual do robô. Define-se um "erro de fase" $e(t)$ comparando o estado atual ao ponto mais próximo na trajetória de especialista. Um relógio de referência virtual $\tau(t)$ é utilizado para rastrear o progresso:

   • Modo de Rastreamento: Se o erro de fase estiver dentro de um limiar ($\epsilon$), o relógio avança e o sistema rastreia a demonstração.
   • Modo de Exploração: Se o erro exceder o limiar (indicando estagnação), o relógio congela e um contador de estagnação incrementa. Este sinal dispara uma transição para a exploração.

2. Geração de Distribuição Guiada por Geometria:
   O método gera uma distribuição alvo de partículas $\{q_j\}$ usando uma equação diferencial estocástica (EDE) que combina três componentes com base em uma variável de progresso semelhante a temperatura $\theta$:

   • Atração Nominal: Um termo de deriva puxando as partículas para o ponto mais próximo na trajetória de referência.
   • Pontuação de Núcleo de Calor: Um termo baseado em pontuação que viésa as partículas para regiões de alta densidade de referência.
   • Difusão Anisotrópica: Um termo de difusão projetado para ser maior em direções normais à trajetória do que ao longo de sua tangente. Isso incentiva a exploração perpendicular ao caminho, mantendo a coerência ao longo dele.

   À medida que o erro de fase e o contador de estagnação aumentam, o envelope de difusão se alarga, permitindo que o robô explore uma vizinhança maior da trajetória de referência.

3. Controle Ergódico Consciente de Cobertura com MMD:
   O sistema emprega um controlador de horizonte recuante utilizando a métrica de Discrepância Média Máxima (MMD) para minimizar a diferença entre a visita de estados média no tempo do robô e a distribuição alvo gerada. Ao incluir as últimas dez trajetórias no objetivo MMD, o controlador garante que novos planos complementem as regiões previamente cobertas em vez de retraceá-las. Esta estrutura estende-se naturalmente a $SE(3)$ e outros espaços curvos, utilizando kernels conscientes da geometria.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

• Um método unificado que permite um espectro contínuo de comportamentos, variando de imitação rígida a exploração adaptativa, governado pela imitação ergódica adaptativa.
• Um mecanismo para estimativa de progresso de tarefa via demonstração para modificar adaptativamente as distribuições alvo.
• O uso de difusão anisotrópica guiada por geometria para sintetizar distribuições alvo que induzem tanto rastreamento quanto exploração.
• A integração da métrica ergódica MMD dentro de uma estrutura de aprendizagem por imitação baseada em recuperação.

Resultados
O método foi avaliado em um ambiente de navegação 2D apresentando fendas verticais estreitas e uma região de objetivo desordenada.

• Configuração Experimental: Demonstrações bem-sucedidas foram coletadas em um layout nominal. Durante os testes, as localizações das fendas foram deslocadas para induzir discrepância de implantação.
• Desempenho: Quando o agente foi bloqueado por uma parede (um cenário de discrepância), ele detectou a discrepância de progresso da tarefa via erro de fase acumulado. Isso disparou o alargamento da distribuição alvo via difusão anisotrópica, permitindo que o controlador ergódico explorasse e contornasse o obstáculo.
• Análise Quantitativa: Em testes envolvendo 50 deslocamentos de localização de portões amostrados de uma distribuição Gaussiana ao redor do layout nominal, o método proposto encontrou consistentemente soluções. Em contraste, os autores observam que métodos baseados em recuperação ou baseados em geração provavelmente alcançariam uma taxa de sucesso de 0% nestes cenários fora de distribuição, devido à sua incapacidade de lidar com as posições deslocadas das fendas.

Significado e Alegações
O artigo posiciona o controle ergódico não meramente como uma ferramenta para cobertura de área ou busca, mas como um mecanismo principiado para execução adaptativa na aprendizagem por imitação. O significado reside na mudança de paradigma da reprodução pura de trajetória para a adaptação situacional. Ao tratar o rastreamento como um caso especial de exploração, o método permite que os robôs reproduzam as características temporais de uma demonstração quando o ambiente permite, enquanto transitam autonomamente para a exploração ergódica quando o robô fica "preso". Esta abordagem aborda a fragilidade dos métodos atuais de IL fornecendo um espectro comportamental contínuo que permanece fundamentado em demonstrações, mas capaz de lidar com a divergência ambiental.