How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning

Resumo Técnico: Aprendizado por Imitação Robusto e Adaptativo (RAIL)

Declaração do Problema
O Aprendizado por Imitação (IL) em robótica frequentemente sofre do problema de deslocamento de distribuição, onde um agente falha em executar ações apropriadas ao encontrar estados durante a inferência online que não estavam presentes no conjunto de dados de treinamento offline. Essa questão surge porque as demonstrações de especialistas geralmente cobrem apenas um subconjunto estreito do espaço de estados-ações do ambiente. Soluções existentes frequentemente focam exclusivamente na fase de treinamento offline (via aumento de dados) ou na fase de inferência online (via adaptação), mas ambas as abordagens exibem limitações. Métodos offline que dependem de perturbação humana são custosos, enquanto aqueles que utilizam modelos de mundo são vulneráveis a erros de modelagem. Métodos online frequentemente lutam para distinguir entre estados novos causados por deslocamento de distribuição e aqueles que são simplesmente parte do processo normal de inferência, levando a atualizações de política instáveis ou falha em adaptar.

Metodologia
Os autores propõem o RAIL (Aprendizado por Imitação Robusto Offline para Adaptativo Online), um framework de vida inteira e multifásico projetado para mitigar o deslocamento de distribuição através de duas etapas distintas:

1. Fase de Treinamento Offline (Robustez):

   • Utilização de Dados: O framework aproveita não apenas demonstrações de especialistas ($D_E$), mas também demonstrações suplementares ($D_S$). $D_S$ inclui trajetórias de novatos, especialistas subótimos ou dados de simulação gerados automaticamente. Estes fornecem uma cobertura mais ampla de estados-ações.
   • Discriminador com Regularização: Para utilizar efetivamente $D_S$, os autores treinam um discriminador para distinguir entre dados de especialistas e suplementares. Reconhecendo que discriminadores padrão sofrem de instabilidade e viés quando os conjuntos de dados estão desbalanceados, eles introduzem um novo termo de regularização ($L_{reg}$).
   • Mecanismo: Este termo guia o discriminador a aproximar as distribuições empíricas de estados-ações de ambos os conjuntos de dados usando Modelos de Mistura Gaussiana (GMM) e verossimilhanças de política aprendidas. Isso estabiliza o aprendizado do discriminador, particularmente nos estágios iniciais, permitindo que ele estime com mais precisão a otimalidade das amostras de treinamento.
   • Treinamento da Política: A saída otimizada do discriminador é usada para calcular pesos para Clonagem de Comportamento Ponderada (BC), permitindo que a política aprenda de forma robusta a partir de dados de qualidade mista.

2. Fase de Inferência Online (Adaptação):

   • Adaptação Auto-supervisionada: O framework trata experiências online como demonstrações suplementares. Ele emprega o mesmo procedimento de aprendizado baseado em discriminador usado na fase offline para calcular sinais de aprendizado auto-supervisionado.
   • Detecção de Deslocamento de Distribuição (UTM): Para evitar degradar a generalização ao aprender indiscriminadamente, o sistema emprega Gerenciamento de Tempo de Atualização (UTM). Ele calcula uma métrica de verossimilhança ($\kappa(s)$) para o estado atual. O aprendizado online é acionado apenas se $\kappa(s)$ cair abaixo de um limiar por um período sustentado ($N_{ds}$), indicando um deslocamento de distribuição persistente.
   • Atualizações Adaptativas: Quando um deslocamento é detectado, o discriminador e a política são atualizados usando a experiência online acumulada, ponderada pelo grau de deslocamento de distribuição ($\kappa(s)$). Estados distantes da distribuição offline recebem atualizações mais conservadoras.

Contribuições Principais

1. Framework RAIL: Um esquema unificado de vida inteira que aborda o deslocamento de distribuição de forma abrangente, combinando treinamento offline robusto com inferência online adaptativa.
2. Discriminador Regularizado: Um novo termo de regularização para o discriminador que estabiliza o treinamento e melhora a precisão da estimativa de otimalidade para amostras de dados de entrada, particularmente quando dados de especialistas e suplementares estão desbalanceados.
3. Aprendizado Online Adaptativo: Um método que calcula sinais auto-supervisionados usando o discriminador e restringe atualizações online a instâncias onde o deslocamento de distribuição é explicitamente detectado, garantindo adaptação estável.

Resultados Experimentais
Os autores avaliaram o RAIL em ambientes MuJoCo (Hopper, Halfcheetah, Walker2d, Ant) sob níveis variados de ruído gaussiano para induzir deslocamento de distribuição.

• Desempenho Offline: Em ambientes com ruído injetado, o RAIL superou consistentemente as linhas de base (BC Padrão, BC Estável e BC Baseado em Modelo). Os resultados sugerem que expandir a cobertura de estados via demonstrações suplementares reais é mais eficaz para robustez do que otimização de política isolada ou rolagens virtuais baseadas em modelo.
• Desempenho Online: Durante a inferência online, o RAIL demonstrou adaptação superior em comparação com BC, Beyond Imitation (BI) e GAIL. Enquanto o BC degradou devido a erros cumulativos e o BI lutou com sinais de auto-supervisão, o RAIL adaptou-se com sucesso.
• Eficiência: O estudo de ablação mostrou que remover a técnica UTM (RAIL-UTM) resultou em desempenho inferior e tempo de treinamento significativamente maior, destacando a importância da atualização seletiva. O RAIL alcançou uma redução de aproximadamente 54% no tempo de treinamento em comparação com o RAIL-UTM, mantendo um desempenho final superior.
• Estabilidade: A BC ponderada usada no RAIL forneceu aprendizado de política mais estável durante a adaptação online em comparação com as atualizações baseadas em TRPO usadas no GAIL.

Significado e Alegações
O artigo alega que o RAIL oferece uma solução prática para o problema de deslocamento de distribuição ao mudar o foco da otimização exclusiva de parâmetros de política para a expansão da cobertura de estados-ações através de dados suplementares. Ao integrar um discriminador estabilizado com um mecanismo de aprendizado online condicional, o framework permite que robôs permaneçam robustos contra estados não vistos durante o treinamento e se adaptem efetivamente quando tais estados são encontrados no mundo real. Os autores afirmam que essa abordagem fornece um caminho mais estável e eficiente para o aprendizado por imitação de vida inteira em comparação com estratégias existentes apenas offline ou apenas online.