Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

Resumo Técnico: Clonagem Comportamental Ponderada por Razão de Densidade

Enunciado do Problema
O aprendizado por reforço (RL) offline permite a otimização de políticas a partir de conjuntos de dados fixos, oferecendo uma solução crítica para domínios de segurança crítica, como veículos autônomos e robótica industrial, onde a exploração online é inviável. No entanto, conjuntos de dados do mundo real são frequentemente comprometidos por envenenamento de dados decorrente de falhas de sensores, ataques ciber-físicos, erros de anotação ou manipulações adversariais. A Clonagem Comportamental (BC) padrão e os algoritmos de RL offline tratam implicitamente todas as trajetórias como igualmente confiáveis, misturando amostras limpas e corrompidas durante a otimização. Isso leva a desempenho degradado da política, instabilidade ou violações de segurança, particularmente sob envenenamento moderado a severo, onde anomalias sutis podem interromper tarefas de controle, como o rastreamento de trajetória. Estudos existentes de robustez frequentemente focam em canais de corrupção específicos ou assumem distribuições de mistura conhecidas, deixando uma lacuna no tratamento de mecanismos de contaminação arbitrários e desconhecidos em conjuntos de dados de controle offline.

Metodologia
O artigo propõe a Clonagem Comportamental Ponderada por Razão de Densidade (BC Ponderada), um framework robusto de aprendizado por imitação projetado para aprender a partir de conjuntos de dados offline contaminados sem conhecimento prévio do mecanismo de corrupção. A metodologia central baseia-se em três etapas:

1. Utilização de Conjunto de Referência: A abordagem assume acesso a um pequeno conjunto de referência verificado e disjunto ($D_{ref}$) de trajetórias de especialistas limpas, distinto do conjunto de dados principal potencialmente contaminado ($D$).
2. Estimativa de Razão de Densidade Baseada em Discriminador: Um discriminador binário $d_\phi$ é treinado para distinguir entre trajetórias do conjunto de referência limpo (classe 1) e o conjunto de dados principal contaminado (classe 0). O discriminador minimiza uma perda de entropia cruzada binária. Sob amostragem balanceada, a razão de densidade $r(\tau) = p_{clean}(\tau)/p(\tau)$ é recuperada como $d_\phi(\tau) / (1 - d_\phi(\tau))$.
3. Objetivo Ponderado: Essas razões estimadas são recortadas para um intervalo determinístico $[\epsilon, C]$ para garantir estabilidade numérica e usadas como pesos no objetivo da Clonagem Comportamental. A perda empírica torna-se:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   onde $w_i = \text{clip}(r(\tau_i), \epsilon, C)$. Este esquema de ponderação prioriza trajetórias que se assemelham ao comportamento limpo do especialista, enquanto reduz o peso ou descarta segmentos anômalos.

O método é avaliado contra quatro protocolos específicos de envenenamento aplicados a benchmarks de controle contínuo:

• Envenenamento de Recompensa: Inversão de recompensas positivas para penalizar bom comportamento.
• Envenenamento de Estado: Adição de ruído gaussiano aos estados para simular falha de sensor.
• Envenenamento de Transição: Embaralhamento de observações do próximo estado para interromper ligações causais.
• Envenenamento de Ação: Perturbação de ações com ruído gaussiano.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Proposta Algorítmica: Introduz a BC Ponderada, que utiliza pequenos conjuntos de referência verificados para identificar e reduzir o peso de trajetórias corrompidas via ponderação baseada em discriminador. Isso permite aprendizado de política robusto sem exigir conhecimento do mecanismo específico de corrupção.
2. Fundamentos Teóricos: Os autores estabelecem garantias teóricas, incluindo limites de aproximação de risco limpo uniforme e garantias de excesso de risco limpo para a política aprendida. Crucialmente, mostra-se que esses limites são independentes da taxa de contaminação ($\alpha$) sob limiares de recorte apropriados, separando erros de amostra finita, erros do discriminador e viés de recorte.
3. Framework de Avaliação: Um framework de avaliação abrangente é estabelecido, incorporando vários cenários de envenenamento (ação, estado, transição e recompensa) em benchmarks de controle contínuo (D4RL), abordando uma lacuna na literatura existente que frequentemente assume tipos específicos de corrupção.

Resultados
Experimentos foram conduzidos em benchmarks D4RL (HalfCheetah, Ant, Hopper, Walker2d) com níveis de contaminação variando de 20% a 100% ($\alpha \in \{0.2, \dots, 1.0\}$). A BC Ponderada foi comparada com BC Tradicional, Aprendizado Q com Restrição de Lote (BCQ) e Actor-Critic Regularizado por Comportamento (BRAC).

• Robustez: A BC Ponderada manteve desempenho quase ótimo mesmo em altas taxas de contaminação ($\alpha \ge 0.8$), enquanto as linhas de base sofreram degradação significativa.
• Envenenamento de Ação: Neste cenário, as linhas de base colapsaram (por exemplo, a BC Tradicional degradou-se para ~2.500 de retorno versus a BC Ponderada mantendo >10.000 no HalfCheetah em $\alpha=1.0$). O discriminador identificou com sucesso trajetórias com ações corrompidas como desviando da variedade comportamental.
• Envenenamento de Estado e Transição: A BC Ponderada mostrou estabilidade consistente, enquanto as restrições baseadas em VAE do BCQ falharam em modelar dinâmicas corrompidas, e o BRAC exibiu instabilidade sob corrupção de estado.
• Envenenamento de Recompensa: Como a BC depende de pares estado-ação e não de sinais de recompensa, a BC Ponderada manteve 80-90% do desempenho da linha de base, enquanto o BRAC falhou em vários ambientes.
• Retenção: A BC Ponderada reteve mais de 80% do desempenho limpo até 60% de contaminação em todos os tipos de envenenamento, superando significativamente a degradação linear observada na BC Tradicional.

Significado e Alegações
O artigo alega que a BC Ponderada fornece uma solução robusta para RL offline na presença de envenenamento de dados arbitrário, um requisito crítico para implantar controladores baseados em aprendizado em sistemas de segurança crítica. Ao alavancar um pequeno conjunto de referência verificado, o método filtra efetivamente dados corrompidos sem necessidade de modelar a natureza específica do ataque. A análise teórica confirma que a abordagem converge para a política de especialista limpa com limites de amostra finita que não dependem da severidade da contaminação. Empiricamente, o método demonstra resiliência superior em comparação com algoritmos de RL offline mais avançados, particularmente em regimes de alta contaminação onde métodos padrão falham. O trabalho enfatiza que a avaliação ao nível da trajetória é essencial para capturar consistência temporal e anomalias relevantes para o controle, distinguindo-se de métodos que abordam apenas artefatos isolados de estado-ação.