Resumo Técnico: Políticas de Recuperação Sensíveis a Diferenças para Aprendizado por Imitação (DARP)

Declaração do Problema

O aprendizado por imitação paramétrico via Clonagem de Comportamento (BC) frequentemente sofre com uma baixa generalização para estados fora da distribuição (OOD). Embora o BC minimize o risco supervisionado em estados de especialistas, ele falha em controlar a variância em regiões de baixa densidade do espaço de estados encontradas durante os rollouts de malha fechada. Pequenos erros se acumulam (desvio de covariável), levando o agente a estados onde a política aprendida produz um comportamento de alta variância e instável, resultando frequentemente em falhas na tarefa. As soluções existentes para mitigar erros cumulativos muitas vezes exigem suposições adicionais, como simuladores, feedback interativo do especialista ou grandes quantidades de dados subótimos, indo além do regime padrão de BC de aprender exclusivamente a partir de pares estado-ação de especialistas.

Metodologia

O artigo introduz as Políticas de Recuperação Sensíveis a Diferenças para Aprendizado por Imitação (DARP), uma abordagem de recuperação semi-paramétrica que aborda essas limitações sem exigir coleta de dados adicional ou supervisão.

Fundamentação Teórica

Os autores estabelecem primeiro que impor consistência local no aprendizado de políticas corresponde à regularização de variedade (suavização Laplaciana). Eles definem um objetivo de Aprendizado por Imitação Regularizado por Variedade (MRIL) que adiciona uma penalidade de suavidade ao erro padrão de BC, penalizando variações de alta frequência entre estados vizinhos de especialistas. A análise teórica (Teorema 1) demonstra que o MRIL reduz a variância do estimador, garante continuidade Lipschitz local e melhora a estabilidade da política em comparação ao BC vanilla.

Regularização Implícita via Arquitetura

Em vez de otimizar explicitamente o objetivo regularizado (que requer o ajuste de um hiperparâmetro $\lambda$), o artigo propõe o Aprendizado por Imitação Regularizado por Variedade Implícito (iMRIL). Esta abordagem alcança os benefícios da suavização Laplaciana modificando a arquitetura da política em vez da função de perda.

• Mecanismo: Em vez de aprender um mapeamento direto $f(s)$, a política prevê ações baseadas em um vizinhança de $k$-vizinhos mais próximos (k-NN) recuperados do conjunto de dados de treinamento.
• Equivalência: Os autores provam (Teorema 2) que o iMRIL é equivalente a uma regularização Laplaciana livre de parâmetros com uma força de suavização efetiva de $\lambda \approx 1$. A etapa de agregação de vizinhos atua como um filtro espectral de passa-baixa fixo no grafo k-NN, suprimindo a variância de alta frequência enquanto preserva os modos de baixa frequência.

Algoritmo DARP

O DARP instancia o iMRIL com uma parametrização específica projetada para capturar a geometria local:

1. Recuperação: Para um estado de consulta $s_q$, o algoritmo recupera $k$-vizinhos mais próximos $(s^*_i, a^*_i)$ do conjunto de dados do especialista $D^*$ com base em uma métrica de distância.
2. Parametrização Sensível a Diferenças: A inovação central é a representação de entrada para a rede neural $f_\theta$. Em vez de simplesmente processar o estado vizinho, $f_\theta$ recebe uma tupla composta por:
   • O estado vizinho $s^*_i$
   • A ação do especialista do vizinho $a^*_i$
   • O vetor de diferença $\Delta s_i = s^*_i - s_q$
     Isso permite que o modelo aprenda como as ações dos especialistas variam sob perturbações locais em relação ao estado de consulta.
3. Agregação: A rede produz ações candidatas $a'_i = f_\theta(s^*_i, a^*_i, \Delta s_i)$. Estas candidatas são agregadas via uma função invariante à permutação $g_\psi$ (por exemplo, média simples, Set Transformer ou um cabeçalho de modelo generativo) para produzir a predição de ação final $\hat{a}_q$.
4. Treinamento: O modelo é treinado usando o objetivo padrão de aprendizado por imitação (minimizando a discrepância entre a predição agregada e a ação do especialista), não exigindo termos de perda ou hiperparâmetros adicionais além do BC padrão.

Principais Contribuições

1. Novo Algoritmo: A introdução do DARP, que reparametriza o aprendizado por imitação em termos de diferenças relativas entre estados de consulta e vizinhos recuperados, em vez de mapeamentos diretos de estado-para-ação.
2. Insight Teórico: Uma prova formal de que a arquitetura proposta realiza implicitamente a suavização Laplaciana, fornecendo redução de variância e garantias de estabilidade sem termos de regularização explícitos.
3. Design Semi-Paramétrico: Um método que combina a robustez de métodos locais não paramétricos (recuperação) com a estabilidade de políticas globais paramétricas, operando estritamente dentro do regime padrão de BC (sem dados ou feedback extras).
4. Análise Arquitetural: Identificação de componentes críticos, especificamente a necessidade de vetores de diferença e agregação invariante à permutação, através de estudos de ablação abrangentes.

Resultados Experimentais

Os autores avaliam o DARP em controle contínuo (MuJoCo), manipulação robótica (Robosuite, RoboCasa) e tarefas visuais de alta dimensão.

• Ganhos de Desempenho: O DARP supera consistentemente o Behavior Cloning padrão e outros baselines (incluindo Regressão Localmente Ponderada e métodos de regularização explícita). As melhorias variam de 15% a 46% em diversos domínios.
  • Em tarefas de locomoção MuJoCo, o DARP alcançou pontuações significativamente superiores ao BC (ex: ~3545 vs. ~2313 no Hopper).
  • Em tarefas de manipulação Robosuite e RoboCasa, o DARP dobrou a taxa de sucesso do BC em cenários reais de montagem de móveis (92% vs. 44%).
• Generalização: O DARP mantém as melhorias de desempenho ao utilizar características visuais de alta dimensão (embeddings R3M) e distribuições de ação multimodais (ex: Modelos de Mistura Gaussiana, Modelos de Difusão).
• Achados de Ablação:
  • Vetores de Diferença: Remover o vetor de diferença ($\Delta s_i$) degrada significativamente o desempenho, confirmando que aprender mudanças relativas é crucial.
  • Invariância à Permutação: Usar um agregador dependente de permutação reduz drasticamente as taxas de sucesso.
  • Seleção de Vizinhos: A seleção de vizinhos aleatórios apresenta um desempenho ruim, validando a importância de métricas de distância significativas.
• Análise de Divergência: Nos rollouts onde o BC falha e o DARP tem sucesso, o ponto de divergência ocorre quando o estado de consulta é OOD (baixa probabilidade de estado), mas o vetor de diferença relativo aos vizinhos permanece dentro da distribuição (alta probabilidade de delta). Isso apoia a hipótese de que a reparametrização do DARP melhora a estabilidade da predição em regiões OOD.

Significância e Alegações

O artigo afirma que o DARP oferece uma arquitetura geral e escalável para aprendizado por imitação que se estende naturalmente para representações e distribuições de ação complexas. Ao reparametrizar o problema para focar em estruturas de vizinhança local e diferenças relativas, o DARP alcança a robustez dos métodos locais e a estabilidade das políticas globais regularizadas sem o overhead computacional ou de dados das técnicas avançadas existentes. Os autores afirmam que esta abordagem fornece uma forma de suavização livre de parâmetros que se adapta à densidade e geometria locais, reduzindo significativamente a variância das políticas de BC e aumentando a robustez ao desvio de distribuição, aderindo estritamente às suposições padrão de clonagem de comportamento.