Resumo Técnico: DIBS (Decoupled Behavioral Cloning) para Generalização Indutiva Escalável em RL a partir de Especificações

Declaração do Problema

O artigo aborda o desafio da generalização indutiva em Aprendizado por Reforço (RL). Neste framework, os agentes devem aprender políticas que se transfiram para novas instâncias de tarefas não vistas dentro de uma "família indutiva". Essas famílias consistem em tarefas que compartilham uma estrutura lógica (frequentemente definida por especificações de lógica temporal como SPECTRL), mas diferem na instanciação de predicados de baixo nível (ex: localizações de alvos, posições de obstáculos) com base em um índice $i$.

A intuição central é que tarefas indutivamente relacionadas devem possuir políticas indutivamente relacionadas. O trabalho anterior, especificamente o GenRL [32], tenta capturar isso aprendendo uma função de evolução de política de ordem superior $\Omega: \Pi \to \Pi$, tal que $\pi_{i+1} = \Omega(\pi_i)$. O GenRL aproxima $\Omega$ como um polinômio sobre parâmetros de política, definido por um conjunto de coeficientes $\kappa$.

No entanto, o GenRL sofre de um gargalo fundamental de escalabilidade de treinamento. Ele aprende os coeficientes $\kappa$ via um loop de RL acoplado, onde a política para cada tarefa é gerada pela estimativa atual de $\kappa$, executada e, então, utilizada para atualizar $\kappa$ com base em recompensas agregadas. À medida que o número de tarefas de treinamento ($|Train|$) cresce, esse feedback de recompensa agregada torna-se ruidoso e conflitante. Essa instabilidade impede a convergência do loop de treinamento, enfraquecendo a capacidade do agente de generalizar para índices não vistos.

Metodologia: DIBS

Os autores propõem o DIBS (Decoupled Inductive Behavioral Cloning), um framework que resolve o gargalo de escalabilidade ao separar o aprendizado de políticas específicas de tarefa do aprendizado da função de evolução. O processo consiste em duas etapas distintas:

Estágio I: Agregação de Conjunto de Dados Rotulado por Professor

Em vez de aprender políticas e coeficientes simultaneamente, o DIBS primeiro aprende de forma independente uma política "professor" $\hat{\pi}_i$ para cada tarefa de treinamento $R_i$ usando algoritmos de RL padrão (ex: PPO). Para garantir que esses professores independentes possam ser ajustados por um único template polinomial, o DIBS aborda dois desafios específicos:

1. Deriva do Professor entre Índices (Cross-Index Teacher Drift): O treinamento independente pode fazer com que políticas professor adjacentes derivem arbitrariamente no espaço de parâmetros, tornando-as difíceis de ajustar com um único polinômio suave.

   • Solução: Os autores introduzem a regularização entre índices durante o treinamento do professor. A função de perda para o professor $\hat{\pi}_i$ inclui um termo $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$, onde $\hat{\pi}_{i-}$ é o professor para o índice precedente. Isso impõe uma restrição de continuidade suave, enviesando o otimizador para soluções que evoluem suavemente através dos índices.

2. Cobertura e Rótulos Não Confiáveis: Rollouts on-policy padrão podem não cobrir todo o espaço de estados necessário para que o template generalize, enquanto dados off-policy (ex: de buffers de replay) podem conter estados de baixa qualidade onde as ações do professor são pouco confiáveis.

   • Solução: O DIBS emprega um filtro de confiança. Uma rede neural é treinada para distinguir entre estados de "alta qualidade" (visitados durante rollouts bem-sucedidos que satisfazem a especificação) e estados de "baixa qualidade" (provenientes de exploração inicial ou resets). Apenas pares estado-ação onde a probabilidade de confiança $p_{conf}(s)$ excede um limiar $\tau_c$ são retidos para formar o dataset final $\tilde{D}_i$.

Estágio II: Aprendizado de $\kappa$ via Clonagem Comportamental

No segundo estágio, os coeficientes $\kappa$ são aprendidos via Clonagem Comportamental (BC).

• O algoritmo ajusta o template polinomial $\Omega$ (parametrizado por $\kappa$) aos conjuntos de dados rotulados pelos professores agregados $\{\tilde{D}_i\}_{i \in Train}$.
• O objetivo é minimizar o erro quadrático entre as ações geradas pela política template desenrolada $\pi_i$ e as ações do professor $\hat{\pi}_i$:
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• Isso substitui a agregação de recompensa multitarefa ruidosa do GenRL por um aprendizado supervisionado denso e estável. Como os professores são fixos durante esta fase, o loop de feedback desestabilizador é eliminado.

Principais Contribuições

1. Algoritmo (DIBS): Uma abordagem desacoplada que substitui o instável loop de RL multitarefa do GenRL por um pipeline de aprendizado supervisionado estável.
2. Técnicas:
   • Regularização entre índices: Garante que as políticas professor evoluam suavemente através dos índices da tarefa, facilitando o ajuste polinomial.
   • Filtragem de dataset baseada em confiança: Garante que o dataset de clonagem comportamental contenha apenas pares estado-ação de alta qualidade, mitigando o risco de aprender com ações não confiáveis do professor em estados inexplorados.
3. Flexibilidade: Ao contrário do GenRL, que é estritamente acoplado ao algoritmo ARS (Augmented Random Search), o DIBS permite o uso de qualquer algoritmo de RL padrão para a fase de treinamento do professor.

Resultados Empíricos

Os autores avaliaram o DIBS em quatro ambientes de controle contínuo que abrangem diversas complexidades dinâmicas: CAR2D (movimento planar), REACHER (manipulação), SIMPLEDRONE e DRONEATTITUDE (navegação 3D e controle de atitude).

• Escalabilidade de Treinamento: O DIBS demonstrou uma estabilidade significativamente melhor à medida que o número de tarefas de treinamento aumentava. Agregado entre os benchmarks, o DIBS alcançou uma melhoria de 3,82$\times$ na fração de índices de treinamento resolvidos em comparação ao GenRL.
• Generalização Zero-Shot: O DIBS superou o GenRL e outros baselines (MAML, VariBAD, BC padrão, ARS) na resolução de tarefas não vistas. Alcançou uma melhoria de 6,19$\times$ na fração de índices não vistos resolvidos em comparação ao GenRL.
• Estudos de Ablação:
  • Remover o desacoplamento (retornando ao loop acoplado do GenRL) causou o colapso do desempenho em ambientes mais difíceis (ex: REACHER com mais blocos).
  • Remover a regularização entre índices levou a uma queda abrupta na generalização (ex: de 26 para 3 tarefas não vistas resolvidas no SIMPLEDRONE), confirmando a necessidade de uma evolução suave do professor.

Significância e Alegações

O artigo afirma que o DIBS aborda fundamentalmente as limitações de escalabilidade dos métodos de generalização indutiva anteriores. Ao desacoplar o aprendizado de políticas de tarefas específicas do aprendizado da regra de generalização, o método:

1. Elimina a Instabilidade: Remove os erros cumulativos e os sinais de recompensa ruidosos inerentes aos loops de RL acoplados.
2. Permite a Escalabilidade: Permite que o sistema lide com famílias maiores de tarefas e ambientes dinâmicos mais complexos (tarefas de longo horizonte e com ramificações) onde métodos anteriores falham.
3. Melhora a Generalização: A estabilidade do processo de treinamento correlaciona-se diretamente com a capacidade de extrair estrutura generalizável, levando a um desempenho superior em zero-shot.

Os autores posicionam o DIBS como uma solução robusta para cenários onde as tarefas exibem variações sistemáticas (famílias indutivas) definidas por lógica temporal, oferecendo um caminho prático para agentes de RL generalizáveis e escaláveis.