CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning

Resumo Técnico: CRED – Raciocínio Contrafactual e Design de Ambiente para Aprendizado Ativo de Preferências

Enunciado do Problema
À medida que os sistemas robóticos operam em ambientes cada vez mais complexos e imprevisíveis, especificar explicitamente e equilibrar objetivos de otimização para alcançar comportamentos desejados torna-se inviável. Embora o Aprendizado Ativo de Preferências (APL) ofereça uma solução ao inferir funções de recompensa humana a partir de classificações de trajetórias, os métodos existentes enfrentam limitações significativas. As abordagens atuais normalmente amostram consultas de trajetórias a partir de conjuntos de dados fixos ou buffers de replay. Essa restrição limita a diversidade das consultas, frequentemente falhando em identificar comparações informativas necessárias para distinguir entre funções de recompensa concorrentes. Além disso, gerar consultas dentro de um único ambiente fixo limita o valor informativo dos dados, potencialmente levando a recompensas aprendidas que não se generalizam bem para cenários não vistos. O desafio central é gerar consultas de preferência de forma eficiente que maximizem o ganho de informação, garantindo ao mesmo tempo que a função de recompensa aprendida generalize-se através de contextos diversos.

Metodologia
O artigo propõe o CRED (Raciocínio Contrafactual e Design de Ambiente), um novo framework para APL que otimiza conjuntamente o design de ambiente e a seleção de trajetórias. O sistema opera como um problema de otimização em dois níveis (Fig. 2):

1. Raciocínio Contrafactual (Otimização Interna):
   Em vez de depender de execuções aleatórias ou buffers fixos, o CRED mantém uma distribuição de crença bayesiana sobre os pesos de recompensa desconhecidos $w$. Ele amostra vetores de pesos diversos dessa crença e faz perguntas contrafactuais: "E se este vetor de pesos específico fosse a preferência verdadeira?" Para cada peso amostrado $w_i$, o sistema gera uma trajetória ótima $\xi_i$ (usando Aprendizado por Reforço ou métodos de otimização de trajetória como CHOMP) que maximiza a recompensa sob aquela hipótese específica. Ao avaliar o ganho de informação (informação mútua entre a consulta e os pesos de recompensa) através de pares dessas trajetórias contrafactuais, o CRED identifica a comparação mais informativa a ser apresentada ao usuário.

2. Design de Ambiente (Otimização Externa):
   O CRED reconhece que o próprio ambiente dita quais trajetórias são viáveis e quais características são observáveis. Para maximizar a informatividade da consulta, o sistema trata os parâmetros do ambiente $\theta$ (por exemplo, tipos de terreno, posicionamento de obstáculos, condições de vento) como variáveis otimizáveis. Usando Otimização Bayesiana, o CRED busca configurações de ambiente que, quando combinadas com as trajetórias contrafactuais, produzam o maior ganho de informação esperado. Isso permite que o sistema "imagine" novos cenários (por exemplo, alterar o terreno de grama para cascalho) que exponham melhor as diferenças entre hipóteses de recompensa concorrentes.

Principais Contribuições

• Framework de Geração de Consultas Inovador: O CRED integra raciocínio contrafactual e design de ambiente para ir além de conjuntos de trajetórias fixos, permitindo a síntese de consultas de preferência diversas e altamente informativas.
• Formulação de Otimização em Dois Níveis: O artigo formaliza o problema como uma otimização em dois níveis, onde o loop externo seleciona o ambiente $\theta$ e o loop interno seleciona o par de trajetórias $(\xi_A, \xi_B)$, acoplando efetivamente o design de ambiente com a síntese de consultas.
• Integração de Inferência Bayesiana: O método utiliza um algoritmo adaptativo de Metropolis para manter uma crença sobre os pesos de recompensa, amostrando hipóteses diversas para impulsionar o processo de geração contrafactual.

Resultados Experimentais
Os autores avaliaram o CRED em três domínios de simulação (Lunar Lander, Manipulação em Mesa e Navegação) e em um estudo com usuários envolvendo 25 participantes.

• Precisão e Eficiência da Recompensa: Nas simulações, o CRED superou consistentemente as linhas de base mais avançadas (Execuções Aleatórias e Política de Crença Média). Ele alcançou maior precisão final de recompensa (por exemplo, 0,998 no Lunar Lander, 0,979 na Manipulação em Mesa) e convergiu significativamente mais rápido, frequentemente ultrapassando 95% de precisão dentro de 10 iterações.
• Estudos de Ablação: Os experimentos confirmaram que tanto o raciocínio contrafactual quanto o design de ambiente são complementares; a remoção de qualquer componente resultou em menor precisão ou convergência mais lenta.
• Comparação com Randomização de Domínio: O CRED superou significativamente a randomização de domínio (que amostra ambientes uniformemente ao acaso), demonstrando que buscar ativamente ambientes informativos via Otimização Bayesiana é superior à amostragem aleatória.
• Estudo com Usuários: Em tarefas de interação humano-robô, participantes que interagiram com o CRED relataram menor carga mental (medida pelo NASA-TLX) e encontraram as comparações de trajetórias mais fáceis de avaliar em comparação com os métodos de base. O CRED também alcançou maior correlação de recompensa com preferências de verdade em tarefas de manipulação e navegação.

Significado e Alegações
O artigo alega que o CRED representa um avanço significativo no aprendizado ativo de preferências ao abordar as limitações de escalabilidade e generalização dos métodos existentes. Ao otimizar conjuntamente o ambiente e a consulta, o CRED permite que robôs aprendam funções de recompensa que não são apenas mais precisas, mas também robustas em diferentes cenários. Os autores afirmam que sua abordagem permite um aprendizado mais eficiente com menos consultas ao usuário e reduz a carga cognitiva sobre os usuários humanos. O framework é apresentado como generalizável através de diferentes classes de políticas (por exemplo, PPO, iteração de valor) e domínios, embora os autores reconheçam a complexidade computacional da formulação em dois níveis como uma limitação atual.