Resumo Técnico: RENEW: Em Direção ao Aprendizado de Modelos de Mundo e Reparação da Exploração de Modelos a partir de Preferências

Declaração do Problema

O aprendizado por reforço (RL) baseado em modelos depende de modelos de mundo aprendidos (modelos de dinâmica) para melhorar a eficiência de amostragem através da geração de experiência sintética. No entanto, em cenários offline onde agentes aprendem a partir de conjuntos de dados fixos, esses modelos sofrem de exploração de modelo (model exploitation). Quando uma política otimiza contra um modelo de mundo imperfeito, ela pode descobrir e explorar transições imprecisas (por exemplo, atravessar paredes via teletransporte) para alcançar retornos artificialmente altos que não se transferem para o ambiente real.

As soluções existentes geralmente se enquadram em duas categorias, ambas com limitações significativas:

1. Coletar mais dados: Reunir demonstrações expert adicionais em regiões de falha do modelo é frequentemente caro, inseguro ou impossível (ex: modos de falha raros em robótica ou condução autônoma).
2. Algoritmos conservadores: Penalizar visitas a estados incertos ou restringir políticas à distribuição comportamental troca exploração e generalização por robustez, limitando a utilidade dos métodos baseados em modelos.

Os autores propõem uma nova questão: Podemos corrigir a dinâmica de um modelo de mundo sem coletar mais demonstrações? Eles observam que, embora demonstrar o comportamento correto exija perícia de domínio, identificar dinâmicas incorretas (violações de física intuitiva como solidez ou permanência de objeto) é frequentemente trivial para humanos.

Metodologia

O artigo introduz dois componentes principais: um novo framework de aprendizado e um algoritmo para otimizá-lo.

1. Aprendizado de Dinâmica a partir de Feedback Humano (DLHF)

Os autores formalizam o DLHF, um framework que substitui o modelo de recompensa no padrão de Aprendizado por Reforço a partir de Feedback Humano (RLHF) por um modelo de dinâmica.

• Ideia Central: Em vez de pedir aos humanos para comparar trajetórias com base no sucesso da tarefa (o que poderia reforçar a exploração, ex: preferir uma trajetória que atravessa uma parede via teletransporte por ser mais rápida), os humanos são solicitados a comparar segmentos de trajetória com base na plausibilidade física.
• Formulação:
  • Seja $\hat{T}_\theta$ o modelo de dinâmica aprendido.
  • A log-verossimilhança de um segmento de trajetória $\sigma$ sob o modelo é definida como $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$.
  • No framework de preferência de Bradley-Terry, a probabilidade de o segmento $\sigma_0$ ser preferido sobre $\sigma_1$ é modelada como:
    $$P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$$
  • Os parâmetros do modelo $\theta$ são atualizados minimizando a perda de entropia cruzada contra os rótulos de preferência humana. Isso permite que o modelo de dinâmica seja supervisionado diretamente por preferências binárias sem a necessidade de rótulos de recompensa, demonstrações expert ou interação com o ambiente.

2. RENEW (Reparação de Exploração com Preferências de Modelo de Mundo Elicitadas)

Os autores observam que o DLHF ingênuo é ineficiente em termos de amostragem porque a amostragem uniforme de pares de trajetórias desperdiça orçamento em transições que o modelo já prevê bem. O RENEW aborda isso utilizando a incerteza epistêmica para direcionar as consultas de preferência.

• Consulta Ativa: O RENEW identifica pares estado-ação onde o modelo possui alta incerteza epistêmica (ex: via discordância de ensemble).
• Amostragem Direcionada: Ele gera pares de segmentos de trajetória começando a partir dessas regiões de alta incerteza.
• Ajuste Fino Iterativo: O processo itera:
  1. Computar a incerteza epistêmica $u$ sob o modelo atual.
  2. Amostrar pares de segmentos proporcionalmente a $u$.
  3. Elicitar preferências humanas (ou de um oráculo) para esses pares.
  4. Realizar o ajuste fino (finetuning) do modelo usando a perda de DLHF.
  5. Recomputar a incerteza e repetir.
• Objetivo: Isso concentra o orçamento de preferência nas regiões específicas onde o modelo é mais vulnerável à exploração, melhorando a eficiência de amostragem e evitando o esquecimento catastrófico de dinâmicas corretas previamente aprendidas.

Principais Contribuições

1. Framework DLHF: Uma formulação inovadora para aprender dinâmicas de transição diretamente das preferências humanas, deslocando o sinal de supervisão do sucesso da tarefa (recompensa) para o realismo físico (dinâmica).
2. Algoritmo RENEW: Um algoritmo de aprendizado ativo que utiliza a incerteza epistêmica para tornar o aprendizado de dinâmica baseado em preferência eficiente em termos de amostragem, visando especificamente regiões propensas à exploração do modelo.
3. Validação Empírica: Demonstração de que preferências binárias podem aprender modelos de mundo do zero e reparar modelos pré-treinados sem a necessidade de demonstrações adicionais ou interação com o ambiente.

Resultados Experimentais

Os autores avaliaram sua abordagem nos ambientes Jumanji (mundos de grade discretos como Maze, Sliding Tile, Sokoban) e Classic Control (MountainCar, Acrobot).

• Viabilidade do DLHF: O DLHF ingênuo pode aprender modelos de mundo simples do zero usando apenas preferências, mas requer um orçamento massivo (aprox. 1 milhão de rótulos de preferência) para igualar o desempenho de 1 mil transições supervisionadas.
• Eficiência de Amostragem do RENEW:
  • Sob o mesmo orçamento de preferência, o RENEW supera significativamente o DLHF ingênuo. Por exemplo, no ambiente Sliding Tile 3x3, o RENEW reduziu aproximadamente pela metade o erro final em comparação com a amostragem uniforme.
  • Esquecimento Catastrófico: No ambiente Sokoban, o DLHF ingênuo degradou o desempenho de um modelo pré-treinado, enquanto o RENEW o melhorou. Isso sugere que a consulta ativa evita a sobrescrita de dinâmicas corretas por atualizações provenientes de transições imaginadas imprecisas.
• Reparação de Exploração: Nos experimentos de ajuste fino em ambientes Maze (5x5 a 20x20) com um orçamento fixo de 1.600 rótulos, o RENEW reduziu tanto o erro de previsão quanto a incerteza epistêmica de forma mais eficaz que o ajuste fino ingênuo. Ele alcançou maior precisão de transição (ex: 97,2% vs 93,2% no Maze 10x10) e intervalos de confiança mais estreitos.
• Controle Contínuo: Embora aprender dinâmicas contínuas a partir de preferências seja mais difícil devido a sinais de preferência menos distintos, o DLHF ainda alcançou paridade próxima com as linhas de base supervisionadas em MountainCar e Acrobot. O RENEW mostrou vantagens na eficiência de amostragem quando os passos de gradiente eram limitados (ex: em $K=8$ candidatos).

Significância e Alegações

O artigo afirma fornecer evidência inicial de que preferências podem supervisionar as dinâmicas de um modelo de mundo diretamente. A significância reside em:

• Supervisão Direta de Dinâmica: Ao contrário de trabalhos anteriores que usam preferências para aprender funções de recompensa ou alinhar políticas, este trabalho as utiliza para aprender o próprio modelo de transição.
• Sem Necessidade de Dados Expert: A abordagem não requer demonstrações expert, rótulos de recompensa ou interação com o ambiente, abordando um grande gargalo no aprendizado por reforço baseado em modelos offline.
• Mecanismo Prático de Reparação: O RENEW oferece uma alternativa pragmática à coleta de mais dados ou à restrição da exploração, permitindo a reparação da exploração de modelo em modelos pré-treinados usando um orçamento limitado de consultas de preferência.

Os autores mantêm-se modestos quanto ao escopo atual, observando que os experimentos utilizaram oráculos sintéticos em vez de anotadores humanos reais e foram limitados a ambientes discretos pequenos e de baixa dimensionalidade contínua. Eles identificam a validação com rótulos humanos ruidosos e a escala para espaços de observação de alta dimensão como próximos passos críticos.