Resumo Técnico: Inferência de Recompensa Supervisionada (SRI)

Declaração do Problema

As abordagens tradicionais para inferência de recompensa, como a Aprendizagem por Reforço Inverso (IRL), dependem tipicamente da premissa de que as demonstrações humanas são geradas de acordo com um modelo de comportamento específico e conhecido (ex: otimalidade ruidosa, racionalidade limitada). No entanto, o comportamento humano no mundo real é frequentemente subótimo devido a falhas de planejamento, erros de execução ou gestos não otimizais intencionais usados puramente para comunicar objetivos. Métodos existentes têm dificuldade quando o modelo de comportamento assumido é mal especificado, levando a uma inferência de recompensa incorreta. Embora trabalhos anteriores tentem aprender modelos de comportamento a partir de dados, essas abordagens frequentemente enfrentam limitações, como serem restritas a cenários tabulares ou falharem em lidar efetivamente com comportamentos arbitrariamente subótimos.

O problema central abordado é como inferir funções de recompensa a partir de uma ampla gama de comportamentos humanos — incluindo comportamentos arbitrariamente subótimos ou destinados à comunicação em vez de otimização — sem depender de suposições fortes e potencialmente incorretas sobre o modelo de comportamento subjacente.

Metodologia: Inferência de Recompensa Supervisionada (SRI)

Os autores propõem a Inferência de Recompensa Supervisionada (SRI), um framework que reformula a inferência de recompensa como um problema de aprendizagem supervisionada. Em vez de aprender um modelo de comportamento que mapeia recompensas para ações e então invertê-lo, a SRI aprende diretamente um mapeamento de trajetórias de comportamento para funções de recompensa usando um conjunto de dados de comportamentos pareados com recompensas de verdade fundamental (ground-truth).

Framework Central

Dado um conjunto de dados de tarefas onde cada tarefa $k$ consiste em:

1. Um conjunto de trajetórias de comportamento $\{\tau_{k,i}\}$ (que podem ser arbitrariamente subótimas).
2. Um conjunto de pares estado-recompensa $\{(s_{k,j}, r_{k,j})\}$ amostrados da mesma tarefa.

A SRI treina uma rede neural para prever a recompensa $r(s)$ para um dado estado $s$, condicionado às trajetórias de comportamento. A arquitetura consiste em dois componentes principais:

• Codificador de Tarefa ($f_{\theta_f}$): Codifica um conjunto de trajetórias de comportamento em um embedding de tarefa de dimensão fixa $\psi$. Nos experimentos, utiliza um Transformer para codificação de trajetória e um Set Transformer para o agrupamento (pooling) de múltiplas trajetórias.
• Modelo de Recompensa ($g_{\theta_g}$): Recebe o embedding da tarefa $\psi$ e um estado $s$ como entrada para prever o valor da recompensa.

O objetivo de treinamento é minimizar o erro quadrático médio entre as recompensas previstas e as recompensas de verdade fundamental sobre o conjunto de dados:
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

Garantias Teóricas

O artigo fornece uma prova teórica de que a SRI é assintoticamente Bayes-ótima. Sob suposições padrão (espaços de estado/ação compactos, retornos limitados e capacidade de modelo suficiente), conforme o tamanho do conjunto de dados se aproxima do infinito, a função de recompensa inferida converge uniformemente para a média posterior da recompensa dado o comportamento. Consequentemente, a política ótima derivada desta recompensa inferida converge para a política que maximiza o retorno esperado sob a distribuição posterior real das recompensas. Isso se mantém para qualquer classe fixa de comportamento, desde que a distribuição de comportamento no momento da implantação coincida com a distribuição de treinamento.

Extensões

Os autores demonstram que este template de inferência supervisionada generaliza para outras tarefas de inferência de intenção:

• Inferência de Objetivo Supervisionada (SGI): Prevendo representações de objetivos latentes diretamente do comportamento.
• Inferência de Ação Supervisionada (SAI): Prevendo ações ótimas diretamente do comportamento e do estado.

Contribuições Principais

1. Framework Inovador: Introdução da SRI, que elimina a necessidade de modelagem explícita de comportamento ao tratar a inferência de recompensa como uma tarefa direta de aprendizagem supervisionada.
2. Otimalidade Teórica: Prova de que a SRI alcança a Bayes-otimalidade assintótica para inferência de recompensa e aprendizagem por imitação sob suposições padrão, sem a necessidade de conhecimento do modelo de comportamento.
3. Robustez à Subotimalidade: Demonstração de que a SRI pode inferir recompensas precisas a partir de comportamentos altamente subótimos, ruidosos e até comportamentos de não-demonstração (ex: gestos que nunca completam a tarefa) onde métodos tradicionais de IRL falham.
4. Generalização: Extensão do framework para Inferência de Objetivo Supervisionada (SGI) e Inferência de Ação Supervisionada (SAI), mostrando a versatilidade da abordagem de inferência de intenção supervisionada.

Resultados Experimentais

Os autores avaliaram a SRI em dois benchmarks distintos:

1. Tarefas de Robótica Meta-World (Controle Contínuo)

• Configuração: As tarefas incluíram "Reach" (Alcançar) e "Pick-Place" (Pegar-Colocar) com objetivos distribuídos aleatoriamente.
• Classes de Comportamento: O sistema foi testado em cinco classes de demonstrações, incluindo ações ruidosas, desvios sistematicamente errados e demonstrações de "Gesto" (Gesture), onde o robô aponta para o objetivo mas nunca pega ou coloca o objeto.
• Descobertas:
  • A SRI alcançou um desempenho próximo ao teto (0,822 de proximidade de objetivo normalizada) em tarefas de Pick-Place usando apenas demonstrações de "Gesto", enquanto todas as linhas de base de aprendizagem por imitação (BC, GAIL, AIRL) falharam (desempenho $\le 0$).
  • A SRI demonstrou robustez a subotimalidades arbitrárias, inferindo políticas próximas da ótima mesmo quando as demonstrações eram altamente ruidosas ou sistematicamente enviesadas.
  • O desempenho escalou suavemente com a quantidade de dados, mostrando forte eficiência de dados.

2. Benchmark de Gridworld de Shah et al. (2019) (Tabular)

• Configuração: Um benchmark tabular comparando a SRI contra métodos anteriores para comportamento arbitrariamente subótimo, incluindo o algoritmo de "Planejamento Inverso" (IP) de Shah et al. (2019).
• Descobertas:
  • A SRI (adaptada para receber entradas de política) alcançou desempenho próximo ao teto em todas as classes de demonstradores (ótimo, ingênuo, sofisticado, míope, etc.) e suas variantes ruidosas.
  • A SRI superou ou igualou o estado da arte dos métodos IP, sugerindo que aprender diretamente o mapa inverso (política-para-recompensa) é mais eficaz do que aprender um planejador e invertê-lo, mesmo em cenários tabulares.

Significância e Alegações

O artigo afirma que a SRI representa uma mudança de paradigma da engenharia de modelo de comportamento para a aprendizagem supervisionada baseada em dados. Ao visualizar o comportamento como uma indicação de intenção em vez de uma tentativa de otimização, a SRI contorna a fragilidade associada à má especificação do modelo.

Os autores enfatizam que:

• A SRI é uma "solução parcimoniosa porém poderosa" que aproveita técnicas padrão de aprendizagem supervisionada.
• Ela permite o uso de avanços em aprendizagem de representação e modelos pré-treinados (ex: Transformers) sem a necessidade de projetar vieses indutivos específicos de RL.
• O método é universalmente aplicável a qualquer distribuição de comportamento fixa, desde que haja supervisão de recompensa indexada por tarefa suficiente durante o treinamento.
• Embora os experimentos atuais assumam o acesso a recompensas de simulador para o treinamento, o framework é projetado para ser compatível com futuras extensões onde as recompensas são estimadas a partir de anotações esparsas ou preferências.

O artigo conclui que algoritmos menos enviesados, quando providos de dados suficientes, podem superar abordagens baseadas em modelos mais enviesadas na inferência de recompensa, apoiando a "lição amarga" (bitter lesson) de que escalar dados e computação frequentemente produz melhores resultados do que suposições manuais.