Reward Learning through Ranking Mean Squared Error

Resumo Técnico: Aprendizado de Recompensa através do Erro Quadrático Médio de Ranking (R4)

Definição do Problema
A aplicação de Aprendizado por Reforço (RL) em problemas do mundo real é frequentemente limitada pela dificuldade do design de recompensas. A engenharia manual de recompensas é frequentemente um processo propenso a erros, baseado em tentativa e erro, que pode levar à especificação incorreta da recompensa, onde os agentes aprendem comportamentos indesejados. Embora o Aprendizado de Recompensa (inferência de recompensas a partir de feedback humano) ofereça uma alternativa, os métodos existentes possuem limitações. O RL baseado em preferências (PbRL), que se baseia em comparações binárias, é ineficiente em termos de amostras e fornece apenas informações relativas sem uma avaliação de qualidade absoluta. Por outro lado, abordagens recentes de RL baseado em classificações (RbRL) permitem que humanos atribuam classificações discretas e multiclasse (ex: "ruim", "neutro", "bom"), oferecendo um feedback mais rico. No entanto, os métodos de RbRL existentes, como os que utilizam perdas de entropia cruzada, impõem restrições rígidas à modelagem de recompensa, como a exigência de fronteiras de classe explícitas e a imposição de que trajetórias dentro da mesma classe de classificação possuam retornos previstos idênticos, ignorando assim a diversidade intraclasse.

Metodologia: Regressão de Retorno Ordenado para RL (R4)
Os autores propõem o R4, um novo algoritmo de RL baseado em classificações que aprende funções de recompensa a partir de pares trajetória–classificação usando uma perda de Erro Quadrático Médio de Ranking (rMSE).

• Mecanismo Central: O R4 trata as classificações discretas fornecidas por humanos como alvos ordinais. Durante o treinamento, o algoritmo amostra uma trajetória de cada classe de classificação. Ele computa os retornos descontados previstos para essas trajetórias sob o atual modelo de recompensa ($\hat{r}_\theta$).
• Ranking Diferenciável: Em vez de tratar as classificações como rótulos de classificação independentes, o R4 utiliza um operador de ordenação diferenciável (especificamente, soft ranks de Blondel et al., 2020) para ordenar os retornos previstos. Isso produz um vetor de soft ranks ($\hat{R}$) correspondente às trajetórias amostradas.
• Função de Perda: O objetivo é minimizar o Erro Quadrático Médio entre os soft ranks dos retornos previstos e as classes de classificação fornecidas pelo humano ($c$):
  $$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$$
  Esta abordagem permite que os gradientes se propaguem através da operação de ordenação, permitindo que o modelo de recompensa se ajuste para que a ordenação relativa dos retornos previstos se alinhe com as classificações ordinais humanas.

Principais Contribuições

1. Inovação Algorítmica: A introdução do R4, que utiliza a nova perda rMSE para treinar funções de recompensa a partir de classificações ordinais sem exigir fronteiras de classe explicitamente definidas.
2. Garantias Teóricas: Os autores estabelecem que, sob suposições leves (recompensa humana determinística, cobertura de classe de hipótese e ordenação diferenciável aproximando hard ranks), o conjunto de soluções do objetivo rMSE é tanto mínimo quanto completo. Isso significa que o conjunto de funções de recompensa que satisfazem a perda rMSE é equivalente ao conjunto de funções de recompensa que satisfazem perfeitamente as restrições ordinais impostas pelo humano. Em contraste, os autores provam que a verdadeira função de recompensa do humano não é garantida de estar no conjunto de soluções de objetivos de RbRL anteriores.
3. Validação Empírica: O R4 é validado em configurações offline e online usando classificações simuladas e um estudo com usuários humanos. Ele consistentemente iguala ou supera os métodos existentes de classificação (RbRL) e de preferência (PEBBLE, SURF, QPA) em benchmarks robóticos (OpenAI Gym e DeepMind Control Suite).
4. Estudo Humano: Um estudo aprovado pelo comitê de ética com 8 participantes demonstrou que o R4 supera o RbRL, apesar da significativa variabilidade interparticipante no comportamento de classificação. Os participantes relataram baixa carga cognitiva (pontuação média NASA TLX de 2.05/7), apoiando a viabilidade do feedback baseado em classificação.

Resultos

• Configuração Offline: Em domínios do OpenAI Gym (Reacher, Inverted Double Pendulum, Half Cheetah), as funções de recompensa treinadas com R4 levaram a um aprendizado estatisticamente mais rápido e retornos finais mais altos em comparação ao RbRL ao serem usadas para treinar um agente Soft Actor-Critic (SAC).
• Configuração Online: Em seis ambientes do DeepMind Control Suite, agentes treinados com R4 aprenderam significativamente mais rápido que todos os baselines em três ambientes e alcançaram retornos finais mais altos em quatro ambientes.
• Feedback Humano: No estudo de usuário, o R4 alcançou aprendizado significativamente mais rápido e retornos mais altos do que o RbRL tanto nas tarefas Reacher quanto Hopper, mesmo quando os participantes utilizaram números variados de classes de classificação e exibiram desequilíbrios de classe.
• Ablação: O estudo confirmou que o R4 permanece estável através de diferentes números de bins de classificação, enquanto o desempenho do RbRL degrada conforme o número de bins se desvia de uma faixa ideal.

Significância
O artigo afirma que o R4 representa um passo significativo à frente no aprendizado de recompensa ao fornecer um método que é tanto teoricamente fundamentado quanto praticamente eficaz. Ao aproveitar a natureza ordinal das classificações humanas através de uma perda baseada em ranking, o R4 evita as suposições restritivas de métodos de classificação anteriores (como fronteiras fixas e homogeneidade intraclasse). A prova teórica de minimidade e completude oferece uma justificativa rigorosa para o design do algoritmo, enquanto os resultados empíricos, incluindo o estudo humano, demonstram sua robustez à variabilidade do feedback do mundo real e sua capacidade de reduzir a carga cognitiva dos classificadores humanos em comparação com as alternativas baseadas em preferência.