Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

Título: Problemas com Aprendizado por Reforço Multi-objetivo Baseado em Valor: Interferência de Função de Valor e Sensibilidade à Superestimação

Autores: Peter Vamplew, Ethan (EJ) Watkins, Cameron Foale e Richard Dazeley.
Instituições: Federation University Australia e Deakin University.

1. Problema Investigado

O Aprendizado por Reforço Multi-objetivo (MORL) estende o RL tradicional para lidar com recompensas vetoriais (múltiplos objetivos conflitantes). Embora métodos baseados em valor, como o Q-learning, sejam adaptados para MORL aprendendo funções de valor vetoriais, este artigo identifica duas questões críticas não reportadas anteriormente que degradam o desempenho desses algoritmos, especialmente quando combinados com funções de utilidade não lineares:

1. Interferência de Função de Valor (Value Function Interference): Ocorre quando os valores vetoriais esperados aprendidos pelo agente não são suficientes para determinar a ação ótima de acordo com a função de utilidade do usuário. Isso acontece porque a utilidade do valor esperado (média dos vetores) pode diferir do valor esperado da utilidade (média das utilidades dos vetores), devido à não linearidade da função de utilidade.
2. Sensibilidade à Superestimação (Overestimation Sensitivity): Enquanto a superestimação de valores Q é um problema conhecido no RL escalar (que pode ser mitigado se a ordenação relativa das ações for preservada), em MORL com utilidades não lineares, mesmo uma pequena superestimação consistente ou inconsistente pode alterar a ordenação de preferência entre as ações, levando a políticas subótimas.

2. Metodologia

Os autores utilizaram uma abordagem teórica e empírica baseada em Q-learning multi-objetivo tabular (uma extensão do Q-learning padrão para vetores).

• Algoritmo Base: Utilizaram uma versão modificada do Q-learning multi-objetivo que lida corretamente com o desconto de recompensas futuras e estados aumentados (que incluem o estado do ambiente, o retorno acumulado e o passo de tempo).
• Critérios de Otimização: O estudo focou na distinção entre:
  • ESR (Expected Scalarised Return): Maximizar a utilidade esperada de cada episódio individual (comum em cenários onde o resultado de cada execução importa, como tratamentos médicos).
  • SER (Scalarised Expected Return): Maximizar a utilidade do retorno esperado médio (comum em cenários de longo prazo, como logística).
• Ambientes de Teste:
  • MOMAB (Multi-Objective Multi-Armed Bandits) Estocásticos: Para demonstrar interferência em ambientes com recompensas aleatórias.
  • MOMDPs Determinísticos: Para mostrar que a interferência também ocorre em ambientes totalmente determinísticos devido a empates na seleção de ações e inicialização otimista.
  • Ambiente DST-Mixed: Um grid-world de busca por tesouro usado para testar a sensibilidade à superestimação.
• Funções de Utilidade Testadas:
  • Escalarização Linear (pesos lineares).
  • Ordenação Lexicográfica com Limiar (TLO).
  • Distância de Chebyshev (não linear).

3. Contribuições Principais

A. Interferência de Função de Valor

• Descoberta: Em ambientes estocásticos, a política ótima para ESR não pode ser derivada apenas dos valores Q vetoriais médios aprendidos (que representam o SER). A média dos vetores de recompensa, quando aplicada a uma função não linear, pode resultar em uma utilidade diferente da média das utilidades individuais.
• Cenário Determinístico: O artigo demonstra que a interferência ocorre mesmo em ambientes determinísticos. Isso acontece quando há múltiplas ações ótimas em um estado (empates) e o agente escolhe aleatoriamente entre elas. Essa aleatoriedade introduz estocasticidade nos vetores de recompensa recebidos pelos estados predecessores, corrompendo o aprendizado da função de valor.
• Solução Parcial: A substituição da quebra de empates aleatória por uma quebra de empates determinística (ex: sempre escolher o índice mais baixo) mitiga significativamente o problema em ambientes determinísticos, embora não o elimine completamente se houver mudanças frequentes na ação "greedy" devido à inicialização otimista.

B. Sensibilidade à Superestimação

• Descoberta: Em RL escalar, adicionar um viés positivo constante a todos os valores Q geralmente preserva a ação ótima. Em MORL com utilidades não lineares, isso não é verdade. Pequenas superestimações podem inverter a preferência entre ações.
• Impacto: Funções como TLO (Lexicográfica) e Chebyshev são extremamente sensíveis. A superestimação pode fazer com que uma ação subótima pareça ter uma utilidade muito maior do que a real, especialmente se a recompensa estiver próxima de um limiar crítico ou de um ponto de referência (utópico).

4. Resultados Empíricos

• Interferência em MOMABs Estocásticos: Em experimentos com um braço estocástico vs. um determinístico, o agente convergiu para a política subótima na maioria das configurações de hiperparâmetros (taxas de aprendizado moderadas), falhando em maximizar o ESR. Apenas taxas de aprendizado muito altas (que são instáveis em problemas complexos) conseguiram evitar o erro.
• Interferência em MOMDPs Determinísticos:
  • Com quebra de empates aleatória, o agente convergiu para a política subótima (Política 2) em grande parte dos testes, especialmente com taxas de aprendizado médias.
  • Com quebra de empates determinística (baixo ou alto índice), a frequência de convergência para a política subótima caiu drasticamente (redução de ~30% nos casos de erro), provando que a estocasticidade introduzida pela aleatoriedade na escolha de ações é a causa raiz.
• Superestimação:
  • Escalarização Linear: Robusta. A superestimação não alterou a escolha da ação.
  • TLO e Chebyshev: Altamente sensíveis. Mesmo níveis mínimos de superestimação causaram um aumento drástico na seleção de políticas incorretas e no arrependimento normalizado (regret). A função TLO foi a mais afetada devido às suas descontinuidades nos limiares.
  • Superestimação Inconsistente: Foi mais prejudicial do que a consistente para todas as funções, afetando até mesmo a escalarização linear, embora esta ainda fosse mais robusta que as não lineares.

5. Significado e Implicações

• Limitações Atuais: O artigo alerta que a aplicação direta de Q-learning vetorial com funções de utilidade não lineares pode falhar silenciosamente, convergindo para políticas subótimas sem que o agente perceba o erro.
• Relevância para Deep RL: O problema é potencialmente agravado em RL profundo (Deep RL), onde a aproximação de função introduz ruído nos valores Q, levando a mudanças frequentes na ação "greedy" e exacerbando a interferência.
• Direções Futuras:
  • RL Distribucional: Sugerem a incorporação de conceitos de RL distribucional (aprender a distribuição completa das recompensas futuras, não apenas a média) para calcular corretamente o ESR em ambientes estocásticos.
  • Moldagem de Recompensa (Reward Shaping): Adotar abordagens que escalarizem a recompensa acumulada a cada passo (como proposto por Cai et al., 2023) para aprender diretamente o valor ESR, eliminando a interferência, embora isso possa sacrificar a capacidade de aprender múltiplas políticas simultaneamente.

Conclusão

O trabalho estabelece que a combinação de métodos baseados em valor com utilidades não lineares em MORL introduz desafios fundamentais de convergência e estabilidade. A interferência de função de valor e a sensibilidade à superestimação são fenômenos críticos que devem ser considerados no design de novos algoritmos, sugerindo que a simples extensão de Q-learning escalar para vetores é insuficiente para garantir a optimalidade em cenários complexos e não lineares.