A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

Resumo Técnico: Uma Formulação de Média Harmônica para Aprendizado por Reforço de Recompensa Média em SMDPs

1. Declaração do Problema

O artigo aborda o desafio de otimizar a recompensa média não descontada em Processos de Decisão Semi-Markovianos (SMDPs) com horizontes infinitos. Diferentemente dos Processos de Decisão de Markov (MDPs) padrão, onde as ações levam uma unidade fixa de tempo, os SMDPs envolvem ações que geram estocasticamente tanto recompensas quanto durações variáveis (tempos de permanência). O objetivo é maximizar a taxa de recompensa média (recompensa por unidade de tempo), em vez da recompensa total acumulada.

Algoritmos existentes sem modelo para este cenário, especificamente SMART e Relaxed-SMART, sofrem de limitações críticas quando as recompensas e durações são não estacionárias ou dependentes:

• SMART baseia-se na média amostral de longo prazo (recompensa total dividida pelo tempo total). Esta abordagem é frágil; assume estacionariedade e pode ser dominada por valores atípicos ou falhar em adaptar-se a mudanças de regime em ambientes não estacionários.
• Relaxed-SMART tenta lidar com a não estacionariedade utilizando Médias Móveis Exponenciais (EMA) tanto para recompensas quanto para durações, e depois calcula a razão entre elas. No entanto, este método aproxima a taxa média como a razão de médias aritméticas. O artigo demonstra que esta aproximação é matematicamente correta apenas se recompensas e durações forem independentes. Quando correlacionadas (relacionadas de forma não linear), a razão de médias produz uma estimativa incorreta da verdadeira taxa média.

2. Metodologia

Os autores propõem uma abordagem inovadora baseada na Média Harmônica, que é o operador teoricamente correto para a média de taxas (ex.: velocidade = distância/tempo).

A Limitação da Média Harmônica:
Embora a média harmônica seja a agregação correta para taxas, a definição padrão é inadequada para Aprendizado por Reforço (RL) geral porque:

1. É indefinida para valores zero (divisão por zero).
2. Perde a propriedade de "interioridade" (a média situar-se entre o mínimo e o máximo) quando os valores têm sinais mistos (recompensas positivas e negativas).

O Operador de Média Harmônica Modificada ($\mathcal{H}$):
Para superar essas limitações, os autores introduzem um Operador de Média Harmônica Modificada ($\mathcal{H}$). Este operador:

• Partitiona os dados em três conjuntos: recompensas positivas ($X_+$), recompensas negativas ($X_-$) e recompensas zero ($X_0$).
• Calcula a média harmônica padrão para os subconjuntos positivos e negativos separadamente.
• Calcula uma média aritmética ponderada desses resultados, tratando os valores zero como tendo um valor de 0.
• Propriedades Teóricas: Os autores provam que $\mathcal{H}$ é uma média geral (satisfazendo interioridade, idempotência, simetria e monotonicidade) e generaliza a média harmônica padrão onde esta última é definida. Contudo, provam que ela não é uma média quasi-aritmética, distinguindo-a da classe que contém as médias aritmética, geométrica e harmônica padrão.

Algoritmo de Aprendizado $R$ Harmônico:
Os autores integram $\mathcal{H}$ em um algoritmo de RL sem modelo chamado Aprendizado $R$ Harmônico.

• Segue as regras de atualização estrutural do Aprendizado $R$ e do SMART (atualizando valores-$Q$ com base na recompensa marginal relativa à taxa média).
• Em vez de atualizar a taxa média $\rho$ usando uma simples EMA aritmética ou uma razão de EMAs, mantém uma Média Harmônica Móvel Exponencial.
• O algoritmo rastreia os recíprocos das taxas ($r/\tau$) para recompensas positivas e negativas separadamente, mantendo médias móveis exponenciais desses recíprocos e seus pesos associados, e depois inverte-os para calcular a estimativa atual de $\rho$.

3. Contribuições Chave

1. Análise Teórica de Algoritmos Existentes: O artigo demonstra formalmente (via Teorema 1) que a razão de médias aritméticas (usada pelo Relaxed-SMART) equivale à média harmônica apenas se a covariância entre as recompensas e a razão de tempo-por-recompensa for zero. Em cenários não estacionários ou dependentes, isso leva a uma estimativa incorreta da taxa.
2. Operador Inovador: A introdução do Operador de Média Harmônica Modificada ($\mathcal{H}$), que é robusto a recompensas zero e de sinais mistos, mantendo a correção matemática necessária para a média de taxas.
3. Generalização Algorítmica: O desenvolvimento do Aprendizado $R$ Harmônico, um algoritmo sem modelo que generaliza variantes existentes de Aprendizado $R$ para SMDPs, sem as suposições de estacionariedade ou independência do SMART e do Relaxed-SMART.
4. Provas Axiomáticas: Provas que estabelecem que $\mathcal{H}$ é uma média geral, mas não uma média quasi-aritmética, esclarecendo sua posição matemática em relação às médias tradicionais.

4. Resultados Empíricos

Os autores avaliaram o Aprendizado $R$ Harmônico contra SMART e Relaxed-SMART em dois domínios:

• SMDP Sintético de Dois Estados:

  • Configuração: Uma tarefa contínua com duas ações. A Ação A tinha recompensas e durações independentes. A Ação B tinha recompensas e durações dependentes e não estacionárias (usando funções seno/cosseno em derivação com escalamento logarítmico).
  • Descoberta: Em cenários onde a dependência entre recompensa e duração tornava difícil detectar a ação ótima "verdadeira" (Ação B) dentro do horizonte de aprendizado, o SMART e o Relaxed-SMART falharam (caindo para 0% de sucesso em configurações mais difíceis). O Aprendizado $R$ Harmônico manteve uma alta taxa de sucesso em todas as combinações de parâmetros, demonstrando superior robustez à não estacionariedade e dependência.

• Negociação de Bitcoin (Dados do Mundo Real):

  • Configuração: Um ambiente de alta volatilidade e não estacionário usando dados de preços de Bitcoin em nível de minuto (2012–2025). A tarefa envolvia comprar/vender com durações de ação estocásticas (5–45 segundos). Duas versões foram testadas: uma com durações aleatórias (independentes) e outra onde a duração era escalada pela magnitude da recompensa (dependente).
  • Descoberta:
    • Na versão independente, todos os algoritmos performaram de forma similar, conforme esperado pela teoria.
    • Na versão dependente (onde a magnitude da recompensa influenciava a duração), o Aprendizado $R$ Harmônico superou significativamente tanto o SMART quanto o Relaxed-SMART, alcançando uma maior taxa de vitórias em 21 segmentos de dados. Isso confirma a afirmação teórica de que a aproximação de razão-de-médias falha quando recompensas e durações estão acopladas.

5. Significado e Alegações

O artigo alega que o Aprendizado $R$ Harmônico fornece uma correção necessária para o RL de recompensa média em SMDPs onde as distribuições de recompensa e duração são não estacionárias ou dependentes.

• Argumenta que métodos anteriores (SMART/Relaxed-SMART) são fundamentalmente falhos nessas condições específicas porque dependem de aproximações aritméticas que ignoram o acoplamento entre magnitude da recompensa e tempo.
• O operador de média harmônica modificada é apresentado como a ferramenta matematicamente correta para a média de taxas em RL, estendendo a aplicabilidade do Aprendizado $R$ a cenários complexos do mundo real, como negociação financeira, onde tais dependências são comuns.
• O trabalho é posicionado como uma melhoria teórica e empírica sobre o estado da arte para otimização de recompensa média sem modelo em cenários semi-Markovianos, abordando especificamente as lacunas "não estacionária" e "dependente" na literatura atual.