Ergodicity in reinforcement learning

Este artigo examina o impacto dos processos de recompensa não ergódicos no aprendizado por reforço, demonstrando que o valor esperado é inadequado para avaliar o desempenho de agentes individuais em implantação e apresentando soluções que otimizam o desempenho de longo prazo em trajetórias únicas.

O essencial

🎲 O Grande Engano: Por que a "Média" pode nos enganar na vida real

Imagine que você é um agente de inteligência artificial (um robô ou um algoritmo) tentando aprender a jogar um jogo para ganhar dinheiro. O objetivo padrão da maioria desses robôs é simples: maximizar a média de ganhos.

Eles pensam assim: "Se eu jogar 1.000 vezes e ganhar em média 10 reais por vez, então minha estratégia é ótima!".

O artigo diz que isso é uma armadilha perigosa quando o jogo é não-ergódico. Mas o que isso significa?

🍳 A Analogia da Omelete vs. O Jogo da Roleta Russa

Para entender, vamos usar duas situações:

1. O Jogo da Omelete (Ergódico):
   Você tem 100 ovos. Você decide fazer uma omelete. Se você quebrar um ovo e ele estiver estranho, você joga fora e pega outro. Se você fizer isso 100 vezes, a "média" de omeletes boas que você consegue é muito previsível. O que acontece na média (em 100 tentativas) é o mesmo que acontece em uma única tentativa longa. Aqui, a estatística funciona como a vida real.

2. O Jogo da Roleta Russa (Não-Ergódico):
   Imagine um jogo onde você ganha 50% do seu dinheiro se a moeda der cara, mas perde 40% se der coroa.

   • A Matemática da Média (O Robô Tradicional): Se você jogar 100 vezes, a média diz que você ganha 5% por rodada. Então, a matemática diz: "Jogue tudo! É ótimo!".
   • A Realidade do Jogador (O Robô Individual): Se você jogar 100 vezes seguidas com todo o seu dinheiro, a probabilidade de você perder tudo é quase 100%. Por quê? Porque uma sequência de "coroas" (perdas) reduz seu capital drasticamente, e recuperar depois é quase impossível.

O ponto crucial do artigo: A "média" de 1.000 jogadores jogando uma vez é diferente da "média" de 1 jogador jogando 1.000 vezes.

• Se você é um único agente (um robô de entrega, um investidor, um paciente), você só tem uma trajetória de vida. Se você seguir a estratégia da "média" e quebrar (perder tudo), você não pode "resetar" o jogo. Você está fora.

🤖 O Problema dos Robôs de Entrega

O texto dá um exemplo de um robô de entrega:

• Rota Rápida (Perigosa): Chega rápido, ganha muitos pontos, mas tem 1% de chance de explodir a cada viagem.
• Rota Lenta (Segura): Demora o dobro, ganha menos pontos, mas é 100% segura.

Um robô "burro" que só olha a média vai escolher a Rota Rápida. Ele acha: "Na média, ganho mais!".
Mas, na vida real, se ele escolher a rota rápida 100 vezes, ele vai explodir. Quando ele explode, ele ganha 0 pontos para sempre. A rota lenta, embora mais lenta, permite que ele trabalhe para sempre e ganhe mais dinheiro no longo prazo.

O problema é que os robôs de IA atuais são treinados para maximizar a média de todos os cenários possíveis, ignorando que, na vida real, eles só têm uma chance de sobreviver.

🛠️ Como os Cientistas Estão Tentando Resolver Isso?

O artigo apresenta três formas criativas de ensinar os robôs a não se matarem buscando a "média perfeita":

1. A "Lente Mágica" (Transformações de Ergodicidade)

Imagine que o robô está olhando para o mundo através de óculos distorcidos que mostram apenas a média. Os pesquisadores propõem criar uma "lente" matemática que muda a forma como o robô vê os ganhos.

• Em vez de olhar para o "dinheiro total", o robô aprende a olhar para o "crescimento percentual".
• É como se o robô parasse de somar os pontos e começasse a multiplicar as chances de sobrevivência. Isso faz com que ele escolha a rota segura, mesmo que a média pareça menor.

2. O "Médico do Tempo" (Estimador de Média Geométrica)

Em vez de olhar para a média aritmética (soma dividida pelo número), esse método foca na média geométrica.

• Pense em uma árvore que cresce. Se ela cresce 50% no primeiro ano e perde 50% no segundo, ela não volta ao tamanho original (ela fica menor). A média aritmética diria que o crescimento foi zero, mas a realidade é que a árvore encolheu.
• O robô aprende a usar uma fórmula que pune as perdas severas, forçando-o a ser mais conservador e a pensar no longo prazo, como um investidor que não quer quebrar a banca.

3. O "Treinamento de Simulação" (Aprendizado Temporal)

Aqui, a ideia é treinar o robô de uma forma diferente. Em vez de jogar o jogo uma vez e ver o resultado, o robô é forçado a "viver" a mesma situação várias vezes dentro de uma única sessão de treino, sentindo o peso das decisões passadas no futuro.

• É como se você estivesse aprendendo a dirigir. Em vez de apenas olhar para o mapa (a média), você é colocado em um simulador onde, se você bater no primeiro obstáculo, o carro para para sempre. Isso ensina o robô a ter medo de riscos que podem levar ao "fim do jogo", mesmo que a chance de acontecer seja pequena.

🚀 Conclusão: Por que isso importa para nós?

Este artigo é um alerta importante. A Inteligência Artificial está sendo usada em medicina, finanças e robótica. Se deixarmos esses robôs otimizando apenas a "média estatística", eles podem tomar decisões arriscadas que funcionam na teoria, mas que levam ao desastre na prática para o indivíduo.

A lição final: Na vida real, não somos uma média de infinitas versões de nós mesmos. Somos uma única trajetória. Portanto, para que a IA seja segura e útil, ela precisa aprender a valorizar a sobrevivência e o crescimento sustentável de uma única vida, e não apenas a média de muitas vidas hipotéticas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Ergodicity in reinforcement learning", apresentado em português:

Título: Ergodicidade em Aprendizado por Reforço

Autores: Dominik Baumann et al.
Publicação: Royal Society Publishing (Philosophical Transactions of the Royal Society A)

---

1. O Problema: A Falha da Média de Conjunto em Processos Não Ergódicos

O Aprendizado por Reforço (RL) tradicional visa maximizar o valor esperado da soma das recompensas coletadas por um agente ao longo de uma trajetória. A premissa fundamental é que o valor esperado (a média sobre infinitas execuções ou "rollouts" de uma política) representa adequadamente o desempenho de um agente individual.

No entanto, o artigo identifica uma falha crítica quando o processo gerador de recompensas é não ergódico:

• Definição: Em processos ergódicos, a média temporal (o que um único agente experimenta em uma trajetória infinita) converge para a média de conjunto (o esperado sobre infinitos agentes em um único instante).
• O Conflito: Em processos não ergódicos, essas duas médias divergem. Otimizar o valor esperado pode levar a políticas que parecem ótimas estatisticamente (média de conjunto), mas que resultam em falha catastrófica ou retorno zero para a maioria dos agentes individuais ao longo do tempo.
• Exemplo Ilustrativo (Rouleta Russa): O artigo utiliza um exemplo de um robô de entrega. Uma rota rápida e arriscada oferece uma recompensa média alta por viagem, mas possui uma pequena chance de destruir o robô (estado absorvente). A rota lenta e segura oferece menos recompensa por viagem, mas garante a sobrevivência indefinida. O RL tradicional, focado no valor esperado, pode favorecer a rota arriscada, levando à destruição do agente a longo prazo, enquanto a rota segura maximiza o retorno real do agente individual.
• Exemplo Matemático (Moeda): Um jogo onde o agente investe uma fração $\alpha$ de sua riqueza. Se ganhar, ganha 50%; se perder, perde 40%. O valor esperado sugere investir tudo ($\alpha=1$), pois o ganho médio é positivo (5% por rodada). Contudo, a maioria das trajetórias individuais converge para a ruína (riqueza próxima de zero) devido à natureza multiplicativa das perdas e ganhos.

2. Metodologia e Enquadramento Teórico

O artigo estrutura a discussão dentro do formalismo de Processos de Decisão de Markov (MDP) e Processos de Recompensa de Markov (MRP):

• Definições de Ergodicidade:
  • Ergodicidade Forte: A média de ensemble e a média temporal coincidem para todos os passos de tempo.
  • Ergodicidade Assintótica: As médias coincidem quando o tempo tende ao infinito, permitindo que o sistema comece em estados não estacionários e convirja.
  • O artigo estabelece teoremas (4.1 e 4.2) que ligam a ergodicidade da cadeia de Markov subjacente (ex: cadeias unichain, irredutíveis e aperiódicas) à ergodicidade do processo de recompensa.
• Quebra de Ergodicidade (Ergodicity-Breaking): O papel identifica cenários onde a ergodicidade falha:
  1. Recompensas Multiplicativas: Comuns em biologia e economia (crescimento exponencial/decrescente), onde a recompensa atual depende do histórico acumulado (riqueza), violando a suposição de Markov padrão se a riqueza não for incluída no estado.
  2. Distribuições de Estado Não Estacionárias: Quando o estado do sistema não converge para uma distribuição estacionária (ex: robô tentando cobrir distância máxima).
  3. Ambientes Não Estacionários: Em RL multiagente ou de aprendizado contínuo, onde as dinâmicas mudam devido à adaptação de outros agentes.
  4. Estados Absorventes: Estados dos quais não há retorno (ex: falha fatal, morte do robô), comuns em RL seguro.

3. Contribuições Principais

O artigo oferece quatro contribuições fundamentais:

1. Definição Conceitual: Introduz formalmente o conceito de "processos de recompensa não ergódicos" no contexto de RL e explica por que a otimização do valor esperado é inadequada para o desempenho de longo prazo de agentes individuais nesses cenários.
2. Exemplo Ilustrativo: Apresenta o exemplo da "moeda" (coin-toss), demonstrando empiricamente que algoritmos de RL de última geração (como PPO) falham em resolver o jogo se otimizarem apenas o valor esperado, resultando em perda de capital.
3. Perspectiva Ampliada: Conecta a ergodicidade de recompensas à ergodicidade de cadeias de Markov, detalhando as condições teóricas necessárias para garantir ergodicidade e identificando onde ela se quebra na prática.
4. Revisão de Soluções: Apresenta e explica três estratégias existentes na literatura para otimizar o desempenho de longo prazo sob dinâmicas não ergódicas.

4. Soluções Apresentadas (Seção 5)

O artigo detalha três abordagens para mitigar o problema da não ergodicidade:

• A. Aprendizado de Transformações Ergódicas:

  • Ideia: Transformar o processo não ergódico em um observável ergódico. O agente otimiza o valor esperado da transformação, o que corresponde a maximizar a taxa de crescimento temporal.
  • Método: Utiliza-se suavização local (LOESS) para aprender uma função de transformação $h$ a partir de trajetórias de retorno, treinando o agente nos incrementos $\Delta h(R_t)$.
  • Resultado: Permite que o agente aprenda uma política vencedora no jogo da moeda, onde o $\alpha$ ótimo é menor que 1.

• B. Estimador de Média Geométrica Modificado:

  • Ideia: Reformular a função objetivo como uma combinação convexa entre o valor esperado tradicional e a taxa de crescimento temporal (média geométrica).
  • Método: Introduz um parâmetro $\lambda$ para balancear os objetivos. Para estimar a taxa de crescimento temporal a partir de uma única trajetória, utiliza-se uma janela deslizante e a média geométrica como estimador.
  • Resultado: O algoritmo aprende a evitar a ruína, superando o Q-learning padrão em benchmarks como Cart-Pole e Lunar Lander.

• C. Treinamento Temporal e Atualizações Dependentes do Caminho:

  • Ideia: Incorporar explicitamente a dependência temporal e o histórico no processo de treinamento sem alterar a função de recompensa, mas alterando como o agente "vê" o problema.
  • Método: O agente enfrenta o mesmo problema de seleção de ação múltiplas vezes dentro de um episódio de treinamento, atualizando o retorno final com base na trajetória completa. Isso força o agente a aprender a dinâmica temporal e a taxa de crescimento, em vez de apenas o valor esperado imediato.
  • Resultado: O agente aprende a mudar seu ponto de indiferença (preferência por ação segura vs. arriscada) para refletir a taxa de crescimento temporal ótima, superando políticas baseadas apenas em valor esperado.

5. Resultados e Significância

• Resultados Empíricos: As simulações (Figuras 1-6) demonstram consistentemente que:
  • Algoritmos de RL padrão (PPO, Q-learning) falham em processos não ergódicos, levando a retornos próximos de zero ou ruína.
  • As três abordagens propostas conseguem aprender políticas que maximizam o crescimento de longo prazo, mantendo o agente viável e lucrativo.
• Significância:
  • Aplicações do Mundo Real: O trabalho é crucial para áreas onde a falha é irreversível ou onde o crescimento é multiplicativo, como finanças (gestão de risco de ruína), medicina (tratamentos cumulativos), robótica (segurança e sobrevivência) e biologia.
  • Mudança de Paradigma: O artigo desafia a suposição padrão de que maximizar o valor esperado é sinônimo de maximizar o desempenho do agente. Ele argumenta que, para agentes únicos operando em horizontes longos, a otimização deve focar na taxa de crescimento temporal (crescimento geométrico) em vez da média aritmética.
  • Desafios Futuros: O artigo conclui apontando que as soluções atuais são limitadas a ambientes relativamente simples e que há um trabalho necessário para desenvolver medidas empíricas de não ergodicidade e integrar essas transformações em ambientes complexos com espaços de estado e ação contínuos.

Em resumo, o artigo fornece uma fundamentação teórica rigorosa e soluções práticas para um problema fundamental negligenciado no RL: a discrepância entre o desempenho esperado de uma população e o desempenho real de um indivíduo em ambientes não ergódicos.