Decoding fairness: a reinforcement learning perspective

Resumo Técnico: Decodificando a Equidade: Uma Perspectiva de Aprendizado por Reforço

Definição do Problema
O Jogo do Ultimato (JU) serve como um modelo primário para compreender a emergência da equidade. Enquanto a Economia ortodoxa, baseada na suposição do Homo economicus, prevê que agentes racionais e autointeressados proporão a oferta mínima possível e aceitarão qualquer oferta não nula (resultando em desigualdade extrema), experimentos comportamentais mostram consistentemente que os humanos preferem divisões justas (tipicamente 40–50%) e rejeitam ofertas baixas. As explicações teóricas existentes para essa discrepância baseiam-se amplamente no framework de aprendizado por imitação, atribuindo a equidade a fatores exógenos, como estrutura populacional, reputação, despeito ou empatia. Este artigo investiga se a equidade pode emergir exclusivamente de fatores endógenos dentro de um paradigma de Aprendizado por Reforço (RL), onde agentes otimizam estratégias através da autorreflexão e da interação com seu ambiente, em vez de imitarem pares bem-sucedidos.

Metodologia
Os autores modelam um cenário de JU de dois jogadores usando Q-learning, um algoritmo padrão de RL.

• Arquitetura do Agente: A cada jogador é atribuída uma Q-table distinta para o papel de proponente e outra para o de respondente.
• Espaço de Estados e Ações:
  • Ações: Os proponentes escolhem entre três ofertas ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$); os respondentes escolhem entre três limiares de aceitação ($q_l, q_m, q_h$).
  • Estados: O espaço de estados consiste em nove combinações ($S = \{s_1, ..., s_9\}$) representando os pares de ações da rodada anterior.
• Dinâmica de Aprendizado:
  • Os agentes atualizam seus valores Q usando a equação de Bellman: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (Taxa de Aprendizado): Controla o peso da experiência atual; um $\alpha$ alto implica "esquecimento", enquanto um $\alpha$ baixo implica retenção da experiência histórica.
  • $\gamma$ (Fator de Desconto): Controla o peso das recompensas futuras; um $\gamma$ alto implica "visão de longo prazo", enquanto um $\gamma$ baixo implica "miopia".
  • Exploração: Os agentes exploram ações aleatórias com probabilidade $\epsilon$ e exploram o maior valor Q caso contrário.
• Métricas: O estudo monitora as frações estacionárias de ofertas e limiares de aceitação, monitorando especificamente a prevalência da opção justa ($p_m, q_m$) versus a opção racional ($p_l, q_l$).

Principais Resultados

1. Emergência da Equidade via Fatores Endógenos: A equidade emerge proeminentemente quando os agentes possuem tanto baixas taxas de aprendizado ($\alpha$, valorizando a experiência histórica) quanto altos fatores de desconto ($\gamma$, valorizando recompensas futuras). Neste regime de parâmetros, o sistema estabiliza-se com uma alta probabilidade de ofertas justas ($p_m$) e limiares de aceitação justos ($q_m$).
2. Mecanismo Evolutivo de Duas Fases:
   • Fase I (Alcançando Acordos): Partindo de configurações aleatórias, estratégias que levam a falhas de acordo (ex: ofertas altas $p_h$ ou limiares altos $q_h$) são eliminadas devido aos baixos pagamentos. O sistema converge para três estratégias sobreviventes: $(p_m, q_m)$, $(p_l, q_l)$ e $(p_m, q_l)$.
   • Fase II (Processo de Ramificação): Ocorre uma dinâmica de transição onde a estratégia mista $(p_m, q_l)$ é instável. O sistema ramifica-se em dois estados estáveis: a estratégia justa $(p_m, q_m)$ ou a estratégia racional $(p_l, q_l)$. O caminho de transição é identificado como $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$.
3. Alinhamento com Experimentos Comportamentais: O modelo reproduz observações experimentais fundamentais:
   • A probabilidade de acordos bem-sucedidos aumenta com ofertas mais altas.
   • Ofertas abaixo de 20% são frequentemente rejeitadas (aproximadamente 80% de probabilidade de rejeição no modelo), enquanto ofertas entre 45–50% são altamente aceitas.
4. Sensibilidade de Parâmetros:
   • $\alpha$ e $\gamma$: Agentes com $\alpha$ alto (esquecidos) ou $\gamma$ baixo (míopes) retornam à estratégia racional e injusta.
   • Parâmetros do Jogo ($l, h$): O limite inferior das ofertas ($l$) impacta significativamente o equilíbrio; conforme $l$ aumenta, a fração de estratégias racionais cresce. O limite superior ($h$) tem um impacto marginal.
5. Robustez: A emergência da equidade mantém-se quando a atribuição de papéis é alterada de rotativa para aleatória ou fixa, e quando o cenário é estendido para uma população em rede (lattice).

Significância e Alegações
O artigo afirma que a motivação endógena dentro do paradigma de aprendizado por reforço é suficiente para explicar a emergência da equidade, tornando desnecessários fatores exógenos (como reputação ou normas sociais) para este resultado específico. Ao demonstrar que agentes que "valorizam experiências passadas" e "planejam recompensas futuras" evoluem naturalmente para estratégias justas, o estudo oferece uma perspectiva nova, distinta do framework de aprendizado por imitação. Os achados sugerem que a equidade humana pode ser um resultado de processos de aprendizado adaptativos visando maximizar pagamentos acumulados ao longo do tempo, em vez de um construto puramente social ou cultural. O trabalho conclui que a natureza autorreflexiva do RL oferece uma explicação fundamental para o porquê de os humanos se desviarem da previsão do Homo economicus no Jogo do Ultimato.