Robust Mean-Field Games with Risk Aversion and Bounded Rationality

Resumo Técnico: Jogos de Campo Médio Robustos com Aversão ao Risco e Racionalidade Limitada

1. Problema e Motivação

Os Jogos de Campo Médio (MFGs - Mean-Field Games) são uma ferramenta poderosa para modelar sistemas multiagente em larga escala, reduzindo interações complexas para a interação entre um agente representativo e a distribuição populacional (campo médio). No entanto, as abordagens clássicas de MFG apresentam duas limitações fundamentais que comprometem a robustez em cenários do mundo real:

1. Distribuição Inicial Fixa: Os métodos tradicionais assumem que a distribuição inicial da população é conhecida e fixa. Na prática, há incerteza sobre o estado inicial (devido a erros de sensores, dados incompletos ou perturbações adversárias). Uma política otimizada para uma distribuição específica pode falhar catastroficamente se a distribuição realizada for diferente.
2. Racionalidade Perfeita: Assume-se que os agentes são perfeitamente racionais e calculam estratégias ótimas exatas. Isso ignora vieses cognitivos, erros de decisão e limitações computacionais, que são comuns em sistemas reais.

O objetivo deste trabalho é superar essas limitações introduzindo um framework que incorpora simultaneamente aversão ao risco em relação à incerteza da distribuição inicial e racionalidade limitada para modelar desvios do comportamento ótimo.

2. Metodologia e Formulação

Os autores propõem um novo conceito de equilíbrio chamado Equilíbrio de Resposta Quantal Averso ao Risco em Campo Médio (MF-RQE).

A. Aversão ao Risco (Incerteza na Distribuição Inicial)

• Em vez de otimizar a recompensa esperada sob uma única distribuição inicial $\mu_0$, o problema considera um conjunto finito de distribuições possíveis $\mathcal{M}$.
• Utiliza-se uma medida de risco convexa (definida no Teorema 1, baseada na representação dual de Föllmer e Schied) para avaliar o desempenho. O objetivo não é maximizar a média, mas minimizar o "pior caso" ponderado, protegendo-se contra distribuições iniciais adversas.
• A função de custo é reformulada como um problema de otimização onde um "adversário fictício" escolhe a distribuição inicial dentro de um conjunto de penalidades (divergência KL), levando a uma agregação do tipo log-sum-exp das recompensas esperadas.

B. Racionalidade Limitada

• A racionalidade perfeita é relaxada introduzindo um regularizador convexo $\nu(\pi)$ na função objetivo.
• Isso modela a "Resposta Quantal" (Quantal Response), onde os agentes escolhem ações com probabilidade proporcional à utilidade esperada, mas com ruído ou sub-otimalidade controlada por um parâmetro de temperatura $\alpha$.
• Isso permite representar comportamentos mais realistas e garante propriedades matemáticas desejáveis (como convexidade estrita) para a solução.

C. Definição do MF-RQE
O equilíbrio é definido como um par consistente $(\pi^*_{RQE}, S^*_M)$, onde:

• $\pi^*_{RQE}$ é a política que minimiza o custo risco-aversivo e regularizado para o conjunto de fluxos de campo médio.
• $S^*_M$ é o conjunto de fluxos de campo médio induzidos por essa política a partir de todas as distribuições iniciais em $\mathcal{M}$.
• O equilíbrio satisfaz a condição de que, dado o conjunto de fluxos, a política é ótima, e dada a política, os fluxos são consistentes.

3. Contribuições Principais

1. Novo Formulário de MFG: Introdução de uma formulação que integra aversão ao risco sobre distribuições iniciais e racionalidade limitada, resultando no conceito de MF-RQE.
2. Algoritmos de Cálculo:
   • Iteração de Ponto Fixo (FPI): Um algoritmo para calcular o MF-RQE, provado para convergir sob condições de convexidade forte.
   • Jogo Fictício (Fictitious Play): Extensão do algoritmo de Jogo Fictício (denominado Risk-Averse Quantal Fictitious Play) para este contexto, garantindo convergência.
   • Aprendizado por Reforço (Deep RL): Desenvolvimento de um algoritmo model-free baseado em Actor-Critic (D-RQ-FPI) para lidar com espaços de estado-ação grandes ou dinâmicas desconhecidas.
3. Garantias Teóricas:
   • Prova de existência do MF-RQE usando o teorema do ponto fixo de Kakutani.
   • Prova de convergência dos algoritmos propostos.
   • Estabelecimento de que a solução do MFG infinito (MF-RQE) é uma aproximação $\epsilon$-ótima para o jogo finito com $N$ agentes, superando a "maldição da dimensionalidade" encontrada em trabalhos anteriores sobre equilíbrio de resposta quantal.

4. Resultados Experimentais

Os autores avaliaram o framework em vários ambientes de benchmark (incluindo jogos epidemiológicos SIS, jogos de congestionamento e outros do MFGLib):

• Robustez: As políticas MF-RQE demonstraram ser não exploráveis sob incerteza na distribuição inicial. Em contraste, políticas de equilíbrio de Nash (NE) regularizadas por entropia ou políticas que maximizam a recompensa esperada média ($\pi^*_{avg}$) apresentaram alta "explorabilidade" (alta sensibilidade a desvios na distribuição inicial).
• Trade-off Retorno-Risco: Embora as políticas MF-RQE possam ter uma recompensa esperada ligeiramente menor do que a política otimizada para uma distribuição específica (em cenários onde essa distribuição é a correta), elas garantem um desempenho estável e seguro em todos os cenários possíveis.
• Convergência: Os algoritmos FPI e Jogo Fictício convergiram consistentemente para o mesmo equilíbrio. O algoritmo de Deep RL (D-RQ-FPI) alcançou desempenho comparável às soluções analíticas, mesmo na presença de ruído de amostragem e aproximação de funções.
• Regularizadores Gerais: O framework mostrou-se flexível, funcionando bem não apenas com regularização por entropia, mas também com regularizadores de barreira logarítmica, superando limitações de trabalhos anteriores focados apenas em entropia.

5. Significado e Impacto

Este trabalho avança significativamente a teoria de Jogos de Campo Médio ao torná-la mais aplicável a sistemas reais:

• Resiliência Operacional: Oferece uma metodologia para projetar sistemas multiagente (como controle de tráfego, coordenação de enxames de robôs ou gestão de epidemias) que são robustos a falhas de informação inicial e incertezas de sensores.
• Modelagem Comportamental Realista: Ao incorporar racionalidade limitada, o modelo captura melhor o comportamento humano e de agentes autônomos que não são perfeitamente ótimos, fechando a lacuna entre teoria abstrata e observação empírica.
• Escalabilidade: A combinação de teoria de campo médio com aprendizado por reforço profundo permite a aplicação desses conceitos robustos em problemas com espaços de estado e ação massivos, onde métodos tradicionais falham.

Em resumo, o artigo estabelece que a combinação de aversão ao risco e racionalidade limitada não é apenas uma correção teórica, mas uma necessidade prática para garantir a robustez e a segurança de sistemas multiagente descentralizados em ambientes incertos.