Resumo Técnico: Comportamento da Teoria da Perspectiva a partir da Otimalidade de Bellman em MDPs com Estados Catastróficos

1. Definição do Problema

Este artigo investiga se o controle ótimo padrão, livre de risco, em Processos de Decisão de Markov (MDPs) pode gerar assinaturas comportamentais tipicamente associadas à Teoria da Perspectiva (TP), especificamente quando o ambiente contém um estado catastrófico absorvente.

Os autores desafiam a interpretação convencional de que os fenômenos da TP — como uma função de valor em forma de S, aversão à perda ($\lambda > 1$) e o efeito de reflexão (aversão ao risco em ganhos, busca ao risco em perdas) — necessitam de funções de utilidade não lineares, ponderação de probabilidade distorcida ou preferências dependentes de referência. Em vez disso, o artigo questiona se esses padrões emergem puramente da dinâmica estrutural de um MDP com uma "fronteira de catástrofe" (um estado absorvente representando ruína, falência ou morte) e recompensas lineares.

O problema central é determinar se um agente neutro ao risco, otimizando a equação de Bellman padrão, exibirá:

1. Funções de valor em forma de S: Convexas perto da catástrofe e côncavas no campo distante.
2. Aversão à perda endógena: Um coeficiente de sensibilidade dependente do estado $\lambda^*(S) > 1$.
3. Efeito de reflexão: Uma reversão de política onde o agente age de forma avessa ao risco em regimes de "crescimento" (drift positivo) e busca ao risco em regimes de "declínio" (drift negativo) perto da catástrofe, apesar de comparações de valor esperado local sugerirem o oposto.

2. Metodologia

Formulação do Modelo

Os autores definem um MDP de fronteira de catástrofe com as seguintes propriedades:

• Espaço de Estados: $S = \{S_{cat}, S_{cat}+1, \dots\}$, onde $S_{cat}=0$ é uma catástrofe absorvente com $V_{cat} \le 0$.
• Ações:
  • Segura: Transição determinística $S' = S + \Delta_s$.
  • Arriscada: Transição estocástica $S' = S + \Delta_w$ com probabilidade $p$, e $S' = S + \Delta_\ell$ com probabilidade $1-p$ (onde $\Delta_w > 0 > \Delta_\ell$).
• Objetivo: Otimalidade de Bellman padrão com recompensas lineares e fator de desconto $\beta \in (0, 1)$.
• Regimes:
  • Crescimento: $E[\text{risky}] > \Delta_s > 0$.
  • Declínio: $E[\text{risky}] < \Delta_s < 0$.

Abordagem Analítica e Numérica

1. Iteração de Valor: O sistema é resolvido via iteração de valor (tolerância de $10^{-10}$) através de 495 configurações de parâmetros para gerar funções de valor $V^*(S)$ e políticas ótimas.
2. Sensibilidade de Perda Endógena: Os autores definem um coeficiente de sensibilidade de perda estrutural análogo ao parâmetro $\lambda$ da TP:
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. Análise Assintótica: Os autores derivam uma expressão de forma fechada para o limite assintótico $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ analisando a equação característica da recorrência linear que governa a função de valor no campo distante.
4. Testes de Robustez:
   • Aprendizado sem Modelo: O Q-learning tabular é empregado para verificar se um agente sem modelo reproduz os fenômenos sem conhecimento do núcleo de transição.
   • Transições Estocásticas: As transições determinísticas são perturbadas com ruído aditivo (Gaussiano, Student-t de cauda pesada e skew-normal assimétrico) para testar a sensibilidade às suposições distributivas.

3. Principais Contribuições

1. Emergência de Três Assinaturas da Teoria da Perspectiva

O artigo demonstra que a otimalidade de Bellman padrão produz:

• Função de Valor em Forma de S: $V^*(S)$ é convexa perto da catástrofe (devido ao alto custo do "salto de queda" para a ruína) e côncava no campo distante.
• Aversão à Perda Endógena: A razão entre as quedas de valor e os ganhos, $\lambda^*(S)$, é estritamente maior que 1 e converge para um platô assintótico $\bar{\lambda}$.
• Efeito de Reflexão: A política ótima inverte-se com base no drift ambiental. No crescimento, o agente joga de forma segura perto da catástrofe (aversão ao risco) para evitar a ruína, mesmo que a ação arriscada tenha um retorno esperado imediato maior. No declínio, o agente joga de forma arriscada perto da catástrofe (busca ao risco) porque a ação segura apenas adia a ruína inevitável, enquanto uma vitória arriscada oferece uma chance de escape.

2. Mecanismo: Valores de Continuação, Não Preferências

Os autores estabelecem que esses comportamentos são impulsionados por valores de continuação. Perto de uma fronteira absorvente, a proximidade de uma falha irreversível pesa desproporcionalmente os riscos de queda. Esse efeito dinâmico inverte as classificações de valor esperado local sem exigir qualquer curvatura na função de utilidade ou ponderação de probabilidade.

3. Aversão à Perda Assintótica de Forma Fechada

O artigo deriva uma fórmula de forma fechada para o platô de aversão à perda assintótica $\bar{\lambda}$:
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
onde $r = |\Delta_\ell|/\Delta_w$ é a razão de assimetria de pagamentos, e $z \in (0, 1)$ é a raiz única da equação característica $\beta[p z + (1-p)z^{-r}] = 1$.

• Invariância de Escala: $\bar{\lambda}$ depende apenas de $(p, \beta, r)$, não da magnitude absoluta dos pagamentos.
• Dominância da Fronteira: A fórmula permite a decomposição de $\bar{\lambda}$ em uma "contribuição da fronteira" (presente mesmo quando $r=1$, ou seja, pagamentos simétricos) e uma "contribuição de assimetria". Os autores mostram que a contribuição da fronteira domina; mesmo com pagamentos simétricos ($r=1$), $\bar{\lambda} > 1$ nos regimes de crescimento.

4. Robustez ao Aprendizado e ao Ruído

• Q-Learning: Um agente de Q-learning tabular reproduz a forma de S, a zona segura, o efeito "Hail Mary" e $\lambda^* > 1$ com alta correlação com a solução exata ($R=0.98$ no crescimento, $R=1.00$ no declínio).
• Estocasticidade: Os fenômenos persistem sob ruído Gaussiano, de cauda pesada e assimétrico até 50% do tamanho do passo. O platô assintótico desvia-se da previsão de forma fechada em no máximo 9,6% sob ruído no canal de risco.

4. Resultados

• Ajuste Quantitativo: A fórmula de forma fechada para $\bar{\lambda}$ coincide com as soluções numéricas com $R^2 = 0,999$.
• Decomposição da Aversão à Perda: Em 48 células de parâmetros, a "contribuição da fronteira" (o valor de $\bar{\lambda}$ quando $r=1$) responde pela maior parte da aversão à perda. A "contribuição de assimetria" (o aumento devido a $r > 1$) tem uma participação mediana de apenas 4,6% em $r=1,25$ e sobe para 13,9% em $r=2$.
• Reversão de Política: Em todas as 69 configurações de declínio testadas, o agente joga de forma arriscada perto da catástrofe, confirmando o efeito "Hail Mary". Nos regimes de crescimento, o agente joga de forma segura por um número específico de estados ($|\Delta_\ell|$) perto da fronteira antes de mudar para o arriscado.
• Sensibilidade ao Ruído: O ruído no canal seguro tem impacto negligenciável ($\le 0,41\%$ de desvio), enquanto o ruído no canal de risco reduz $\bar{\lambda}$ monotonicamente, mas preserva a estrutura qualitativa.

5. Significância e Alegações

O artigo reivindica uma contribuição estrutural e normativa em vez de psicológica. Não argumenta que o comportamento humano é ótimo ou que este mecanismo explica totalmente a Teoria da Perspectiva. Em vez disso, propõe que:

1. Suficiência da Estrutura: Um estado catastrófico absorvente é um mecanismo estrutural suficiente para gerar assinaturas semelhantes à TP (forma de S, aversão à perda, efeito de reflexão) sob otimalidade padrão e livre de risco.
2. Reinterpretação de Dados Empíricos: A variação observada nos coeficientes de aversão à perda na economia comportamental (ex: dependência de assimetria de pagamentos) pode ser parcialmente explicada pelas propriedades estruturais do ambiente de decisão (probabilidade $p$, desconto $\beta$ e assimetria $r$), em vez de apenas por parâmetros psicológicos estáveis.
3. Racionalidade do Comportamento Extremo: O comportamento avesso ao risco em ganhos e a busca ao risco em perdas perto da falha podem ser respostas racionais aos valores de continuação, não necessariamente desvios patológicos da racionalidade.
4. Implicações para RL: Comportamentos seguros ou desesperados perto de falhas absorventes em Aprendizado por Reforço (RL) podem emergir naturalmente da estrutura do ambiente, sem a necessidade de restrições de segurança codificadas à mão ou modificações de preferência.

Os autores declaram explicitamente que a ponderação de probabilidade, o enquadramento (framing) e a dependência de referência permanecem fora do modelo e que suas descobertas pretendem coexistir com, e não substituir, as explicações psicológicas do processo de tomada de decisão humano.