Merton's Problem with Recursive Perturbed Utility

Resumo Técnico: O Problema de Merton com Utilidade Perturbada Recursiva

Autores: Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou.
Contexto: Finanças Matemáticas, Teoria de Portfólio, Utilidade Recursiva, Escolha Estocástica.

1. O Problema e a Motivação

O problema clássico de investimento de Merton (1969) assume que um investidor racional e avesso ao risco segue uma regra de portfólio determinística, dependente do tempo e do estado. No entanto, evidências experimentais e de campo sugerem que os indivíduos frequentemente preferem ou até buscam decisões "randomizadas" (estocásticas), gerando escolhas ruidosas.

• Limitação da Abordagem Existente: Fudenberg et al. (2015) desenvolveram a Teoria da Utilidade Perturbada Aditiva (APU) para contextos estáticos, adicionando uma função de entropia à utilidade esperada para capturar a preferência pela randomização.
• O Desafio Dinâmico: Ao tentar estender a APU para o setting dinâmico de Merton (contínuo no tempo), o modelo torna-se mal-posto (ill-posed). Com controle contínuo, a entropia pode gerar recompensas de perturbação ilimitadas. Se a aversão ao risco não for suficientemente forte, o agente pode aumentar a variância da escolha indefinidamente para maximizar a utilidade da entropia, levando a um valor ótimo infinito. Além disso, mesmo quando bem-posto, o modelo aditivo não fornece soluções tratáveis.

2. Metodologia: Utilidade Perturbada Recursiva (RPU)

Para resolver as falhas da APU no contexto dinâmico, os autores introduzem a Utilidade Perturbada Recursiva (RPU).

• Conceito Central: A RPU é uma utilidade estocástica diferencial que incorpora a preferência pela randomização (baseada em entropia) dentro de um agregador recursivo.
• Mecanismo de Desconto Endógeno: Diferente da APU, que adiciona um fluxo de utilidade fixo, a RPU endogeneiza o trade-off intertemporal entre a utilidade da randomização e a utilidade da herança (riqueza terminal).
  • O termo de desconto depende da entropia acumulada no passado.
  • A preferência por randomização atual é desvalorizada à medida que a randomização acumulada no passado aumenta (efeito de "saciedade" ou aversão à acumulação excessiva de ruído).
  • Isso evita a exploração excessiva da variância e garante que o problema seja bem-posto, mesmo para níveis moderados de aversão ao risco.
• Formulação Matemática: O problema é formulado como um controle estocástico relaxado, onde o agente escolhe uma distribuição de probabilidade $\pi_t$ sobre as frações de riqueza alocadas ao ativo de risco. A dinâmica da riqueza incorpora tanto o ruído de mercado quanto o ruído da randomização da política.

3. Principais Resultados Teóricos

Os autores analisam o problema em um mercado incompleto de Markov com fatores estocásticos exógenos e utilidade CRRA (Aversão Relativa ao Risco Constante).

A. Estrutura da Política Ótima (Teorema 1)

• Distribuição Gaussiana: A política ótima de portfólio (em termos de distribuição de fração de riqueza) segue necessariamente uma distribuição Normal (Gaussiana).
• Independência da Riqueza: A política é independente do nível de riqueza atual, dependendo apenas dos fatores estocásticos de mercado e do tempo.
• Variância da Política: A variância ótima é dada em forma fechada:
  $$\text{Var}(\pi^*) = \frac{\lambda}{\gamma \sigma^2}$$
  Onde $\lambda$ é o parâmetro de temperatura (peso da utilidade perturbada), $\gamma$ é o coeficiente de aversão ao risco e $\sigma^2$ é a volatilidade do ativo.
  • Interpretação: Maior aversão ao risco ou maior volatilidade de mercado reduzem o "ruído" da escolha.
• Média da Política: A média da distribuição ótima é a soma de dois termos:
  1. Termo Miópico: Idêntico à solução clássica de Merton (depende do prêmio de risco e aversão).
  2. Termo de Cobertura (Hedging) Inter-temporal: Surge devido à incompletude do mercado e à correlação entre o fator de mercado e o retorno do ativo.
  • Diferença Crucial: Ao contrário de modelos anteriores de RL (aprendizado por reforço) onde a política é apenas "viésada" na variância, aqui a média da política é alterada (viésada) pela presença da randomização, pois a função de valor (e consequentemente o termo de hedge) depende do parâmetro de temperatura $\lambda$.

B. Condições para Viés (Unbiasedness)
A política ótima é "não-viésada" (sua média coincide com a solução clássica de Merton) apenas em casos especiais:

• Mercados completos ou quando o fator de mercado é independente do retorno do ativo.
• Utilidade Logarítmica ($\gamma = 1$), onde o termo de hedge intertemporal desaparece e a RPU colapsa para a APU.

C. Análise Assintótica e Custo Financeiro (Teorema 2)
Os autores realizam uma expansão assintótica em torno do parâmetro de temperatura $\lambda$ (assumido pequeno) para quantificar o custo da preferência pela randomização:

• Desvio da Média: O desvio da política média em relação à política clássica de Merton é de primeira ordem em $\lambda$ ($O(\lambda)$).
• Perda de Riqueza Relativa: A perda de utilidade e a perda equivalente de riqueza (o custo financeiro de adotar a política randomizada em vez da determinística) são de segunda ordem em $\lambda$ ($O(\lambda^2)$).
• Significado: Embora a política ótima se desvie significativamente da política clássica devido à preferência por randomização, o custo financeiro direto dessa preferência é de uma ordem superior (menor), sugerindo que o "prazer" da randomização pode ser obtido com um custo de riqueza relativamente baixo.

4. Contribuições Chave

1. Solução para o Problema Dinâmico: Resolve a questão de mal-postura da APU em tempo contínuo através da introdução da estrutura recursiva (RPU), inspirada na utilidade de Epstein-Zin e Uzawa.
2. Caracterização Analítica: Deriva uma solução de forma fechada para a política ótima em um mercado incompleto geral, provando que a randomização ótima é Gaussiana.
3. Viés na Média: Demonstra que, diferentemente de modelos de regularização por entropia em Aprendizado por Reforço (onde o viés é apenas na variância), a preferência intrínseca por randomização altera a média da alocação ótima devido à interação entre hedge e randomização.
4. Quantificação do Custo: Estabelece uma métrica clara para o custo financeiro da preferência por escolhas estocásticas, mostrando que é quadraticamente menor que o desvio da política.

5. Significado e Implicações

• Teórico: Preenche a lacuna entre a teoria de escolha estocástica estática e a otimização dinâmica de portfólio, oferecendo um framework rigoroso para modelar comportamentos não determinísticos em finanças.
• Prático: Sugere que modelos de portfólio que ignoram a preferência por randomização podem subestimar a volatilidade das alocações reais, embora a alocação média possa não se desviar drasticamente em termos de retorno esperado.
• Conexão com RL: Distingue-se da literatura de Aprendizado por Reforço (onde a entropia é usada para exploração algorítmica) ao tratar a randomização como uma preferência intrínseca do agente (utilidade), e não apenas uma ferramenta de aprendizado.

Em suma, o artigo demonstra que é possível modelar matematicamente a "aleatoriedade" como uma preferência racional em um problema de investimento contínuo, resultando em políticas de portfólio estocásticas Gaussianas que equilibram o prazer da incerteza com a proteção contra riscos de mercado.