Reinforcement Learning and Consumption-Savings Behavior

Resumo Técnico: Aprendizado por Reforço e Comportamento de Consumo-Poupança

Enunciado do Problema
Este artigo aborda dois enigmas empíricos persistentes no comportamento de consumo das famílias durante recessões econômicas que desafiam os modelos padrão de expectativas racionais, mesmo aqueles aumentados por restrições de crédito:

1. MPCs Elevadas para Famílias com Baixos Ativos: Ganong et al. (2024) documentam que famílias desempregadas com ativos líquidos previamente baixos exibem propensões marginais a consumir (MPCs) de transferências de estímulo (0,53) significativamente maiores do que famílias com altos ativos (0,29), apesar de nenhum dos grupos enfrentar restrições de crédito atuais. Modelos padrão têm dificuldade em explicar essa heterogeneidade sem assumir diferenças ex-ante ou restrições vinculativas.
2. Cicatriz de Consumo (Consumption Scarring): Malmendier e Shen (2024) observam que famílias com mais experiências passadas de desemprego mantêm níveis de consumo persistentemente mais baixos (taxas de poupança mais altas) mesmo após controlar por renda atual, riqueza e status de emprego.

As explicações existentes enfrentam um problema de reconciliação: mecanismos que geram MPCs elevadas (como restrições de crédito) geralmente falham em explicar o efeito de "cicatriz" (consumo médio mais baixo), enquanto mecanismos que explicam a "cicatriz" (como o aumento do risco subjetivo de desemprego) tipicamente preveem MPCs mais baixas, contradizendo a evidência empírica.

Metodologia
O autor desenvolve um modelo estrutural onde os agentes são tomadores de decisão economicamente racionais sujeitos a restrições informacionais e computacionais. Diferente dos modelos padrão onde os agentes resolvem a equação de Bellman dada uma função de processo de renda conhecida, esses agentes utilizam Aprendizado por Reforço (Reinforcement Learning - RL) para aproximar seu valor de continuação.

• Configuração do Agente: Os agentes enfrentam um Problema de Decisão de Markov (MDP) com caixa disponível ($x$) e renda do trabalho ($y$) como variáveis de estado. Eles não conhecem a verdadeira matriz de transição de renda ($P$) e não podem resolver a equação de ponto fixo de Bellman analiticamente.
• Mecanismo de Aprendizado: Os agentes empregam Q-learning com aproximação por redes neurais.
  • Aproximação da Função de Valor: Os agentes utilizam uma rede neural de duas camadas com ativações de Unidade Linear Retificada (ReLU) para estimar a função de valor esperado ($\hat{EV}$) com base nos ativos e renda atuais.
  • Derivação da Política: Para garantir políticas de consumo suaves e monótonas, o agente ajusta um polinômio à saída da rede neural para análise contrafactual, embora utilizem a saída bruta da rede para decisões realizadas.
  • Regra de Atualização: Os agentes atualizam os parâmetros da rede neural ($\phi$) via gradiente descendente sobre o erro de Diferença Temporal (TD). O erro TD ($\epsilon$) representa a "surpresa" entre o valor realizado de uma escolha e a expectativa prévia do agente.
  • Inicialização: Os agentes começam com pesos inicializados para ajustar perfeitamente a solução de expectativas racionais (simulando um ponto de partida de racionalidade). Os desvios surgem exclusivamente das dinâmicas de aprendizado impulsionadas por choques experimentados.
• Simulação: O modelo é calibrado usando parâmetros de Ganong et al. (2024) e Krueger et al. (2016). Os agentes são simulados ao longo de 50 trimestres (aprox. 12,5 anos) com uma distribuição inicial de ativos extraída da Survey of Consumer Finances de 2016.

Principais Contribuições

1. Estrutura Unificadora: O artigo propõe o aprendizado por reforço como um mecanismo unificador que gera simultaneamente menor consumo médio (cicatriz) e maiores MPCs após choques negativos de renda. Isso resolve a contradição encontrada em modelos de atualização de crenças (ex: Malmendier e Shen, 2024), onde o aumento do risco percebido reduz tanto o consumo quanto a MPC.
2. Identificação do Mecanismo: O artigo identifica o papel específico da regra de atualização de gradiente da rede neural. Quando um agente experimenta o desemprego, o erro TD negativo causa um deslocamento descendente localizado na função de valor estimada ($\hat{EV}$). Devido à propriedade de decaimento por distância das atualizações de redes neurais (relacionada ao Neural Tangent Kernel), esse deslocamento:
   • Aumenta a inclinação de $\hat{EV}$ próximo aos ativos atuais, tornando a poupança futura aparentemente mais valiosa, o que reduz o consumo atual (cicatriz).
   • Aumenta a curvatura (concavidade) de $\hat{EV}$, fazendo com que o retorno marginal da poupança decline mais rapidamente conforme os ativos aumentam, o que acentua a política de consumo e eleva a MPC.
3. Distinção de Expectativas Racionais: O modelo demonstra que a heterogeneidade baseada na experiência (ex-post) pode replicar padrões empíricos sem exigir heterogeneidade ex-ante ou restrições de crédito vinculativas.

Resultados

• Replicação da MPC: A simulação replica os achados de Ganong et al. (2024). Agentes com baixos ativos iniciais exibem uma MPC de 0,50, enquanto agentes com altos ativos exibem uma MPC de 0,34. Esse hiato persiste mesmo quando os agentes não estão sob restrição de crédito, correspondendo à magnitude empírica (0,53 vs. 0,29).
• Acordo Qualitativo da Cicatriz: Em relação aos achados de Malmendier e Shen (2024), a simulação mostra um amplo acordo qualitativo, mas não coincide totalmente com os resultados empíricos. Especificamente, o coeficiente de regressão do consumo sobre o índice de experiência de desemprego é negativo e estatisticamente significativo, confirmando a direção do efeito de "cicatriz". No entanto, a magnitude desse efeito na simulação é aproximadamente uma ordem de magnitude menor que a estimativa empírica. O autor atribui essa discrepância em parte às diferenças de frequência (simulação trimestral vs. dados bienais).
• Comparação com Crenças Pessimistas: O autor contrasta o agente de RL com um agente "pessimista" que atualiza crenças sobre probabilidades de desemprego (Utilidade Antecipada). O agente pessimista prevê corretamente o consumo mais baixo, mas prevê incorretamente menores MPCs. O agente de RL é o único que combina ambas as direções empíricas (menor consumo, maior MPC).

Significância e Alegações
O artigo argumenta que o aprendizado adaptativo através do aprendizado por reforço fornece uma base comportamental plausível para anomalias de consumo que modelos racionais padrão não conseguem explicar. Sugere que o efeito de "cicatriz" e as altas MPCs não se devem necessariamente a mudanças nas crenças sobre probabilidades ou restrições de crédito, mas sim a erros de aproximação da função de valor que evoluem com a experiência.

O autor observa limitações modestas:

• A magnitude do efeito de cicatriz na simulação é menor (em uma ordem de magnitude) do que nos dados empíricos, embora o artigo atribua isso em parte às diferenças de frequência (simulação trimestral vs. dados bienais).
• O modelo é "livre de modelo" (model-free), o que significa que não recupera explicitamente as crenças subjetivas do agente sobre futuras probabilidades de desemprego, limitando a capacidade de usar pesquisas de crenças para calibração.
• A análise atual foca em dinâmicas de agente único; o artigo não explora implicações de equilíbrio geral onde múltiplos agentes de RL interagem.

Em última análise, o artigo argumenta que o RL oferece uma explicação distinta e unificadora de como as experiências passadas moldam o comportamento de consumo atual além do que as condições econômicas atuais preveriam.