💰 quantitative finance

Reinforcement Learning and Consumption-Savings Behavior

Este artículo propone un modelo de aprendizaje por refuerzo con aproximación de redes neuronales para explicar cómo los mecanismos de aprendizaje adaptativo, en lugar de las expectativas racionales estándar, generan simultáneamente las altas propensiones marginales al consumo entre los hogares desempleados con bajos activos y la persistente "cicatrización" del consumo observada en individuos con experiencias previas de desempleo.

Autores originales: Brandon Kaplowitz

Publicado 2026-08-06

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Brandon Kaplowitz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El GPS del cerebro y el misterio del gasto

Imagine su cerebro como un GPS superinteligente navegando por el terreno caótico de la vida diaria. Normalmente, asumimos que las personas toman decisiones financieras como matemáticos perfectos: saben exactamente cuánto dinero ganarán el próximo año, calculan el equilibrio perfecto entre gastar hoy y ahorrar para el mañana, y nunca cometen errores. Esta es la visión de las "Expectativas Racionales", el mapa estándar que los economistas han utilizado durante décadas. Pero la vida real es más desordenada. No tenemos una bola de cristal; solo tenemos nuestras experiencias pasadas.

Entra en escena el Aprendizaje por Refuerzo (Reinforcement Learning). Piense en esto no como una supercomputadora resolviendo ecuaciones, sino como un jugador de un videojuego que aprende mediante el ensayo y error. En un juego, no conoces las reglas del nivel de antemano. Intentas un movimiento, recibes una recompensa (o un "game over"), y tu cerebro actualiza su mapa interno de "qué funciona" para la próxima vez. Si obtienes una puntuación alta, recuerdas ese camino. Si pierdes, lo evitas. Este artículo plantea una pregunta fascinante: ¿Qué pasaría si nuestros hábitos de gasto no fueran calculados por un matemático perfecto, sino que estuvieran moldeados por este mismo proceso de "intentar, fallar, aprender"? Sugiere que nuestros cerebros están actualizando constantemente un modelo mental de cuánto deberíamos ahorrar basándose en las sorpresas que hemos enfrentado en el pasado, en lugar de una predicción perfecta del futuro.

El rompecabezas: ¿Por qué algunas personas gastan más cuando están quebradas?

Los economistas se han estado rompiendo la cabeza con dos extraños patrones en la forma en que las personas gastan dinero durante tiempos difíciles.

El primer misterio: Durante la pandemia, el gobierno envió cheques de estímulo. Los investigadores descubrieron que las personas desempleadas que solían tener muy poco dinero en sus cuentas bancarias gastaron aproximadamente 0.53 de cada dólar extra que recibieron. Pero las personas desempleadas que solían tener mucho dinero gastaron solo 0.29 de cada dólar extra. Esto es extraño porque, en el momento en que recibieron el dinero, ninguno de los dos grupos estaba realmente "quebrado" o incapaz de pedir prestado. La teoría económica estándar dice que si tienes suficiente efectivo, no deberías estar tan ansioso por gastar una entrada de dinero repentina. ¿Por qué la falta de dinero pasada de alguien haría que gaste más ahora, incluso si actualmente está bien?

El segundo misterio: Otro estudio encontró que las personas que han estado desempleadas en el pasado tienden a ahorrar más y gastar menos durante años después, incluso si actualmente están empleadas y les va bien. Esto se llama "cicatrización" (scarring). Es como un fantasma del pasado que te impide disfrutar de tu sueldo actual.

La gran pregunta es: ¿Puede una sola explicación resolver ambos misterios? Normalmente, los economistas tienen que elegir uno. "Tal vez solo tienen miedo al futuro" o "Tal vez son malos en matemáticas". Pero este artículo sugiere un culpable diferente: el Aprendizaje por Refuerzo.

El experimento: Enseñando a un agente digital a aprender

El autor, Brandon Kaplowitz, construyó una simulación computacional para probar esta idea. En lugar de dar a sus agentes digitales un mapa perfecto del futuro, les dio una "red neuronal": una versión simplificada de un cerebro que aprende por experiencia.

Así es como funciona la simulación:

La configuración: Los agentes comienzan con una suposición aproximada sobre cómo ahorrar y gastar, similar a lo que haría un matemático perfecto.
El juego: Viven a través de 50 trimestres (aproximadamente 12.5 años) de vida simulada. Consiguen trabajos, pierden empleos y reciben pagos.
El aprendizaje: Cuando un agente experimenta una sorpresa —como perder su trabajo repentinamente— siente un "error de diferencia temporal". En términos de videojuegos, esto es como esperar recibir una moneda de oro pero recibir una piedra en su lugar. El cerebro se da cuenta de: "¡Vaya, mi mapa estaba equivico!".
La actualización: La red neuronal del agente ajusta sus pesos internos para corregir este error. No solo cambia un número; redefine por completo su comprensión de qué tan valioso es ahorrar para el futuro.

La gran revelación: Cómo las "cicatrices" cambian el mapa

La simulación produjo resultados que se parecen casi exactamente a los enigmas del mundo real. Aquí está el mecanismo mágico:

Cuando un agente experimenta el desempleo, su cerebro recibe una "sorpresa negativa". Para solucionar esto, la red neuronal actualiza su mapa mental del futuro. Esta actualización hace dos cosas simultáneamente:

Hace que el mapa sea más empinado: El agente se da cuenta de que ahorrar dinero es más importante de lo que pensaba. Esto hace que gaste menos en general (el efecto de "cicatrización").
Hace que el mapa sea más curvo: El agente se da cuenta de que el valor del ahorro cae rápidamente a medida que se vuelve más rico. Esto lo hace extremadamente ansioso por gastar cualquier dinero nuevo que reciba, porque siente el "dolor" de tener ahorros bajos de manera mucho más aguda que antes.

El resultado:

El efecto de cicatrización: Los agentes con un historial de desempleo terminaron con un gasto promedio más bajo, tal como muestran los datos del mundo real.
El frenesí de gasto: Cuando estos mismos agentes recibieron un cheque de estímulo, gastaron 0.50 de él (muy cerca del 0.53 del mundo real), mientras que los agentes con un historial de empleos estables solo gastaron 0.34 (cerca del 0.29 del mundo real).

Lo que esto significa (y lo que no)

El artículo sugiere que no necesitamos asumir que las personas son "irracionales" o tienen una "psicología extraña" para explicar estos comportamientos. En cambio, nuestros cerebros simplemente están haciendo lo que mejor saben hacer: aprender de las sorpresas del pasado.

No se trata de ser pesimista: El autor probó una versión donde los agentes simplemente se volvieron "pesimistas" (pensando que el desempleo es más probable). Ese modelo falló. Hizo que las personas gastaran menos, pero también hizo que gastaran menos de un beneficio inesperado, lo cual es lo opuesto a lo que vemos en la vida real. El modelo de aprendizaje por refuerzo es el único que logró acertar tanto en la parte de "gastar menos en general" como en la de "gastar más de un beneficio".
Es una simulación, no una bola de cristal: El autor es cuidadoso al notar que estos son resultados de una simulación computacional. Los números coinciden con los estudios del mundo real (como 0.50 frente a 0.34 en la simulación frente a 0.53 frente a 0.29 en la realidad), pero este es un modelo de cómo podría funcionar, no una prueba final de cómo funciona cada cerebro humano.
La limitación de la "Caja Negra": Debido a que los agentes aprenden a través de una red neuronal, no podemos preguntarles fácilmente: "¿Qué crees que son tus probabilidades de ser despedido?". El modelo funciona ajustando valores, no calculando probabilidades específicas. Esto es una fortaleza (es flexible) pero también una debilidad (no podemos ver las "creencias" exactas dentro de la cabeza del agente).

En resumen, este artículo ofrece una forma lúdica pero poderosa de mirar nuestras carteras. Sugiere que nuestros hábitos de gasto son un libro de historia viviente, escrito por las sorpresas que hemos enfrentado. Cuando nos asusta la pérdida de un empleo, nuestro cerebro no solo se pone triste; reescribe las reglas del juego, haciéndonos ahorrar más para un día lluvioso y gastar nuestros beneficios más rápido, por si acaso la tormenta regresa.

Resumen Técnico: Aprendizaje por Refuerzo y Comportamiento de Consumo-Ahorro

Planteamiento del Problema
Este documento aborda dos enigmas empíricos persistentes en el comportamiento del consumo de los hogares durante las recesiones económicas que desafían los modelos estándar de expectativas racionales, incluso aquellos aumentados con restricciones de endeudamiento:

Altas MPC para Hogares con Bajos Activos: Ganong et al. (2024) documentan que los hogares desempleados con activos líquidos previamente bajos exhiben propiedades marginales de consumo (MPC) significativamente más altas (0.53) ante transferencias de estímulo en comparación con los hogares de altos activos (0.29), a pesar de que ninguno de los dos grupos enfrenta restricciones de endeudamiento actuales. Los modelos estándar tienen dificultades para explicar esta heterogeneidad sin asumir diferencias ex-ante o restricciones vinculantes.
Cicatrización del Consumo (Consumption Scarring): Malmendier y Shen (2024) encuentran que los hogares con más experiencias previas de desempleo mantienen niveles de consumo persistentemente más bajos (tasas de ahorro más altas), incluso tras controlar por ingresos, riqueza y estado de empleo actuales.

Las explicaciones existentes enfrentan un problema de reconciliación: los mecanismos que generan altas MPC (como las restricciones de endeudamiento) a menudo no logran explicar el efecto de "cicatrización" (menor consumo promedio), mientras que los mecanismos que explican la cicatrización (como el aumento del riesgo subjetivo de desempleo) típicamente predicen menores MPC, lo cual contradice la evidencia empírica.

Metodología
El autor desarrolla un modelo estructural donde los agentes son tomadores de decisiones económicamente racionales sujetos a restricciones informativas y computacionales. A diferencia de los modelos estándar donde los agentes resuelven la ecuación de Bellman dado un proceso de ingresos conocido, estos agentes utilizan Aprendizaje por Refuerzo (Reinforcement Learning - RL) para aproximar su valor de continuación.

Configuración del Agente: Los agentes se enfrentan a un Proceso de Decisión de Markov (MDP) con efectivo disponible ( $x$ ) e ingresos laborales ( $y$ ) como variables de estado. No conocen la verdadera matriz de transición de ingresos ( $P$ ) y no pueden resolver la ecuación de Bellman de punto fijo analíticamente.
Mecanismo de Aprendizaje: Los agentes emplean Q-learning con aproximación de redes neuronales.
- Aproximación de la Función de Valor: Los agentes utilizan una red neuronal de dos capas con activaciones de Unidad Lineal Rectificada (ReLU) para estimar la función de valor esperado ( $\hat{EV}$ ) basada en los activos e ingresos actuales.
- Derivación de la Política: Para asegurar políticas de consumo suaves y monótonas, el agente ajusta un polinomio a la salida de la red neuronal para el análisis contrafactual, aunque utiliza la salida bruta de la red para las decisiones realizadas.
- Regla de Actualización: Los agentes actualizan los parámetros de la red neuronal ( $\phi$ ) mediante el descenso de gradiente sobre el error de Diferencia Temporal (TD). El error TD ( $\epsilon$ ) representa la "sorpresa" entre el valor realizado de una elección y la expectativa previa del agente.
- Inicialización: Los agentes comienzan con pesos inicializados para ajustarse perfectamente a la solución de expectativas racionales (simulando un punto de partida de racionalidad). Las desviaciones surgen únicamente de la dinámica de aprendizaje impulsada por los choques experimentados.
Simulación: El modelo se calibra utilizando parámetros de Ganong et al. (2024) y Krueger et al. (2016). Se simulan los agentes durante 50 trimestres (aprox. 12.5 años) con una distribución inicial de activos extraída de la Encuesta de la Situación Financiera del Consumidor de 2016.

Contribuciones Clave

Marco Unificador: El documento propone el aprendizaje por refuerzo como un mecanismo unificador que genera simultáneamente un menor consumo promedio (cicatrización) y mayores MPC tras choques negativos de ingresos. Esto resuelve la contradicción encontrada en los modelos de actualización de creencias (por ejemplo, Malmendier y Shen, 2024), donde el aumento del riesgo percibido reduce tanto el consumo como la MPC.
Identificación del Mecanismo: El documento identifica el papel específico de la regla de actualización del gradiente de la red neuronal. Cuando un agente experimenta desempleo, el error TD negativo causa un desplazamiento descendente localizado en la función de valor estimada ( $\hat{EV}$ $\hat{E V}$ ). Debido a la propiedad de decaimiento por distancia de las actualizaciones de la red neuronal (relacionada con el Kernel de Tangente Neuronal), este desplazamiento:
- Aumenta la pendiente de $\hat{EV}$ cerca de los activos actuales, haciendo que los ahorros futuros parezcan más valiosos, lo que reduce el consumo actual (cicatrización).
- Aumenta la curvatura (concavidad) de $\hat{EV}$ , causando que el rendimiento marginal del ahorro disminuya más rápidamente a medida que los activos aumentan, lo que vuelve más pronunciada la política de consumo y eleva la MPC.
Distinción de las Expectativas Racionales: El modelo demuestra que la heterogeneidad basada en la experiencia (ex-post) puede replicar patrones empíricos sin requerir heterogeneidad ex-ante o restricciones de endeudamiento vinculantes.

Resultos

Replicación de la MPC: La simulación replica los hallazgos de Ganong et al. (2024). Los agentes con bajos activos iniciales exhiben una MPC de 0.50, mientras que los agentes de altos activos exhiben una MPC de 0.34. Esta brecha persiste incluso cuando los agentes no están bajo restricción de endeudamiento, coincidiendo con la magnitud empírica (0.53 vs. 0.29).
Acuerdo Cualitativo de la Cicatrización: Respecto a los hallazgos de Malmendier y Shen (2024), la simulación muestra un amplio acuerdo cualitativo, pero no coincide plenamente con los resultados empíricos. Específicamente, el coeficiente de regresión del consumo sobre el índice de experiencia de desempleo es negativo y estadísticamente significativo, confirmando la dirección del efecto de "cicatrización". Sin embargo, la magnitud de este efecto en la simulación es aproximadamente un orden de magnitud menor que la estimación empírica. El autor atribuye esta discrepancia, en parte, a las diferencias de frecuencia (simulación trimestral frente a datos bienales).
Comparación con Creencias Pesimistas: El autor contrasta al agente de RL con un agente "pesimista" que actualiza sus creencias sobre las probabilidades de desempleo (Utilidad Anticipada). El agente pesimista predice correctamente un menor consumo, pero predice incorrectamente una menor MPC. El agente de RL es el único que coincide con ambas direcciones empíricas (menor consumo, mayor MPC).

Significancia y Reivindicaciones
El documento sostiene que el aprendizaje adaptativo a través del aprendizaje por refuerzo proporciona una base conductual plausible para las anomalías del consumo que los modelos racionales estándar no pueden explicar. Sugiere que el efecto de "cicatrización" y las altas MPC no se deben necesariamente a cambios en las creencias sobre las probabilidades o a restricciones vinculantes, sino más bien a errores de aproximación de la función de valor que evolucionan con la experiencia.

El autor señala limitaciones modestas:

La magnitud del efecto de cicatrización en la simulación es menor (por un orden de magnitud) que en los datos empíricos, aunque el autor lo atribuye en parte a las diferencias de frecuencia (simulación trimestral frente a datos bienales).
El modelo es "libre de modelo" (model-free), lo que significa que no recupera explícitamente las creencias subjetivas del agente sobre las probabilidades futuras de desempleo, lo que limita la capacidad de usar encuestas de creencias para la calibración.
El análisis actual se centra en la dinámica de un solo agente; el documento no explora las implicaciones de equilibrio general donde interactúan múltiples agentes de RL.

En última instancia, el documento argumenta que el RL ofrece una explicación distinta y unificadora de cómo las experiencias pasadas moldean el comportamiento de consumo actual más allá de lo que las condiciones económicas actuales predecirían.