Reinforcement Learning and Consumption-Savings Behavior

脳のGPSと支出の謎

あなたの脳を、混沌とした日常生活という地形をナビゲートする超スマートなGPSだと想像してみてください。通常、私たちは人々が完璧な数学者のように金融決定を下していると想定しがちです。つまり、来年いくら稼げるかを正確に把握し、今日の支出と明日のための貯蓄の完璧なバランスを計算し、決して間違いを犯さないと考えています。これが「合理的期待」の視点であり、経済学者が数十年にわたって使用してきた標準的な地図です。しかし、現実の生活はもっと複雑です。私たちには水晶玉はありません。あるのは、過去の経験だけです。

ここで**強化学習（Reinforcement Learning）**が登場します。これを、方程式を解くスーパーコンピューターではなく、試行錯誤を通じて学ぶビデオゲームのプレイヤーだと考えてみてください。ゲームでは、レベルのルールを事前に知ることはできません。ある動きを試し、報酬を得る（あるいは「ゲームオーバー」になる）ことで、脳は「何がうまくいくか」についての内部マップを次回のときのために更新します。ハイスコアを獲得すれば、その経路を記憶します。負ければ、その経路を避けます。この論文は、非常に魅力的な問いを投げかけています。私たちの支出習慣は、完璧な数学者によって計算されているのではなく、この「試して、失敗して、学ぶ」というプロセスによって形作られているのではないか？ ということです。これは、私たちの脳が、将来の完璧な予測に基づいているのではなく、過去に直面した「驚き」に基づいて、自分がどれくらい貯金すべきかというメンタルモデルを絶えず更新していることを示唆しています。

パズル：なぜお金がない時ほど、人はもっと使ってしまうのか？

経済学者たちは、不況時における人々の支出行動に関する2つの奇妙なパターンについて、頭を悩ませてきました。

第1の謎： パンデミックの間、政府は刺激策として給付金を送りました。研究者によると、銀行口座にほとんどお金を持っていなかった失業者は、受け取った追加資金の約0.53を支出しました。しかし、以前から多くのお金を持っていた失業者は、追加資金のわずか0.29しか支出しませんでした。これは奇妙なことです。なぜなら、その資金を受け取った時点では、どちらのグループも実際には「困窮」していたわけでも、借金ができなくなったわけでもなかったからです。標準的な経済理論によれば、十分な現金があるなら、突然の臨時収入に対して過度に支出を急ぐべきではありません。なぜ、過去にお金がなかったという事実が、現在（たとえ現在は順調であっても）の支出を増やすことになるのでしょうか？

第2の謎： 別の研究では、過去に失業を経験した人は、その後数年間、たとえ現在は就業しており状況が良くても、より多くを貯蓄し、支出を抑える傾向があることが分かりました。これは「スカーリング（傷跡）」と呼ばれます。それは、現在の給料を楽しむことを妨げる、過去からの亡霊のようなものです。

大きな疑問は、「たった一つの説明で、両方の謎を解けるのか？」ということです。通常、経済学者はどちらか一方を選ばなければなりません。「将来を恐れているだけだ」あるいは「単に数学が苦手なだけだ」といった具合に。しかし、この論文は異なる原因を提示しています。それが強化学習です。

実験：デジタルエージェントに学習させる

著者であるブランドン・カプロウィッツは、このアイデアを検証するためにコンピュータ・シミュレーションを構築しました。デジタルエージェントに将来の完璧な地図を与える代わりに、経験を通じて学習する脳の簡略版である「ニューラルネットワーク」を与えました。

シミュレーションの仕組みは以下の通りです：

1. セットアップ： エージェントは、完璧な数学者が行うような、貯蓄と支出に関する大まかな推測を持ってスタートします。
2. ゲーム： 彼らはシミュレーション上の人生を50四半期（約12.5年）生き抜きます。仕事を得たり、失ったり、給料をもらったりします。
3. 学習： エージェントがサプライズ（例えば、突然の失業など）に直面すると、彼らは「時間的差分誤差（temporal difference error）」を感じます。ビデオゲームの用語で言えば、金貨を期待していたのに石ころを受け取ったような状態です。脳は「おっと、私のマップが間違っていた！」と気づきます。
4. 更新： エージェントのニューラルネットワークは、この間違いを修正するために内部の重みを微調整します。単に一つの数字を変えるのではなく、将来のために貯蓄することがどれほど価値があるかという、理解全体を再形成します。

大発見：どのように「傷跡」がマップを変えるのか

シミュレーションの結果は、現実世界のパズルとほぼ同じものを示しました。その魔法のメカニズムは以下の通りです：

エージェントが失業を経験すると、脳は「ネガティブなサプライズ」を受け取ります。これを修正するために、ニューラルネットワークは将来のメンタルマップを更新します。この更新は、同時に2つのことを行います：

1. マップを急にする： エージェントは、貯金が思っていたよりも重要であることを悟ります。これにより、全体的な支出が減少します（これが「スカーリング」効果です）。
2. マップを曲面にさせる： エージェントは、豊かになるにつれて貯金の価値が急速に低下することに気づきます。これにより、彼らは新しいお金を手にしたときに極めて熱心に支出するようになります。なぜなら、貯蓄が少ないことによる「痛み」が以前よりもずっと鋭くなっていると感じるからです。

結果：

• スカーリング効果： 失業の経験を持つエージェントは、現実世界のデータと同様に、平均的な支出が低くなりました。
• 高額支出の狂騒： これらのエージェントが刺激策の給付金を受け取ると、彼らはその0.50を支出しました（現実世界の0.53に非常に近い数値）。一方で、安定した職歴を持つエージェントは、その0.34しか支出しませんでした（現実世界の0.29に近い数値）。

これが意味すること（そして意味しないこと）

この論文は、こうした行動を説明するために、人々が「非合理的」であったり「奇妙な心理学」を持っていたりすると仮定する必要はないことを示唆しています。代わりに、私たちの脳は単に、自分たちが最も得意とする、過去のサプライズから学ぶという行為を行っているのです。

• 悲観主義ではない： 著者は、エージェントが単に「悲観的（失業の可能性が高いと考えている）」になったバージョンのモデルもテストしました。そのモデルは失敗しました。それは支出を減らしましたが、同時に臨時収入に対する支出も減らしてしまい、現実で見られる現象とは逆の結果となりました。強化学習モデルこそが、「全体的な支出を減らす」ことと「ボーナスへの支出を増やす」ことの両方を正しく導き出せた唯一のモデルでした。
• シミュレーションであり、水晶玉ではない： 著者は、これらがコンピュータ・シミュレーションの結果であることに注意を払っています。数値は現実世界の研究（例：シミュレーションの0.50 対 0.34 vs 現実の0.53 対 0.29）と一致していますが、これはどのように機能し得るかを示すモデルであり、人間の脳がどのように機能するかについての最終的な証明ではありません。
• 「ブラックボックス」の限界： エージェントはニューラルネットワークを通じて学習するため、「解雇される確率をどう考えているか？」と簡単に尋ねることはできません。モデルは、特定の確率を計算するのではなく、値を調整することで機能します。これは強み（柔軟性がある）でもあり、弱み（エージェントの頭の中にある具体的な「信念」を見ることはできない）でもあります。

要するに、この論文は私たちの財布に対する、遊び心がありながらも強力な新しい見方を提示しています。私たちの支出習慣は、直面したサプライズによって書き込まれた、生きた歴史書なのです。失業によって恐怖を感じるとき、私たちの脳はただ悲しむだけでなく、ゲームのルールを書き換え、嵐が再び来る場合に備えて、雨の日のための貯蓄を増やし、臨時収入をより素早く使うように作り変えるのです。