Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions
本論文は、結果に基づく報酬を用いた強化学習を事前学習済み大規模言語モデルの微調整に用いることで、それらのモデルが、高い予測精度を達成すると同時に、人間のリスクを伴う選択に対して解釈可能な自然言語による説明を生成するという、二重の目的を持つ認知モデルとして機能できることを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
基本的なアイデア：AIに「独り言」を教える
想像してみてください。あなたには、次にあなたが何をするかを予測するのが非常に得意な、超優秀な生徒（大規模言語モデル、またはLLM）がいます。もし彼らに難しい数学の問題を見せれば、彼らは通常、正しい答えを出すことができます。しかし、「どうやってその答えに辿り着いたのか？」と尋ねると、彼らは単に「なんとなく分かりました」と言ったり、あまり意味をなさない曖昧な説明をしたりするかもしれません。
心理学の世界では、科学者たちは単に（人間の行動を予測するだけでなく）、なぜ人々がそのような選択をするのか（認知メカニズムを明らかにする）を説明できるモデルを求めています。
この論文はこう問いかけています。「AIに対して、単に人間の決定を予測するだけでなく、人間の心理学を実際に説明できるような『独り言（思考プロセス）』を話すように教えることはできるだろうか？」
実験： 「リスク選択」ゲーム
これをテストするために、研究者たちは「リスク選択」と呼ばれる古典的な心理学ゲームを用いました。次のような選択肢を提示されたと想像してください。
- 選択肢A： 確実に27ドルもらえる。
- 選択肢B： 90%の確率で25ドルもらえるが、10%の確率で92ドルもらえる。
多くの人は、安全な賭けとリスクのあるギャンブルの間で選択を迫られます。研究者たちは、これらの選択を行った数千人の実在する人間による膨大なデータセットを使用しました。彼らは、AIに対し、選択肢を見て「70%の人は選択肢Aを選び、30%の人は選択肢Bを選ぶ」と言うように訓練したいと考えました。
3つのトレーニング手法
研究者たちは、このタスクをAIに教えるために、3つの異なるコーチングスタイルを試しました。
- 「暗記型」（標準的なトレーニング）： AIに質問と正解の例を何千も見せました。AIはパターンをコピーすることを学びました。AIはパーセンテージを当てることは得意になりましたが、その「理由」については学習していませんでした。これは、答えの解答集を丸暗記したが、数学の解き方を説明できない学生のようなものです。
- 「マスクされた暗記型」（ケンタウルス型）： これは最初の方法の高度なバージョンで、AIがテキストの他の部分を無視して、答えに含まれる数字だけに集中するように強制されます。これも予測には優れていましたが、やはり優れた説明を生成することはできませんでした。
- 「スコアボードを持つコーチ」（強化学習 - RL）： これが主役です。ここでは、AIは最終的な答えを出す前に、「思考の連鎖（Chain of Thought）」（ステップ・バイ・ステップの推論プロセス）を書くことが許されました。
- 仕掛け： AIは単に正解したときにもらえるポイントを得るだけではありません。最終的な予測が、実際の人間が実際に行った行動にいかに近かったかに基づいてポイントを獲得しました。
- 結果： ポイントを獲得するために、AIは心理学者のように「考える」必要があることに気づきました。AIは、「人々はリスク回避的である」や「彼らは期待値を計算している」といった書き出しを始めました。ゲームに勝とう（人間のデータに合わせよう）とすることで、AIは人間が従う心理学的ルールを言葉にする方法を、偶然にも学んだのです。
結果：AIは心理学者になる
研究者たちは、「スコアボードを持つコーチ」（RL）の手法が、2つの理由からゲームチェンジャーであることを発見しました。
- 予測が優れていた： AIは、他の手法と同様に、人間が何を選択するかを当てることに長けていました。
- 説明が優れていた： 「独り言」の部分（思考の連鎖）は、実際に質の高い心理学的説明となっていました。
- 比喩： 他の手法が「雨が降ります」と言うだけの天気予報アプリだとすれば、RLの手法は「寒冷前線が暖気と衝突し、低気圧が発生しているため、雨が降ります」と言う気象予報士のようなものです。
- AIは、リスク回避（人は損失を嫌う）、期待値（確率に基づいた計算）、確実性効果（人は確実な勝利を好む）といった、実際の心理学的概念を使い始めました。
「賢さ」の要件
ただし、落とし穴もありました。研究者たちは、この同じ「コーチ」の手法を、より小さく、より弱いAIモデルに対して試しました。
- 比喩： 幼児に対して複雑な戦略を教えようとするのか、大学生に対して教えようとするのかの違いを想像してください。幼児（小さなモデル）は、コーチがいても数学や戦略を理解することができませんでした。混乱してしまい、悪い答えを出してしまいました。
- 発見： 「コーチ」の手法が機能したのは、ベースとなるAIがすでにそれらの概念を理解できるほど十分に賢かったからです。もしAIがそもそも「期待値」という概念を理解できるほど賢くなければ、それを説明するように訓練することはできません。
「変幻自在」のテスト
AIが単に暗記したフレーズを復唱しているのではないことを証明するために、研究者たちはゲームのルールを変更しました。実際の人間データを使う代わりに、数学（期待値）のみを重視するロボットが生成したデータをAIに投入しました。
- 結果： AIは即座に「思考」を変えました。人間の恐怖やリスク回避について話すのをやめ、純粋に数学と論理について話し始めたのです。
- 教訓： これにより、AIが単にスクリプトをコピーしているのではなく、訓練されているデータに合わせて自身の推論を実際に適応させていることが証明されました。AIは、自分がプレイしている特定のゲームのルールを真に「学習」していたのです。
まとめ
この論文は、スマートなAIに対して、報酬システム（ビデオゲームのスコアのようなもの）を用いて人間の行動を予測するように訓練すれば、AIは自然と人間が用いるのと同じ心理学的ルールを用いて「独り言」を言い始めることを示しています。これにより、AIは単なる推測器から、なぜ私たちがそのような選択をするのかを説明できるモデルへと進化します。しかし、これはベースとなるAIが、そもそもそれらの概念を理解できるほど十分に賢い場合にのみ成立します。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。