人間の行動は、刺激から反応へと至る単純な直線であることは滅多にありません。人間や動物が選択を行うとき、その決定は、その内側で起きているはるかに大きく、目に見えないプロセスの、目に見える先端に過ぎないことがよくあります。科学者たちは、これらの隠れたプロセスを「潜在変数」と呼んでいます。それらは、注意の突然の変化、どの行動が報酬をもたらすかという信念の変化、あるいは脳が従っている瞬間的なルールといった、外部に見える行動を駆動する内部状態のことです。これらの隠れた状態を理解することは、脳がいかにして思考や学習を支えているかを知ろうとする研究者にとって極めて重要です。数十年にわたり、これらの内部状態を明らかにするための標準的な手法は、行動の数学的モデルを構築し、そのモデルをデータに適合させるための最適な数値を求め、その後、モデルを実行して隠れた状態が何であったかを読み解くというものでした。しかし、この伝統的な手法は、モデルが複雑になりすぎると、手厳しい壁に突き当たります。心の仕組みに関する多くの興味深い理論には、計算があまりにも困難であるため、標準的な数学的ツールでは答えを見つけることすらできない計算が含まれています。これにより、膨大な数の認知理論が未開拓のまま残されてきました。なぜなら、科学者たちが複雑な行動というブラックボックスの中を覗き見る方法を持たなかったからです。
カリフォルニア大学バークレー校の研究チームは、この壁を回避し、最も複雑なモデルにおいても科学者が隠れた状態を見ることができる新しいツールを開発しました。彼らはその手法をLaseNetと呼んでいます。難しい数学の方程式を直接解こうとする代わりに、研究者たちは、動物が何を行い、その時何を考えている可能性が高いのかという関係性を学習するように人工知能システムを訓練しました。彼らは、正解が分かっている何千ものシミュレーション実験を作成することでこれを行いました。これらのシミュレーションにおいて、彼らは現実の行動(選択、報酬、間違い)のように見えるデータを生成し、それを引き起こした既知の隠れた状態と組み合わせました。彼らは、この「何が起きたか」と「何を考えていたか」という膨大なライブラリを、イベントのシーケンスにおけるパターンを認識するように設計されたコンピュータシステムである一種のニューラルネットワークに投入しました。ネットワークは、一連の行動と結果を観察し、それらを生み出した隠れた精神状態を予測することを学習しました。つまり、複雑な基礎となる数学を解く必要さえなく、行動を思考へと翻訳する方法を学習したのです。
研究者たちは、単純な学習シナリオから複雑な階層的意思決定タスクに至るまで、さまざまな認知モデルを用いてこの新しいアプローチをテストしました。従来のメソッドが機能したケースでは、LaseNetはそれと同様に優れた性能を発揮し、隠れた変数を正確に追跡しました。しかし、その真の力は、従来のメソッドが失敗したり苦戦したりしたモデルにおいて発揮されました。数学が直接解くには難解すぎるモデルに対して、従来のアプローチは全く機能しないか、あるいはエラーを起こしやすい非常に低速でカスタムメイドの統計ツールを必要としました。対照的に、LaseNetはこれらの困難なケースを容易に処理しました。シミュレーションにおいて、LaseNetは既存の最良の技術を凌駕する精度で隠れた状態を特定し、真の内部状態をはるかに少ない誤差で復元しました。それは、報酬の価値の変化のような連続的な変数と、戦略や注意の突然の切り替えのような離散的な変数の両方を、正常に追跡しました。
これが単に作られたデータに対して機能する手法ではないことを証明するために、チームはマウスから収集された実データにLaseNetを適用しました。ある実験では、マウスは報酬が予測不能に変化するタスクをナビゲートしており、それによって内部ルールを常に更新する必要がありました。研究者たちはLaseNetを使用して、マウスの内部的な注意状態と報酬への期待を推論しました。その結果は、従来の手法が適用可能な場合には従来の手法で見られるパターンと一致しましたが、LaseNetはタスク全体を通じてマウスの内部状態の明確で連続的な描写を提供しました。また、視覚的な意思決定タスクを含む別の研究では、LaseNetはマウスが完全に集中している状態と、片側に偏っている状態を特定することに成功し、彼らの精神的な焦点のダイナミックな変化を明らかにしました。このアプローチは個々の動物に対しても機能したため、集団全体の行動を平均化するのではなく、単一の被験者のユニークな認知スタイルを研究するために使用できることを意味しています。
この研究の意義は、これまで閉ざされていた扉を開く能力にあります。複雑で、しばしば不可能な数学的計算の必要性を排除することで、LaseNetは研究者が心の仕組みに関するより幅広い理論をテストすることを可能にします。科学者は今や、以前は分析が困難すぎたモデルを提案し、それでもなお行動を駆動する隠れたプロセスについての答えを得ることができます。この手法は、異なる種類のデータや異なる種類の精神状態を扱うのに十分柔軟であり、膨大な計算能力を必要とせずに標準的なコンピュータ上で効率的に動作します。このツールは、自身の推測の不確実性を測定する方法をまだ提供しておらず、また訓練に使用するモデルの質に依存していますが、これは大きな前進を意味しています。それは、認知モデルの研究を、数学的な扱いやすさによって制限される分野から、研究者が探索したい理論の創造性によってのみ制限される分野へと変貌させ、心の動的な、隠れたメカニズムへのより明確な窓を提供しているのです。
技術要約: LASENET
問題提起
計算論的認知モデルは、行動のダイナミクスを説明し、それを神経活動に結びつけるために、補助的な時変潜在変数(例:報酬期待、注意状態、またはルールの選択)に依存することがよくあります。伝統的に、これらの変数の抽出は2段階のプロセスを伴います。まず、最適なモデルパラメータを推定し(通常は最大尤度推定 [MLE] または最大事後確率 [MAP] を使用)、次にそれらのパラメータを用いて潜在変数を推論するという手順です。
しかし、この伝統的なアプローチには以下のような重大な限界があります:
- 解析的に困難な尤度: 多くの関連する認知モデル(例:階層型強化学習、複雑なベイズ生成モデル)は、解析的に困難な尤度関数を持っており、標準的なMLE/MAP手法の使用を不可能にします。
- カスタマイズの負担: パラメータが既知であっても、逐次的依存関係を持つモデルにおける潜在変数のシーケンスを推論するには、計算コストの高いサンプリング法(例:逐次モンテカルロ法 [SMC])や、異なるモデルファミリー間で汎用化できないカスタム設計の統計ツールが必要になることがあります。
- スケーラビリティ: 既存のシミュレーションベース推論(SBI)手法は、主にパラメータの回復やモデルの識別に焦点を当てており、時変的な潜在変数シーケンスの直接的な推論、特に尤度が困難なモデルに対する直接的な推論については、依然として十分に探索されていません。
手法: LASENET
著者らは、人工ニューラルネットワーク(ANN)を使用して、尤度の計算を回避しながら、実験データから潜在変数シーケンスを直接マッピングするシミュレーションベースのアプローチである LASENET(Latent Variable Sequence Identification for Cognitive Models with Neural Network Estimators)を提案しています。
コアアーキテクチャ
LASENETは、観測変数(Y)から潜在変数(Z)へのマッピングを学習するように設計されたニューラル点推定器です。
- 入力/出力: ネットワークは、観測変数(刺激、行動、報酬)の時系列データを入力として受け取り、推定された潜在変数のシーケンスを出力します。
- ネットワーク構造:
- 双方向RNN (bi-RNN): ゲート付き回帰ユニット(GRU)を利用して、時系列データを順方向および逆方向の両方向に処理します。これにより、ネットワークは過去および未来の履歴に基づいた埋め込みを学習することができ、各時点における要約埋め込み S(yt) を生成します。
- 多層パーセプトロン (MLP): 要約埋め込みをターゲットとなる潜在空間へとマッピングするために、ピラミダルなMLP構造がRNNの後に続きます。
- 出力層: アーキテクチャは、連続的な潜在空間と離散的な潜在空間の両方に適応可能です。
- 連続変数(例:Q値)の場合、線形活性化関数と平均二乗誤差(MSE)損失が使用されます。
- 離散変数(例:注意状態)の場合、ソフトマックス活性化関数とクロスエントロピー損失が使用されます。
- ネットワークは、並列の出力層を介してこれら両方を同時に予測できます。
学習プロトコル
- データ生成: LASENETは、対象となる計算論的認知モデルをシミュレートして生成された合成データセットを用いて学習されます。学習データは、シミュレートされた観測シーケンス(Y)と、それに対応する正解の潜在シーケンス(Z)のペアで構成されます。
- 推論: 一度学習されると、ネットワークは生物学的エージェント(人間または動物)からの実際の実験データに適用され、正解やパラメータ推定を必要とせずに潜在シーケンスを推論します。
- 堅牢性: 著者らはハイパーパラメータのチューニングにベイズ最適化を採用しており、学習データにおける事前分布の誤設定に対するモデルの堅牢性をテストしています。
主な貢献
- 困難なモデルのための新しいフレームワーク: LASENETは、解析的に困難な尤度を持つ認知モデルにおいて、潜在変数シーケンスを推論するための汎用的なフレームワークを提供し、従来の統計的推定法が通用しない場面でも利用可能です。
- 直接的な潜在マッピング: ニューラル後方推定器(NPE)やニューラル尤度推定器(NLE)がパラメータの回復に焦点を当てているのに対し、LASENETはデータから直接、補助的な潜在変数を特定することに特化しています。
- 汎用性: この手法は単一のアーキテクチャ内で連続的および離散的な潜在空間の両方を扱い、マルコフ特性を持つモデル(例:標準的なRLモデル)と持たないモデル(例:隠れマルコフモデル)の両方に適用可能です。
- 個人レベルへの適用可能性: このアプローチは、標準的なサイズのデータセットや個々の参加者に対して実用的であり、大規模なグループデータや高い計算予算を必要としません。
結果
著者らは、2つのカテゴリにわたる5つの計算論的認知モデルを用いてLASENETを評価しました。
1. 扱いやすいモデル(ベンチマーク)
- 4パラメータRLおよびMeta RL: LASENETをMLEと比較しました。
- 4-P RLモデルにおいて、LASENETはMLEと同等の平方根平均二乗誤差(RMSE)(0.041 vs 0.042)を達成しました。
- Meta RLモデル(Q値と注意状態の両方を推論)では、LASENETはMLEよりも低いRMSEおよび負の対数損失(NLL)を示し、予測の分散も減少しました。
2. 困難なモデル(近似手法との比較)
- 階層型強化学習 (HRL): SMCと比較しました。LASENETは、連続的な変数(Q値:RMSE 0.122 vs 0.405)および離散的な変数(選択されたキュー:精度 92.3% vs 71.5%)の両方の推論において、SMCを大幅に上回りました。
- ウェーバー不正確性モデル: SMC2と比較しました。LASENETは、より低いRMSE(0.107 vs 0.174)と、潜在状態の特定における高い精度(54.7% vs 45%)を達成しました。
- GLM-HMM: 期待値最大化(EM)と比較しました。LASENETは、より低いNLL(0.255 vs 0.392)と、注意状態の特定におけるわずかに高い精度(84.3% vs 83.2%)を達成しました。
3. 実世界のデータによる検証
- マウスの動的採餌(Meta RL): 48匹のマウスのデータに適用しました。LASENETは、MLEと同様のQ値推定を生成し、行動の正確性と相関する注意状態を特定し、モデルの仮定を検証しました。
- マウスの意思決定(GLM-HMM): International Brain Laboratory (IBL) のデータに適用しました。LASENらによるLASENETは、状態確率と行動結果の予測においてEMと高い一致を示しました。
事前分布に対する堅牢性
誤設定された事前分布(例:4-P RLにおけるβパラメータの変動や、GLM-HMMにおける状態の歪み)に関する実験により、情報を制限した、あるいは一様分布を用いた事前分布で学習されたLASENETが、異なるテスト分布に対しても堅牢であり、特定の事前分布の仮定に依存する尤度依存の手法よりも優れた性能を示すことが実証されました。
意義と主張
著者らは、LASENETが解析的に困難な尤度という障壁を取り除くことで、研究者が探索できる認知モデルの範囲を広げると主張しています。主な意義は以下の通りです:
- 汎用性: 多様なモデルファミリー(RL、ベイズ、HMM)に対して統一された推論手法を提供することで、モデルごとにカスタムの統計的導出を必要とすることなく、より幅広い理論のテストを可能にします。
- 効率性: 潜在変数推論のための計算コストの高いサンプリング法(SMCなど)や、複雑なカスタム統計ツールを排除します。
- 実用性: 標準的なデータサイズや個人の参加者データでも動作し、高度な潜在変数分析を、高い計算リソースや深い統計モデリングの専門知識を必要とせずに利用可能にします。
- 限界の承認: 著者らは、LASENETが現在、内蔵された不確実性推定を欠いていること(ニューラル点推定器に共通する制限事項)を指摘しており、包括的な分析のためには他のニューラルベースのパラメータ回復ツールと組み合わせることが必要であるとしています。また、潜在状態の正解(グラウンドトゥルース)は本質的に観測不可能であるため、実データによる検証は間接的であることも強調しています。
毎週最高の 機械学習 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録