技術要約：MARLで訓練された弱電気魚の集団における能動的電気感覚とコミュニケーション

問題提起

複雑な集団行動が個体間の相互作用からどのように創発するかを理解することは、神経科学、行動学、および人工知能における根本的な課題である。この進展を阻んでいるのは、主に以下の2つの要因である：

1. 実験的限界： 自由に相互作用する複数の動物から同時に神経活動を記録することは技術的に困難であり、大規模な行動アッセイはコストが高く、操作も困難である。
2. 計算論的限界： 集団行動に関する既存のエージェントベースおよび強化学習モデルは、実際の感覚系の生物物理学に根ざした感覚表現を欠いた、簡略化された感覚表現に依存することが多い。

弱電気魚は、環境の能動的探査（能動的センシング）と種内コミュニケーションの両方の機能を兼ね備えた電気器官放電（EOD）を生成するため、特異なケーススタディを提供する。しかし、大規模な多個体による神経データ取得の困難さから、電気感覚、電気通信、および集団採餌を結びつけるメカニズムは、依然として十分に理解されていない。

手法

著者らは、生物物理学的なリアリズム、クローズドループのマルチエージェント意思決定、および完全な実験的制御可能性を組み合わせた、新しい計算フレームワークを紹介する。

シミュレーション環境

• エージェント： 魚のようなエージェントは、共有された2Dアリーナ内を移動する円形の粒子としてモデル化されている。彼らは、連続的な前方移動、角度回転、離散的なEOD放出、および噛みつきコマンドを含む多変量のアクション空間を持つ。
• 物理シミュレータ： カスタム構築された2D物理シミュレータが、機械的な衝突、および電場の生成・伝播を管理する。これは以下をモデル化している：
  • 能動的ソース： エージェントは、パルス状のEODを近似するモノポール対を生成する。
  • 固有ソース： エージェントおよび獲物は固有の双極子を持つ。
  • 電場の歪み： 導電性物体（獲物、エージェント）は双極子を誘起し、電場を歪ませる。
  • 境界条件： 非導電性の壁は鏡像法を用いてモデル化される。
• 感覚系： エージェントには、モルミード類（mormyrid）の魚から着想を得た3種類のバイオミメティック（生体模倣）電気受容器クラスが備わっている：
  1. モルミョマスト（Mormyromasts）： 短距離（≤10 cm）において、エージェント自身のEOD（自己像）および他個体のEOD（他者像）の歪みを検出する能動的センサー。
  2. アンプラリー受容器（Ampullary Receptors）： 短距離（≤8 cm）において、獲物や他個体からの固有の電場を検出する受動的センサー。
  3. クノレン器官（Knollenorgans）： 長距離（≤100 cm）の受動的センサー。他個体のEODパルスを検出し、方向的な社会的手がかりやサイズ情報を提供する。
• 神経アーキテクチャ： 各エージェントは、フィードフォワードのアクションおよびバリューヘッドを持つ、GRUベースのアクター・クリティック・ネットワーク（PPOアルゴリズム）を利用する。
• 訓練レジメン： エージェントは、個々の適応度（食物消費）に基づく報酬関数と、攻撃性に対する非対称なペナルティ（大きなエージェントは噛みつきによるペナルティが小さくなる）を用いたマルチエージェント強化学習（MARL）を通じて訓練される。コミュニケーション、協調、または社会階層のための明示的な報酬は提供されない。

主な貢献

1. 統合フレームワーク： 本研究は、3つの主要なモルミード類の電気受容器クラス、能動的EOD生成、集団的センシング、およびクローズドループのマルチエージェント意思決定のすべてを、単一の生物物理学的に根ざしたモデルに組み合わせた最初の研究である。
2. 創発的行動： このモデルは、単純な個体レベルのインセンティブと生物物理学的に現実的な感覚制約から、複雑な社会的行動（採餌、支配、攻撃性）が、手書きの社会的ルールなしに創発できることを示している。
3. 因果的介入： 本フレームワークは、生体内では不可能または非現実的なin silico（コンピュータ内）での介入（センサーのアブレーション、EODのサイレンシング、環境変化）を可能にし、社会的採餌における因果的駆動因子の特定を可能にする。
4. 神経ダイナミクス解析： 再帰的な神経ダイナミクスを分析することで、タスクに関連する変数や社会的文脈が、エージェントの潜在状態にどのようにエンコードされているかを示す。

主な結果

1. 魚のような行動の検証

• 曲線的なホーミング： 電気感覚を用いて訓練されたエージェントは、ターゲットに向かって滑らかな曲線軌跡を辿り、実在の魚の行動の特徴を再現した。対照的に、非電気的なレイキャスティング（光線追跡）ベースラインを用いたエージェントは直線を描いた。神経デコーディングにより、ネットワークがユークリッド幾何学ではなく、電場の幾何学的形状を表現していることが確認された。
• EOD統計： 訓練されたエージェントは、実在の魚と同様のヘビーテイル（重い裾）を持つ発射間隔（IDI）分布を示し、文脈依存的な変調（例：摂食中、噛みつき中、あるいは噛みつかれている最中のレート変化）が見られた。
• 創発的な社会的採餌： エージェントは、探索と社会的相互作用を交互に行う、柔軟な採餌戦略を自発的に発達させた。

2. 創発的な社会的ダイナミクス

• 支配の非対称性： サイズの不均一性を伴う訓練により、創発的な支配行動が導かれた。大きなエージェントは小さな個体に対してより多くの噛みつきを行い、より多くの食物を消費し、より高い勝率を示した。食物消費の不平等は、体サイズの不平等に比例してスケールした。
• 文脈依存的なシグナリング： EODの発射レートは、他個体、食物、および壁への距離によって系統的に変調された。

3. In Silico 介入からの因果的洞察

• センサーの役割：
  • 短距離センサー（モルミョマスト/アンプラリー）： アブレーション（除去）は個人の採餌効率を低下させたが、採餌自体を停止させることはなかった。
  • 長距離センサー（クノレン器官）： アブレーションは総食物消費量を減少させなかったが、EODの発射確率を高め、近距離での攻撃性を増加させ、エージェント間の間隔を減少させた。これは、クノレン器官が個人の採餌効率よりも、主に社会的調整と間隔維持を駆動していることを示唆している。
  • 集団的センシング： 他個体のEOD像へのアクセスを削除した場合（自己像のみ）、食物消費が劇的に減少した。一方、自己EOD像の削除（他者像のみ）はほとんど影響を与えなかった。これは、採餌における他者の信号を感知することの重要性を強調している。
• 能動的シグナリング： 1つのエージェントのEOD放出を抑制すると、グループレベルの食物消費が減少し、エージェント間の間隔が増加した。これは、能動的なコミュニケーションが採餌の調整と競争的な間隔維持の両方をサポートしていることを示している。
• 環境構造： パッチ状の食物分布は、一様な分布よりもエピソードあたりの消費量が高かった。食物の総量を固定したままパッチ数を増やすと、魚あたりの摂取量は減少したが、不平等性は減少した。

4. 神経ダイナミクスとエンコーディング

• 次元数： 再帰的神経活動の実効次元数はグループサイズに応じてスケールしたが、クノレン器官をアブレーションするとこのスケーリングは消失した。これは、長距離シグナリングが社会的文脈依存的な状態空間の拡張に関与していることを示唆している。
• デコーディング： 線形デコーダーは、RNNの隠れ状態からタスク変数（例：他個体への距離、電場の幾何学）を正常に回収した。
• 相関的な潜在ダイナミクス： 部分最小二乗相関（PLSC）により、相互作用するエージェントのペアは、距離に依存した相関的な潜在ダイナミクスを示すことが明らかになったが、これは100 cmを超えるとほぼゼロに崩壊した。
• パワー変調： 広帯域RNNパワーは、他個体が近くにいるときに抑制され、劣位（小さい）エージェントにおいては優位（大きい）エージェントよりも高かった。

重要性と主張

本論文は、生物物理学的に根ざしたエージェントをマルチエージェント強化学習で訓練することで、既知の弱電気魚の幅広い行動を定性的に再現できると主張している。このフレームワークは、「バーチャル神経科学」のパラダイムとして機能する：

• メカニズムの検証： 現実的な電気感覚構造と単純な個体レベルのインセンティブがあれば、電気感覚、採餌、および社会的ダイナミクスといった観察された集団現象を生成するのに十分であることを確認する。
• 仮説の生成： クノレン器官を介したシグナリングの遮断が、敵対的相互作用や社会的間隔に与える具体的な影響など、実際の魚を用いた将来の実験に対する検証可能な予測を提供する。
• データ不足への対処： 多数の個体による広範な神経記録が現在困難なシステムにおいて、社会的知能を研究するための解決策を提供する。

著者らは、本モデルが弱電気魚の完全な生物物理学的複製を提供することを目的としているのではなく、また発見されたメカニズムが生物学的個体において唯一必要とされるものであると主張しているわけではないことを明示している。むしろ、このモデルは、特定の感覚的およびインセンティブ構造が、複雑な集団行動を生成するために十分であるかどうかをテストするための、意図的に簡略化されつつも根ざしたツールである。