ML-PWS: Estimating the Mutual Information Between Experimental Time Series Using Neural Networks

想像してみてください。あなたは、アリスとボブという二人が、非常にノイズの多いトランシーバー越しに秘密のメッセージをやり取りしているとき、そのメッセージがどれくらいの量で伝わっているのかを解明しようとしています。科学の世界では、これは「情報伝達（information transmission）」と呼ばれます。脳内のニューロンが信号を発火させているときでも、株式市場がニュースに反応しているときでも、あるいは細胞が環境を感知しているときでも、科学者たちは知りたいのです。「物語はどれほどの速さで、どれほど明瞭に伝わっているのか？」を。この測定の標準的な方法は「情報率（information rate）」と呼ばれます。それは、ノイズや誤解を無視して、アリスが言ったユニークな言葉のうち、ボブが実際に理解できたものが1秒間にいくつあるかを数えるようなものです。

問題は、現実世界の信号は単純な言葉ではなく、ミリ秒単位で変化する複雑でねじれたデータの軌跡であるということです。このような複雑で高次元なパスの情報を率を計算しようとするのは、ハリケーンが吹き荒れる中でビーチにある砂粒を一つひとつ数えようとするようなものです。伝統的な数学的手法は、データがあまりに複雑すぎるため、しばしば破綻してしまいます。それらは推測に頼りすぎるか、あるいはノイズの中で立ち往生してしまいます。科学者たちは、事前にゲームの正確なルールを知ることなく、データから直接この「情報率」を測定する方法を探してきました。

ここで、ML-PWSと呼ばれる新しい手法が登場します。これは、研究者のマニュエル・ラインハルト、ガシュペル・トカチック、ピーター・レイン・テン・ウォルドによって開発された、巧妙な二段構えのマジックのようなものです。まず、彼らは「生成モデル（generative model）」、つまり人工知能の一種を用いて、ノイズの多いデータを研究し、システムがどのように振る舞うかを学習させます。これは、AIがアリスとボブの会話を何時間も観察し、彼らの会話スタイルを完璧にシミュレーションするモデルを構築するようなものです。しかし、ここでのひねりは、単にシミュレーションを持っているだけでは、正確な数値を得るには不十分だということです。

そこで、第二のステップである**パス・ウェイト・サンプリング（Path Weight Sampling: PWS）が舞台に登場します。AIの学生が、起こりうるあらゆる会話のマップを構築したと想像してください。PWSは、このマップの中を厳密な数学的手法を用いて歩き回り、会話がたどり得たあらゆる可能性のあるパスをチェックし、それがどれほど起こりやすいかを調べます。AIが学習した「マップ」と、この入念な数学的ウォークを組み合わせることで、研究者たちは情報率の厳密な下限（rigorous lower bound）**を計算することができます。平易な言葉で言えば、「情報は少なくともこれだけの速度で流れている」と絶対的な確信を持って言えるようになるのです。彼らは、答えがすでに分かっている偽のデータを使ってこの手法をテストし、彼らの手法がターゲットを完璧に射抜いた一方で、他の一般的な手法は過剰に推測するか、あるいは間違った答えを出したことを証明しました。彼らはこれを実際のサラマンダーのニューロンのデータにも適用し、この新しいツールが、脳細胞が実際にどれだけの情報を共有しているかを測定できることを示しました。そして、細胞が連携して働くとき、彼らは時として同じことを繰り返しており、それが全体の情報速度を低下させていることも明らかにしました。

核となるアイデア：ルールを学んで秘密を数える

この論文は、難しい問題に取り組んでいます。システムの背後にあるルールを知らない状態で、どのように情報の流れを測定するかという問題です。通常、「情報率」を計算するには、あらゆる起こりうる結果の正確な確率を知る必要があります。もし、そのシステムを記述する数学的モデル（例えば、ニューロンがどのように発火するかを記述する一連の方程式）があれば、PWSというテクニックを使って正確な答えを得ることができます。それは、ボードゲームのルールブックを持っているようなものです。勝ちの確率を完璧に計算できます。

しかし、現実の世界では、ルールブックを持っていることは滅多にありません。私たちが持っているのは「時系列データ（time-series data）」、つまり何が起きたかの記録だけです。入力（刺激）と出力（反応）は見えますが、それらを結びつける隠れた数学的構造は分かりません。従来の手法は、近似（例えば、すべてが単純なベルカーブに従うと仮定すること）を用いてルールを推測しようとしたり、信頼性の低い結果をもたらしやすい他の機械学習のトリックを使用したりしましたが、データが複雑になりすぎると失敗したり、情報を過小評価したり、あるいは完全に機能しなくなったりしました。

解決策：探偵としてのAI、裁判官としての数学

著者らは、二つの世界のベストを組み合わせたハイブリッド手法であるML-PWSを提案しています。

1. 探偵（機械学習）： まず、実験の時系列データをニューラルネットワークに入力します。このネットワークは「生成モデル」として訓練されます。これは単にデータを暗記するのではなく、「条件付き確率」を学習します。私たちのウォキートーキーの例えで言えば、「もしアリスがこの特定のフレーズを言ったら、ボブがあの特定のフレーズを聞く確率はどのくらいか？」を学習します。ネットワークは、入力の全履歴と過去の出力に基づいて、出力を予測する方法を学びます。これは、AIが会話の「スタイル」を完璧に学習し、次の言葉を高精度に予測できるレベルに達することを意味します。
2. 裁判官（パス・ウェイト・サンプリング）： AIがこのスタイルを学習した後、研究者はそこで止まりません。彼らはAIの予測を、PWSテクニックのための「ルールブック」として使用します。AIが条件付き確率（入力が与えられたときの出力の尤度）を学習しているため、PWS法を用いることで、入力について数学的に「周辺化（marginalize）」することが可能になります。これは、AIが予測したすべての可能性を合算することによって、入力が何であったかにかかわらず、その出力が起こる総確率を計算できるという、少し高度な言い回しです。

なぜこれが重要なのか：「下限」の保証

この論文の最もエキサイティングな部分は、その保証にあります。情報の測定に使われる多くの機械学習手法は「ブラックボックス」です。実行すると数値は出ますが、その数値が高すぎるのか、低すぎるのか、あるいは単に運が良かっただけなのかが分かりません。

著者らは、彼らの手法が厳密な下限を提供することを数学的に証明しています。これは、彼らが計算した数値は、真の情報率よりも常に小さいか、あるいは等しいことを意味します。少し保守的（真実を過小評価する傾向がある）かもしれませんが、真実よりも情報が多いと嘘をつくことは決してありません。これは科学において極めて重要です。なぜなら、研究者に信頼できる「床」を与えてくれるからです。「情報率は毎秒少なくとも5ビットである」と言えるとき、彼らはそれがゼロではないという事実を確信できるのです。

彼らは、正解（グラウンド・トゥルース）が既知である3つの異なる合成システム（既知の数学的モデルによって生成された偽のデータ）でこれをテストしました。

• テスト： 彼らは、ML-PWSを、ガウス近似（すべてが単純な曲線であると仮定するもの）、DoE（差分エントロピー）、およびMINEやInfoNCEのような変分推定器と比較しました。
• 結果： ほとんどすべてのケースにおいて、ML-PWSが最も正確でした。ML-PWSは真の値に驚くほど近い値を維持しました。
  • ガウス近似は、システムが非線形（入力と出力の関係が直線ではない場合）になると失敗しました。
  • 変分推定器（MINEやInfoNCEなど）は、「天井」に突き当たりました。データが複雑すぎたり、軌跡が長すぎたりすると、数学的に行き詰まってしまい、高い情報率を測定できませんでした。彼らは本質的に諦めてしまい、実際にはもっと高い数値であるにもかかわらず、「せいぜいこれくらいである」という回答を出しました。
  • DoEは、時として情報を過大評価し、高すぎる数値を出してしまったため、信頼性に欠けていました。

実世界への応用：ニューロンの声を聴く

これが単なるおもちゃの実験ではないことを示すために、著者らは実在の生物学的データ、すなわちサラマンダーの目における50個の網膜神経節細胞の記録にML-PWSを適用しました。これらの細胞は、画面上を上下に動く棒を観察していました。

• 設定： 彼らは、これらのニューロンの発火パターンを予測するようにニューラルネットワークを訓練しました。
• 発見： 彼らは、個々のニューロン、および共同で働くグループ全体の情報率を計算しました。
• 驚きの事実： グループ全体を見たとき、彼らは総情報率が、個々のレートの合計よりも低いことを発見しました。これは、ニューロンたちが「冗長（リダンダント）」であり、皆が同じことを言っていたためです。グループは新しい情報を付け加えているのではなく、単にそれを繰り返していたのです。
• チャネル容量： 彼らはまた、このモデルを用いて、「どのような動く棒であれば、最も多くの情報を運べるか？」を問いかけました。入力を最適化することで、実験で使用されたものよりも大幅に多くの情報を運べる特定のパターンを見つけ出しました。これは、サラマンダーの視覚システムは、世界が異なる動き方をすれば、より効率的になれる可能性があることを示唆しています。

結論

この論文は、単に「推測する方法」を提示しているのではなく、「知るための方法」を提示しています。機械にシステムのルールを学習させ、その学習されたルールに基づいて厳密な数学を用いて情報をカウントさせることで、著者らは強力かつ誠実なツールを作り上げました。このツールは、すべてを知っているわけではないことを認めつつ（下限を提供することで）、分かっていることについては確かなものであることを保証します。脳から株式市場、あるいは設計されたデバイスに至るまで、複雑なシステムを通じて情報がどのように流れているかを理解しようとしているすべての人にとって、この手法は、データの海における信頼できるコンパスとなるでしょう。