Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

MRIスキャナーの静かな唸りの中で、研究者たちはしばしば、写真や音、あるいは思考に反応して脳が光り輝いている間、被験者に完全に静止するように求めます。何十年もの間、科学者たちは、人がどこを見ているかは、何を考えているかと同じくらい重要であることを知ってきました。もし参加者の目がわずかでも泳いでしまうと、記録される脳活動は完全に変わり、明確な信号が混乱を招くノイズへと変わってしまうのです。これを防ぐために、ほとんどの研究では高速カメラを使用して眼球を追跡し、その人がまさに見るべき場所を見ていることを確認しています。しかし、これらのカメラには死角があります。それは、目が閉じているときには見ることができないという点です。これは、私たちの理解における広大な空白を残しています。私たちは、眠っている間や、目を閉じて深くリラックスしている間、あるいは頭の中で情景を想像するように求められている間に、脳内で何が起きているのかを研究することができません。なぜなら、彼らの目が動いているのか、あるいはどこを向いている可能性があるのかを知る術がないからです。

研究チームは今、カメラではなく、眼球自身の磁気信号を聴くことによって、その暗闇を見通す方法を見つけました。脳スキャンのパターンを認識することを学習する強力なコンピュータプログラムを使用して、彼らは、たとえ瞼が固く閉じられていても、人がどこを見ているかを推測できるように機械に教え込んだのです。この画期的な手法は、高価な装置や完璧な条件に依存するものではありません。むしろ、システムが異なるスキャナーや異なるタスクに適応することを可能にする巧妙なトレーニング方法に依存しており、心の目の隠れた動きへの窓を開いています。

物語は、DeepMReyeと呼ばれるツールから始まります。これは、人々が画面を見ているときにうまく機能することがすでに知られている洗練されたコンピュータプログラムです。このプログラムは翻訳者のように機能し、スキャナー内部の眼球から発せられるかすかな磁気のさざ波を、視線が向けられている場所のマップへと変換します。しかし、この翻訳機のオリジナル版は、主に目を開けている人々のデータで学習されていました。研究者がそれを目を開けた状態の人々に使用しようとすると、結果は不安定でした。瞼が押し下げられると眼球の物理的な形状がわずかに変化し、コンピュータがこれまで見たことのない方法で磁気信号がシフトしてしまうのです。それは、英語しか話せない翻訳者に、全く異なる文法を用いる言語を突然解釈させるようなものでした。

これを修正するために、研究者たちは新しい種類のトレーニングセッションを設計しました。彼らは15人のボランティアをスキャナーに連れて行き、脳がスキャンされている間に一連の眼球運動を行うよう求めました。まず、ボランタールは画面上のターゲットを見つめ、空中に目で三角形を描くような特定のパターンに従ってターゲットを追跡しました。この部分は、目が開いた状態で行われ、制御された方法で目が動いているときに磁気信号がどのように見えるかという、明確で完璧な例をコンピュータに提供しました。研究者たちはこの新しいデータを使用してコンピュータプログラムを「微調整」し、本質的に、彼らの特定のスキャナーと特定のセットアップが世界をどのように捉えているかをコンピュータに教え込みました。

結果は即座に、かつ明確に現れました。研究者が新たに訓練されたプログラムを同じ開眼タスクでテストしたところ、オリジナル版よりも大幅に優れた性能を示しました。それは動きの追跡精度を大幅に向上させ、コンピュータが考えている視線の位置と実際の視線の位置との距離を縮めました。決定的なことに、研究者たちは、この改善が単に数字を大きなスクリーンに合わせて引き伸ばしただけではないことを発見しました。プログラムは、彼らのスキャナーが眼球の動きを捉える独自の方式を、真に学習していたのです。さらに驚くべきことに、彼らはこのトレーニングにカメラのデータを使う必要はないことも分かりました。単にコンピュータに「その人はこの特定の地点を見ていた」と伝えるだけで、プログラムは実際のカメラによる眼球運動の記録と同じくらい上手く学習できたのです。これは、カメラを持たない研究室であっても、システムを自分たちのために機能させる方法を教えることができるということを意味します。

しかし、本当の魔法は、明かりが消えた時に起こりました。研究者たちはその後、ボランティアに対し、ビープ音のシークエンスに従うだけで、全く同じ三角形の描画タスクを、今度は目を閉じた状態で行うよう求めました。また、ゆっくりと瞬きをしたり、何も見ずに目を開けたままの状態にしたりもしてもらいました。彼らがこれらの閉眼セッションの脳スキャンを新しく訓練されたプログラムに入力すると、プログラムは眼球の動きを正常に再構成できました。コンピュータは、暗闇の中で描かれる三角形を「見て」いたのです。これが単なる幸運な推測ではないことを証明するために、研究者たちはデータの動きの順序を入れ替えました。シーケンスが崩されると、プログラムはもはや形状を特定できず、これはプログラムがタイミングに基づいた推測をしているのではなく、真に目の経路をデコードしていたことを証明しました。

この閉眼時の動きを見る能力は、単なる手品ではありませんでした。それは、脳と目がどのように相互作用しているかについて、深遠な事実を明らかにしました。研究者たちは、プログラムが、開眼と閉眼の区別を高精度で判別できることを見出しました。プログラムは、人が瞬きをしたのか、あるいは目が完全に閉じているのかを、磁気信号を読むだけで検知できました。これは、瞼の状態が脳のスキャンに対して、コンピュータが認識できる独特の指紋を残していることを示唆しています。

おそらく最も実用的な発見は、閉眼のタスクを行うために、プログラムを閉眼データで訓練する必要はなかったということです。研究者たちは、以前に収集した開眼データのみを使用してシステムを訓練することを試みました。彼らがこのバージョンを閉眼セッションでテストしたところ、開眼と閉眼の両方のデータで訓練されたバージョンとほぼ同等の性能を発揮しました。これは、将来、睡眠や心的イメージの研究を行う際、科学者は暗闇の中でカメラを機能させようと苦闘する必要はないことを意味します。被験者が起きている時に画面を見ている状態でシステムを訓練し、その知識を閉眼時の瞬間に適用することができるのです。

この研究は、これらのシステムがどのように使用されるかにおける一般的な制限についても対処しました。多くの場合、研究者は、出力のスケールを調整すれば汎用的なプログラムがどのようなセットアップでも機能すると想定しています。しかし、研究者たちは、それが不十分であることを示しました。単純な数学的な数値の引き伸ばしでは、ローカルのデータに基づいて特別に訓練されたプログラムの性能には及びませんでした。コンピュータは、その特定の部屋におけるスキャナーの特有の「声」と、眼球のユニークな動きを学習する必要があったのです。

シンプルなトレーニングルーチンと強力な学習アルゴリズムを組み合わせることで、研究者たちは脳の研究における大きな障壁を取り除きました。彼らは、目が閉じられていても、心がどこを見ているかを追跡できることを示しました。しかも、カメラでそれを見守ることなく。これは、睡眠、深いリラクゼーション、そして想像力の内なる風景を、以前は不可能であった明晰さで研究するための扉を開くものです。技術は完璧ではありません。閉じた目の動きは自然と開いている時よりも精度が低く、コンピュータもその現実を反映しています。しかし、初めて、閉じた目の暗闇は、人間の脳に対する私たちの理解における盲点ではなくなったのです。