Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
本研究は、ラベルのない安静時神経データで事前学習された自己教師ありマスクオートエンコーダが、解釈可能な脳構造を学習し、盲目の被験者における知覚デコーディング精度を大幅に向上させることを示しており、自発的な皮質活動には豊かなタスク関連情報が含まれていることを証明している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
ロボットに「見ること」を教えようとしている場面を想像してみてください。通常、ロボットに教えるには、「これは猫です」「これは犬です」「これは木です」といったラベル付きの画像を何千枚も見せる必要があります。しかし、もしラベル付きの画像はわずかしかなく、代わりにロボットが暗い部屋でただ座って何もしない、ラベルのない膨大なビデオ映像しかないとしたらどうでしょう？長い間、科学者たちは、この「何もしない」映像は単なる静的なノイズであり、現実世界についてロボットに教えることはできない無用なゴミだと考えてきました。これは、神経義肢（脳と機械を接続するデバイス）の分野における大きな問題です。医師たちは、電気信号を脳に送ることで盲目の人々が再び「見える」ようにしたいと考えていますが、コンピュータにその人が実際に何を見ているかを予測させるための練習データが不足しています。彼らには何時間もの「休息時」の脳データがありますが、それはあまりにも乱雑すぎて、使うには適さないと考えられてきました。
この論文は、ある大胆な問いを投げかけています。「その『休息時』の脳データは、本当にノイズなのだろうか？」という問いです。「休息時」の脳は、たとえリラックスしていても、実際に何かを見ている時に使うのと同じパターンを密かに練習しているのではないか？研究者たちは、**自己教師あり学習（self-supervised learning）**と呼ばれる巧妙なトリックをテストしました。これは、「穴埋め問題」のようなものです。生徒に、ランダムに単語が欠けた文章を見せ、文脈に基づいて欠けている単語を推測させるゲームです。もし生徒が欠けている単語を当てるのが非常に上手くなったとしたらす、その生徒は、物語の意味を教えられなくても、言語の深いルールを学んだに違いありません。研究者たちは、この「穴埋めゲーム」を脳データに適用し、ラベル付きの視覚テストを一度も見せることなく、コンピュータに視覚を理解させる方法を検証しました。
大実験：脳に推測することを教える
チームは、視覚を司る脳の部分（V1と呼ばれる）に96個の微小なセンサーを埋め込んだ、ある視覚障害のある参加者と共に研究を行いました。彼らは2種類のデータを持っていました。
- 「チル（休息）」データ： 光や信号が送られることなく、脳がただ静止している状態の14.6時間のデータ。
- 「テスト」データ： 特定のセンサーに電気を流し、人の意識の中に「光の閃光（フォスフェン）」を作り出そうとした短いバースト（断続的な信号）。
研究者たちは、**マスク・オートエンコーダー（Masked Autoencoder）**と呼ばれるコンピュータモデルを構築しました。脳の活動の巨大なパズルを想像してください。モデルは「チル」データの塊を取り出し、その75%をマスク（パズルのピースの上にテープを貼るようなもの）で隠し、残された目に見えるピースだけに基づいて、隠されたピースがどのようなものかを推測しようとします。モデルは、このプロセスを14.6時間のデータに対して何度も繰り返しました。極めて重要なのは、この学習フェーズの間、モデルは一度も「テスト」データを見ていないということです。モデルは「光の閃光」がどのようなものかを知りません。ただ、脳が休息している時にどのように振る舞うかを知っているだけなのです。
驚きの結果：脳の「休息状態」には秘密の地図がある
モデルの学習が終わったとき、研究者たちはその内部（あるいはデジタルな「潜在空間」）を覗き込みました。すると、驚くべきことが分かりました。モデルは視覚について教えられていないにもかかわらず、偶然にも脳の内部マップを学習していたのです。
- 近隣効果： モデルが脳の理解度を確認したところ、脳内で物理的に近い位置にあるセンサー同士が、モデルの思考の中でグループ化されていました。まるでモデルが、脳がリラックスしている様子を観察するだけで、「あ、これらは隣人なんだ」と理解したかのようでした。
- 気分リング： モデルはまた、脳の異なる「気分（状態）」を判別することも学習しました。モデルは、脳が何かを見る準備ができている状態と、そうでない状態を区別することができました。しかも、それらの状態を探すように指示されたことは一度もありませんでした。
真のテスト：あなたは見えるかどうかを予測できるか？
この「休息時」のトレーニングが実際に役立ったのかを確認するため、彼らはモデルを凍結（学習を停止）させ、そのモデルを使って「テスト」データの予測を行いました。彼らはモデルにこう問いかけました。「今の脳活動に基づくと、この人は光の閃光を見るでしょうか、それとも見えないでしょうか？」
彼らはこれを2つのレベルでテストしました。
- イージーレベル（精神物理学的タスク）： 通常、閃光を作り出す強い電気刺激を使用しました。モデルは、自身の「休息時」のトレーニングを用いて、**84.1%**の正解率を叩き出しました。これは、データを単に圧縮したり、生の数値を見たりする従来の古い手法よりも優れた結果でした。
- ハードレベル（閾値タスク）： これが本当の挑戦でした。彼らは、知覚の境界線にある非常に弱い電気刺激を使用しました。同じ刺激を与えても、ある時は閃光が見え、ある時は見えないという状況です。ここは、データがランダムなノイズのように見えるため、従来のコンピュータが失敗しやすい部分です。しかし、「休息時」のデータで訓練されたモデルは、**64.0%**の精度を達成しました。
なぜこれが重要なのか
この論文は、「休息中の脳」のノイズが、実は豊かで有用なパターンに満ちていることを示しています。コンピュータに脳の「チルタイム（休息時間）」のルールを学ばせることで、コンピュータは「アクションタイム（活動時）」に何が起こるかを予測するのが非常に上手くなったのです。
著者たちは、これがまだ魔法のような万能薬ではないことも慎重に述べています。今回のテストは一人に対してのみ行われたため、これがすべての人に当てはまるかどうかは分かりません。また、なぜ休息データが役立つのかについても、完全には解明できていません。例えば、脳が休息中に視覚をリハーサルしているのか、あるいは、単に「アクション」の信号を際立たせるためのベースラインを設定しているのか、といった仮説があります。しかし、主要なメッセージは明確です。私たちは、退屈な「休息中の脳データ」を捨て去る必要はありません。もしコンピュータに「沈黙」を理解させる術を教えることができれば、彼らは「音楽」を聴き取る方法さえも学んでしまうかもしれないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。