B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

脳がどのように機能しているかを理解するためには、科学者はまず、その脳が制御している動物が実際に何をしているのかを理解しなければならない。数十年にわたり、動物の行動を測定するためのゴールドスタンダードは、人間の観察者がビデオ録画を視聴し、マウスが隅の匂いを嗅ぐことからハエが別の個体に襲いかかることまで、あらゆる動きを記録するために一時停止や巻き戻しを行うという手法であった。この手法は柔軟で解釈しやすいが、非常に時間がかかり、ヒューマンエラーが起こりやすい。近年、コンピュータがこのタスクを引き継ぎ始めているが、それらは主に、独自のボトルネックを生み出す2段階のプロセスに依存してきた。第一に、コンピュータプログラムに、鼻の先端や足の関節といった動物の体の特定の部位を見つけ出すよう学習させる必要があり、このプロセスには数千時間の人間によるラベル付けが必要となる。第二に、コンピュータはそれらの点を用いて、どのような行動が起きているかを推測する。このアプローチはセットアップに時間がかかり、動物同士が重なって見えなくなった場合に失敗することが多く、また、その場の瞬間の動きに対して反応するにはあまりにも鈍い。もし研究者が、マウスが毛繕いをした瞬間に報酬を与えたい、あるいは特定の動きが起きた瞬間に実験を停止したいと考えた場合、コンピュータはビデオの録画が終わる前に、その動作を認識して判断を下せるほど高速でなければならない。

カーネギーメロン大学の研究チームは、この「仲介役」を完全に排除するB-REALと呼ばれる新しいシステムを開発した。動物の骨格をマッピングしようとする代わりに、このシステムは生のビデオピクセルを直接観察し、行動を即座に認識することを学習する。その結果、標準的なコンピュータハードウェア上でさえ、カメラが次のフレームを撮影するよりも速く、動物が何をしているかを分類できるツールが誕生した。このスピードにより、動物の行動が環境への即時的な変化（例えば、水滴の放出や光の点滅など）をトリガーできる、新しい種類の実験が可能になる。研究者たちは、この手法が従来のシステムよりもはるかに少ない学習データで動作し、わずか数分の一秒続くような一瞬の動きをも捉えることができ、リアルタイムで動物の自然な行動を形成できることを示した。

この新しいアプローチの核心は、コンピュータがビデオを処理する方法の変化にある。従来の方法は、ビデオを一連の静止画として扱い、まず体の部位を見つけ、次にそれらの部位がどのように動くかを計算する。B-RELは、この部位を見つけるステップをスキップする。これは短いビデオフレームのシーケンスを取り込み、パターンを認識するように設計されたニューラルネットワーク（一種のコンピュータプログラム）に直接入力する。特定の点を追跡することなく動きを理解するために、システムは隣接するフレーム間で小さな情報の断片を入れ替えるテクニックを使用する。数枚の写真の束があり、上の写真の数ピクセルが下の写真と入れ替わる様子を想像してほしい。これにより、コンピュータは、足や翼が正確にどこにあるかを知ることなく、時間の経過とともに物事がどのように変化するかを見ることができる。この手法は、コンピュータが動物の複雑なマップを学習する必要がないため、動物が部分的に隠れたり照明が変わったりしたときに古いシステムが陥るような失敗を回避できる。

研究者たちは、このシステムを2つの非常に異なる課題、すなわちマウス間の複雑な社会的相互作用と、ショウジョウバエの極めて速く稀な攻撃行動を用いてテストした。マウスの実験では、システムはわずか1分間のラベル付きビデオを見ただけで、攻撃、調査、乗り乗り（マウンティング）を高い精度で区別することを学習した。これは、同様の性能に達するために数時間のラベル付きデータを必要とすることが多い既存のツールと比較して、大幅な改善である。チームがショウジョウバエでシステムをテストした際、課題はさらに大きかった。ある個体が他の個体に突進するような攻撃的行動は、わずか1フレーム（約33ミリ秒）で終わることもある。ほとんどのコンピュータシステムは、動きを長い期間で平均化してしまうため、これらを見逃してしまう。しかし、B-REALは、これらの刹那的な突進を高い精度で検出し、非常に少ない学習データを与えられた場合でも他の手法を凌駕した。システムは、あらかじめ定義された身体的ランドマークに頼るのではなく、ビデオの視覚的パターンから直接学習したことで、これらの稀なイベントを特定することができた。

おそらく、このシステムの能力を示す最も説得力のあるデモンストレーションは、コンピュータが教師として機能するクローズドループ実験であった。研究者たちは、マウスが頭部の毛繕いをしていることをコンピュータが検知したときにのみ、甘い水という報酬を受け取る状況を設定した。システムは、毛繕いの行動を特定し、水 dispensers を数分の一秒以内に作動させなければならなかった。検知が非常に速く正確であったため、マウスはすぐにその関連性を学習した。実験を通じて、マウスの毛繕いの頻度は129パーセント増加した。動物は単に毛繕いをする回数が増えただけでなく、報酬を確実に引き出すために、毛繕いの時間を少し長くするなど、報酬の条件に合わせて自身の行動を調整した。これは、システムが単なる受動的な観察者ではなく、起きている行動を強化できる、自然な行動を形作るための有能なパートナーであることを証明している。

システムをさらに効率的にするために、研究者たちは、より多くのラベル付きデータを必要とせずにコンピュータに「先取り」させる方法を模索した。彼らは、ラベルのない数千時間のビデオから一般的な動きの概念を学習した、大規模な事前学習済みビデオモデルを使用した。そして、この大規模モデルが持つ知識を、より小さく高速なシステムへと転移させた。「蒸留（distillation）」として知られるこのプロセスにより、システムは通常であればゼロから学習するのに5分から10分かかる内容を、わずか30秒のラベル付きビデオから学習することができた。驚くべきことに、この事前学習によって、事前学習データにはオーバーヘッド（真上）やサイドビュー（側面）の視点しか含まれていなかったにもかかわらず、真下からの視点といった全く新しいカメラアングルにおける行動認識能力が向上した。これは、システムが、異なる設定にも適用できる動物の動きに関する深い理解を学習したことを示唆しており、将来の実験に対する高い適応力を備えていることを意味している。

この研究の意義は、スピードと正確さだけに留まらない。体の部位を追跡する必要をなくすことで、姿勢だけでは定義が難しい行動（例えば、特定の物体との相互作用や複雑な環境のナビゲーションなど）を観察できるようになる。これにより、コンピュータが動物の状態にリアルタイムで反応し、被験体とその環境との間にダイナミックなループを作り出す実験への道が開かれる。今回の研究はマウスとハエに焦点を当てたものだが、その原理は、リアルタイムでの行動理解が極めて重要となるあらゆる状況に適用できる。システムは標準的なハードウェアで動作するため、高価なスーパーコンピュータを必要とせず、高度な行動分析をより幅広い研究室で利用可能にする。最終的に、B-REALは、行動を「過去の静的な記録」から、その瞬間の脳を導き理解するための「ライブな信号」へと変貌させるのである。