SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment
SqueakPose Studioは、データセット作成、モデル学習、および高精度な全身ポーズ推定のためのリアルタイム・エッジAIデプロイメントを統合したソフトウェア・ハードウェア・エコシステムであり、断片化されたパイプラインやワークステーション級のハードウェアを必要とすることなく、これらを一元化します。
原論文は CC0 1.0 (https://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
マウスが自宅でどのように動き回っているかを研究することを想像してみてください。通常、科学者は非常に複雑で高価なセットアップを使用しなければなりません。何時間ものビデオを記録し、それを強力なコンピューター（ワークステーションのような超高速マシン）に持ち込み、さまざまなソフトウェアプログラムを使用して、マウスの足や尻尾がどこにあるかを特定します。それは、ケーキを焼こうとしているのに、小麦粉、卵、オーブンを別々の3つの店から買いに行かなければならず、さらにそれらを混ぜるためだけにプロの厨房まで車を走らせなければならないようなものです。
SqueakPose Studioは、あなたのいるその場所ですべてをこなしてくれる「オールインワン」のキッチンのようなものです。その仕組みを、簡単なパーツに分けて説明します。
1. オールインワンのワークショップ (SqueakPose Studio)
これはメインのソフトウェアツールだと考えてください。異なるプログラムを使い分ける代わりに、このツールが最初から最後まで全工程を処理します。
- レシピ作り: ツール内で直接、独自のデータセット（例のライブラリ）を作成できます。
- システムへの教育: マウスの身体部位にラベルを付ける作業をサポートします。手動で行うこともできますし、コンピューターが推測を助けてくれることで、学習プロセスを大幅にスピードアップさせることもできます。
- 調理: ポーズを認識するための「脳」（AIモデル）を訓練します。
- 味見: 脳が十分に賢いかどうかをチェックし、その後、大量のビデオをオフラインで分析します。
魔法のトリック: ほとんどのシステムは、動きを理解するためにビデオを小さな正方形（パッチ）に切り分けなければならず、これは時間がかかり、手間もかかります。しかし、このシステムは、一度に「絵全体」を見ます。まるでピザを一切れずつではなく、丸ごと一枚として見るようなもので、これにより非常に高速かつスムーズになります。これは、一般的なコンピューター、強力なグラフィックスカード、さらにはAppleのMacでも動作します。
2. ライブストリーマー (SqueakView)
時には、一日の終わりまでマウスが何をしているか待つのではなく、「今すぐ」知りたいこともあるでしょう。
- SqueakViewは、訓練された「脳」を取り出し、マウスケージのすぐ横に置く小型のポータブルコンピューター（「エッジ」デバイス）に直接組み込むためのツールです。
- これはビデオを記録し、センサーデータをリアルタイムでログに記録します。それは、単に録画するだけでなく、見ている内容を即座に理解し、マウスが走っているのか、眠っているのか、あるいは食べているのかを即座に教えてくれる防犯カメラのようなものです。
3. スマートホーム (MouseHouse)
ライブシステムを完璧に機能させるために、彼らはMouseHouseと呼ばれる特別でコンパクトなボックスを開発しました。
- これは、カスタムメイドの高機能なプレイペン（遊び場）だと考えてください。
- 小型コンピューター、カメラ、およびセンサーをすべて一つの整ったパッケージに収めるように設計されています。モジュール式なので部品の交換が容易であり、巨大なラボのセットアップを必要とせずに、マウスの自宅ケージ内を観察することに特化して作られています。
なぜこれが重要なのか
このシステム全体の最も優れた点は、「ライブ」バージョンと「オフライン」バージョンの両方で、同じ言語（データ形式）と同じ時計（タイミング）を使用していることです。
- 翻訳は不要: 通常、ライブカメラからのデータとラボのコンピューターからのデータは異なる言語を話します。ここでは、それらが同じ言語を話すため、結果が完全に一致します。
- 重労働は不要: 異なるツールを接続するために、大規模で高価なスーパーコンピューターや、ソフトウェアエンジニアのチームを必要とすることはありません。小型でポータブルなデバイス上で、高品質なリアルタイムの科学研究を行うことができます。
要約すると、SqueakPose Studioは、複雑で多段階の科学的プロセスを、単一のシームレスな体験へと変え、研究者が膨大な予算やサーバー室を必要とせずに、リアルタイムで動物の行動を研究できるようにするのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。