MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers
MicroViTv2は、再パラメータ化されたコンポーネントとSingle Depth-Wise Transposed Attentionを活用することで、エッジデバイスにおいて優れた精度とエネルギー効率を実現する、軽量かつハードウェアを意識したVision Transformerであり、実世界のパフォーマンスに向けて最適化することがFLOPsの最小化よりも重要であることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のテクノロジーの世界において、コンピュータは画像を観察し、それらが何であるかを理解することにおいて驚くほど優れた能力を持つようになりました。彼らは猫を識別したり、車を見つけたり、標識を読み取ったりといった作業を、人間の視覚に匹敵する精度で行うことができます。この能力は、「ビジョン・トランスフォーマー（Vision Transformer）」と呼ばれる一種の人工知能に基づいています。これらのシステムを、画像を細かな断片に分解し、それらが互いにどのように関連しているかを理解する、非常に詳細な地図製作者だと考えてください。これらの地図製作者は非常に強力ですが、同時に重厚で、負荷も高いものです。これらを動かすには膨大な計算量と電力を必要とするため、スマートフォンやドローン、あるいはバッテリーで駆動する自律走行ロボットのような小型デバイスで使用するのは困難です。これらのエッジデバイスにとって、目標は単に賢くなることではなく、高パフォーマンスと低消費電力を両立させ、充電なしで数時間動作できるようにする「効率性」にあります。
研究者たちは長い間、これらのシステムを効率化する最善の方法は、単に実行される数学的な計算の数を減らすことだと信じてきました。業界では、このカウント数は「FLOPs」と呼ばれ、コンピュータがどれほどの作業を行うかを推定するための標準的な指標として用いられています。支配的な仮説は、計算が少なければ自動的に高速になり、よりエネルギー効率の高いデバイスになるというものでした。しかし、新しい研究はこの長年の信念に異を唱えています。台湾の国家科学技術委員会と共に研究を行ったチームは、計算数を数えることは、現実世界のパフォーマンスを判断するには不完全な方法であると主張しています。彼らは、たとえ計算量がわずかに多いモデルであっても、その内部構造が実行される物理的なハードウェアに対してより良く機能するように設計されていれば、実際にはより速く動作し、より少ないエネルギーを使用できることを発見しました。
このアイデアを検証するために、研究者たちは「MicroViTv2」と呼ばれる新しいモデルを開発しました。これは、ロボティクスや自律システムによく使われる強力なコンピュータである「Jetson AGX Orin」のようなエッジデバイスで動作するように特別に設計された、軽量版のビジョン・トランスフォーマーです。チームは単に数学的な計算を削減しようとするのではなく、デバイスのメモリやプロセッサへの物理的な負荷を軽減するように、モデルのアーキテクチャを再設計しました。彼らは「構造的再パラメータ化（structural re-parameterization）」と呼ばれる手法を導入しました。学習フェーズにおいて、モデルは多くの異なる通路を持つ建物に似た、複数の経路を持つ複雑な構造を用いて学習します。しかし、モデルが実世界に展開される前には、これらの経路は数学的に一つの簡素化された経路へと融合されます。つまり、デバイスが実際にモデルを実行しているとき、デバイスは複雑な学習構造をナビゲートする必要はなく、より高速に横断でき、メモリへのアクセスも少ない、簡素化された直接的なルートを通ることになります。
また、研究者たちは画像内の異なる部分がどのように接続されるかも改良しました。彼らは古いアテンション・メカニズムを「シングル・デプス・ワイズ・トランスポーズド・アテンション（Single Depth-Wise Transposed Attention）」と呼ばれる新しいコンポーネントに置き換えました。これにより、モデルは不要なデータに足を取られることなく、画像全体を俯瞰し、離れた部分がどのように関連しているかを理解できるようになります。計算量を減らすことよりも、ハードウェアを通じてデータがどのように移動するかという点に焦点を当てることで、チームは現実のデバイスの物理的な制限に対してより親和性の高いシステムを作り上げました。
標準的な画像データセットおよび物体検出タスクを用いて行われた実験の結果は、効率性をどのように測定すべきかについての明確な転換を示しています。Jetson AGX Orinでテストした際、新しいMicroViTv2モデルは、その前身や他の主要な軽量モデルを凌駕しました。このモデルは、画像を処理する速度と画像あたりのエネルギー消費量を向上させながら、より高い精度で物体を識別しました。例えば、彼らのモデルの一種は、1秒間に1,883枚の画像を処理し、画像1枚あたりわずか14.9ミリジュールしか消費しませんでした。これに対し、理論上の計算量がより少ない他のモデルは、速度が遅く、より多くの電力を消費していました。この研究は、新しいモデルが以前のバージョンよりも精度を最大0.5パーセント向上させ、スピードとエネルギー効率の両面でMobileViTv2やEdgeNeXtといった競合モデルを上回ったことを示しました。
決定的なことに、この論文は「計算数の減少が常に優れたパフォーマンスにつながる」という考えを明確に否定しています。研究者たちは、彼らのモデルが以前のバージョンのいくつよりも多くの数学的演算を行っているにもかかわらず、それでもなお高速に動作し、より少ない電力を消費していることを示しました。この発見は、従来の計算削減への焦点が、実際のハードウェアに適用する場合、誤解を招く可能性があることを示唆しています。真のボトルネックは、多くの場合、コンピュータがどのようにメモリにアクセスするか、そしてチップ上でソフトウェアがどのようにスケジューリングされるかにあります。ハードウェアに適合するように構造を最適化することで、研究者たちは、たとえ数学的な処理が増えたとしても、モデルはより効率的になれることを証明しました。
チームは、画像の分類や複雑なシーンにおける物体検出を含む、さまざまなシナリオにわたってこれらの知見を検証しました。あらゆるテストにおいて、構造的な改善がより良い結果をもたらしました。本研究は、デバイスの物理的な現実に合わせて設計することが、単に理論的なワークロードを最小限に抑えることよりも重要であると結論付けています。このアプローチは、スマートであるだけでなく、私たちの日常生活でますます一般的になっているバッテリー駆動のデバイスにとって実用的な、人工知能を創造するための新しい道筋を提示しています。この研究は、真に効率的なシステムを構築するためには、エンジニアは紙の上の数字を超えて、モデルが機械の中で実際にどのように振る舞うかを考慮しなければならないことを裏付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。