UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

想像してみてください。あなたはロボットに、手を振って挨拶したり、「ストップ」とサインを送ったりといった人間の手のジェスチャーを理解させようとしています。これはコンピュータにとって非常に難しい仕事です。なぜなら、コンピュータは「指の細かな、特定の詳細（ローカルな特徴）」と、「腕全体が時間とともにどのように動くかという大きな絵（グローバルなコンテキスト）」という2つのことを同時に見極める必要があるからです。長い間、コンピュータはこれらを解決するために2つの異なるツールを使用してきました。一方のツールである「畳み込みニューラルネットワーク（CNN）」は、指紋一つを見逃さない超精鋭の探偵のようでしたが、物語全体を理解しようとすると迷子になってしまいました。もう一方のツールである「Transformer」は、小説のあらゆるプロットポイントを繋ぎ合わせることができる偉大な語り部のようなものでしたが、本の中の一文字一文字すべてを見ようとすると、圧倒されて動作が重くなってしまいました。研究者たちは、鋭い探偵であり、かつ優れた語り部でもあるロボットを構築しようと試みてきましたが、これら2つを組み合わせることは、しばしばロボットを重く、使いものにならないほど遅くしてしまうことを意味していました。

ここで、「UniCon-Former」の物語が始まります。著者であるMallika Garg、Debashis Ghosh、Pyari Mohan Pradhanは、膨大な数学的計算に足を取られることなく、動的な手のジェスチャー（時間の経過とともに起こる動き）を認識できる、よりスマートで軽量なロボットを作りたいと考えました。彼らは単に2つのツールを無理やり組み合わせたのではありません。両者が一つの統一されたチームとして機能する新しい方法を編み出したのです。巧妙な「ピラミッド」構造を用いることで、彼らは詳細にズームインしたり、全体像を見るためにズームアウトしたりできるシステムを作り上げ、従来のモデルよりも少ないリソースでこれを実現しました。彼らの研究は、この新しいアプローチが、ジェスチャー制御のゲーム、仮想現実（VR）、および手話翻訳をより速く、より正確にできることを示唆しており、「単純な手を振る動作を理解するために、巨大な脳は必要ない」ということを証明しています。

問題点：探偵 vs 語り部

なぜ著者たちがUniCon-Formerを構築したのかを理解するために、コンピュータビジョンの世界における2つの主要な登場人物を見てみましょう。

まず、**CNN（畳み込みニューラルネットワーク）**です。これは、虫眼鏡を持った探偵だと考えてください。それは画像の小さなパッチを見て、「ここに親指があり、そこに指の関節がある」と言うことに長けています。局所的な詳細を見つけるのが得意なのです。しかし、その虫眼鏡の範囲には限界があります。あなたの手が画面全体をどのように動いているか、あるいはジェスチャーが数秒間にわたってどのように変化しているかを理解することには苦労します。それは、容疑者の靴は特定できるものの、容疑者が1時間前にどこにいたのかを教えることができない探偵のようなものです。

次に、Transformerです。これは、偉大な語り部です。これは「自己注意（セルフアテンション）」と呼ばれるメカニズムを使用して、入力シーケンスのあらゆる部分（ビデオの全フレームなど）を調べ、それらが互いにどのように関連しているかを判断します。フレーム1で手が上がっていることが、フレーム10で手が下がっていることと関連していることを簡単に理解できます。しかし、落とし穴があります。語り部になるにはコストがかかるのです。すべての情報を他のすべての情報と結びつけるためには、膨大な量の数学的計算を行わなければなりません。それは、スタジアムにいるすべての人を、他のすべての人に紹介しようとするようなものです。その労力はあまりにも巨大になり、コンピュータは動作が遅くなり、電力を消費しすぎてしまいます。

著者たちは、Transformerは強力ではあるものの、「高い冗長性」に悩まされていると主張しています。彼らは、必要のないものまで比較しすぎていると指摘しています。一方で、CNNは効率的ですが、大きな絵を見落とします。目標は、デメリットを回避しながら、両方の良いとこ取りをしたモデルを構築することでした。

解決策：注目のピラミッド

著者たちは、UniCon-Former（Unified Convolution Transformer）と呼ばれる新しいモデルを提案しています。Transformerがビデオ全体に対して苦戦する代わりに、彼らは「ピラミッド」構造を導入しました。

あなたが山を見ているところを想像してください。山の頂上からすべての岩を見ようとすれば、圧倒されてしまいます。しかし、麓から登り始めれば、近くにある岩の詳細に集中し、次に崖の形を見るために一歩下がり、最後に山脈全体を見るために頂上に到達することができます。UniCon-Formerは、ビデオフレームに対してまさにこれを行います。

魔法がどのように起きるのかを説明します：

1. セットアップ: 手のジェスチャーのビデオは、まず標準的なCNN（ResNet-18）によって処理され、基本的な特徴が得られます。
2. ピラミッド: モデルはステージに分割されています。各ステージの開始時に、モデルはデータを縮小するための特別な「畳み込みブロック（C-Block）」を使用します。これは、高解像度の写真を、次のレベルに渡す前に少し圧縮するようなものです。これにより、ネットワークの深層に進むにつれてデータが小さくなり、より焦点が絞られるピラミッド形状が作成されます。
3. 混合: データがTransformerの「アテンション（注意）」部分（接続関係を探る部分）に入る前に、このC-Blockを通過します。このブロックは「深度分離畳み込み（depthwise separable convolution）」を使用しており、これは、局所的な詳細を先に調べることで画像を効率的に処理するという、洗練された方法です。
4. 結果: 各ステージでデータを縮小することにより、モデルは異なるスケールでの特徴を学習します。早い段階で指の細かな詳細を学習し、後の方で腕のより広い動きを学習します。これにより、Transformerは膨大なデータに圧倒されることなく、点と点を結びつけるという役割を果たすことができます。

著者たちは、このアプローチが「マルチスケール特徴」の学習に役立つと説明しています。手にはさまざまな大きさや形があり、ジェスチャは速かったり遅かったりするため、異なるズームレベルで絵を見ることができることが極めて重要です。また、ピラミッド構造は計算コストを削減し、モデルをより軽量で高速にします。

実験：手をテストする

彼らのアイデアが機能するかどうかを確認するために、チームは2つの有名なデータセット、NVGestureとBriareoでUniCon-Formerをテストしました。これらのデータセットには、さまざまなタイプのカメラで撮影された、人々が手のジェスチャーを行っているビデオが含まれています。カラー（RGB）のみを見るカメラもあれば、デプス（奥行き）を見るもの、赤外線（熱）を見るもの、そして「オプティカルフロー（画素の動き）」を見るものもあります。

研究者たちは、これらのビデオを用いてモデルを訓練し、標準的な（バニラの）Transformerや、さまざまなCNNベースのモデルを含む他の有名なモデルと比較しました。彼らは「後期融合（late fusion）」という手法を用いました。これは、各タイプのカメラデータに対して個別にモデルを訓練し、その後、最高の答えを得るために最終的な推論を組み合わせることを意味します。

結果はどうでしたか？
結果は非常に有望でした。NVGestureデータセットにおいて、UniCon-Formerはほぼすべてのカテゴリーで標準的なTransformerを上回りました。

• カラー画像のみの場合、**81.67%の精度を達成し、標準的なTransformerの76.50%**を上回りました。
• デプス画像では、Transformerの**83.00%**に対し、**85.27%**に達しました。
• 複数の種類のデータ（カラー、デプス、赤外線など）を組み合わせた場合、モデルはさらに向上し、**87.97%**の精度に達しました。

Briareoデータセットでは、結果はさらに印象的でした。

• 赤外線画像のみを使用した場合、モデルは**97.92%の精度に達し、標準的なTransformerの95.10%**を上回りました。
• カラー、赤外線、フローを組み合わせた場合、**98.61%**に達し、これは記録された中で最高スコアでした。

著者たちは、モデルがマルチモーダル（多種多様なデータ）を使用した場合に特に優れた性能を発揮したと述べています。入力の種類（「ノーマル」や「オプティカルフロー」などを加えること）を増やすと、一般的に精度が向上したことを観察しており、これはモデルがジェスチャーを理解するために利用可能なすべての情報を効果的に活用できることを示唆しています。

効率性：少ないものでより多くを

最も重要な発見の一つは、単なる精度ではなく、効率性についてでした。著者たちは、モデルを「パラメータ数（AIの脳細胞）」と「MACs（数学的演算数）」に基づいて他のモデルと比較しました。

• UniCon-Formerは、19.58百万個のパラメータを持ち、60.25 Giga MACsを必要とします。
• 比較対象となった標準的なTransformerは、24.30百万個のパラメータと62.92 Giga MACsを使用していました。
• NAS1のような他の重量級モデルは、93.90百万個のパラメータを持っていました。

これは、UniCon-Formerがより正確であるだけでなく、より小さく、計算コストも低いことを意味します。それは、競合他社よりも燃費が良く、スピードも速い車を造るようなものです。著者たちは、この効率性が、計算能力が限られている可能性のある実世界のアプリケーションにおいて、モデルを柔軟で適応可能なものにしていると示唆しています。

まとめ

論文は、UniCon-FormerがCNNとTransformerの強みを統合するための成功した試みであると結論づけています。データを異なるスケールで処理するピラミッド構造を作成することで、モデルは局所的な詳細とグローバルなコンテキストの両方を効率的に学習できます。実験は、このアプローチが、より少ないリソースで既存の手法を凌駕する最先端の結果をもたらすことを示唆しています。

著者たちは、NVGestureおよびBriareoデータセットに基づいた結果に自信を持っていますが、これを最終的で不変の解決策ではなく、設計の強力な検証として提示しています。彼らは、自らのモデルが複雑さとパフォーマンスの間のより優れたトレードオフを提供していることを強調しており、ジェスチャー認識をより速く、より安く、より正確にするための新しい道を示しています。