A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

コミュニケーションは人間の根本的なニーズですが、ろう者や難聴者である数百万人もの人々にとって、広い世界への架け橋はしばしば壊れたままとなっています。手話はこれらのコミュニティにとって完全で豊かな言語ですが、普遍的な翻訳システムがなければ、手話利用者と非利用者の間の溝は解消されません。近年、科学者たちはコンピュータを用いてこの架け橋を築こうとしており、機械に手のジェスチャーを「見る」ことを教え、それらを音声や文字へと翻訳させています。この分野は、主に2つの「見方」に依存しています。一つのアプローチは、手を一枚の写真のように扱い、形、色、そして肌や指の質感などを分析して意味を推測します。もう一つのアプローチは、画像そのものは完全に無視し、代わりに手の正確な幾何学構造に焦点を当て、関節や指先の正確な位置を座標のセットとしてマッピングします。それぞれの方法には長所がありますが、現実の世界が複雑になると、どちらの手法も苦戦します。カメラベースのシステムは、照明の変化や背景の乱れによって失敗する可能性があり、一方で幾何学ベースのシステムは、ある手話を別の手話と区別するための微妙な細部を見落とす可能性があります。

インドのガルゴティアス工科大学の研究者たちは、これら2つの異なる「見方」を組み合わせることで、インド手話のためのより信頼性の高い翻訳機を生み出す解決策を提案しました。コンピューターに手の「外見」を見るか「構造」を見るかの選択を強いるのではなく、研究チームは両方を同時に使用するハイブリッド・システムを構築しました。彼らは2つの別々のデジタルな「脳」を作成しました。一つは、手の画像を見てジェスチャーを認識するように訓練されたもの、もう一つは、MediaPipeと呼ばれるツールによって検出された手のランドマークの数学的座標を読み取ることで認識するように訓練されたものです。この革新性は、単に2つのモデルを持っていることではなく、それらがどのように連携するかという点にあります。研究者たちは、門番として機能するスマートな切り替えメカニッションを設計しました。リアルタイムの動作において、システムは画像ベースのモデルがその推測に対してどれほど自信を持っているかを常にチェックします。もし照明不足などの理由で画像ベースのモデルが確信を持てない場合、システムは自動的に、環境の変化に対する堅牢性に優れた幾材である幾何学ベースのモデルへと処理を委ねます。もし幾何学的な構造が不明瞭であれば、画像に頼ります。この動的な意思決定は、最終的な出力が文字の間でちらついたり、不規則に跳ねたりしないように、時間の経過とともに平滑化されます。

研究チームは、アルファベットといくつかの特定のコマンドを表す、合計87,000枚の静止した手の画像を含む大規模なコレクションを用いてシステムをテストしました。彼らは、画像を読むモデルの訓練に、リアルタイムでの使用に適した軽量なアーキテクチャであるMobileNetV2を使用し、幾何学を読み取るモデルの訓練には、MediaPipeによって検出された手の21の主要なポイントを処理する標準的なニューラルネットワークを使用しました。個別のモデルをテストしたところ、興味深い結果が得られました。画像ベースのモデルは、制御されたテストではほぼ100%に近い精度に達するという驚異的な正確さを見せましたが、ライブカメラの映像のような変動のある条件下では、不確実性を示すことがわかりました。幾何学ベースのモデルは、単独では約97%というわずかに低い精度でしたが、背景や照明に関わらず、極めて安定していました。

研究者たちがこれら2つのアプローチを融合させた結果、生み出されたのは、生のピーク性能よりも「安定性」を優先したシステムでした。このハイブリッドモデルは、テストにおいて95%の精度を達成しました。この数値は、画像のみのモデルが持つ理論上の最大値よりはわずかに低いものの、実用においてははるかに一貫性のあるものでした。リアルタイムの試行において、ハイブリッドシステムは100%近い信頼度を維持し、単一モデルのシステムを悩ませていた躊躇やエラーを事実上排除しました。研究によれば、信頼度の閾値に基づいて2つのモデルに回答を選択させ、短期間のウィンドウ内で結果を平滑化させることで、システムは環境の変動する条件に対処できることがわかりました。このアプローチは、幾何学のみのモデルで見られた誤分類を減少させることに成功し、安定した予測を維持しました。これは、ジェスチャー認識において視覚的特徴とランドマークベースの特徴を組み合わせることの有効性を証明しています。

研究者たちは、このハイブリッド・フレームワークが、補助的なコミュニケーションツールのための実用的な道筋を提示していると結論付けています。単一の方法がすべての状況において完璧であることはないという事実を認め、任意の瞬間に最も信頼できる方法へと動的に傾斜できるシステムを作ることで、彼らは現実世界での使用に耐えうる堅牢なジェスチャー認識器を作り上げました。この研究は、視覚的な外見と幾何学的な構造を組み合わせ、信頼度に基づく意思決定プロセスによって管理することで、正確であるだけでなく、安定して信頼できるツールが得られることを示しており、聴者とろう者の間のシームレスなコミュニケーションという約束を、実現に向けて一歩前進させました。