Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering
本論文は、コンピュータビジョン、ディープラーニング、および3Dアバターレンダリングを統合し、ポルトガル手話を用いたろう者と聴者の間の効果的な、かつニアリアルタイムな双方向通信を可能にする、モジュール型でサービス指向のシステムを提案するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何世紀もの間、ろう者と聴者の間の根本的な障壁は、感覚の単純な不一致でした。一方は手や顔による視覚的な言語を通じてコミュニケーションを行い、もう一方は声の音に依存しています。テクノロジーによって、話し言葉をテキストに変換してろう者に伝えたり、テキストを音声に変換して聴者に伝えたりすることは長らく可能でしたが、リアルタイムの会話における溝を埋めることは依然として困難なままでした。課題は、単に一つの言語を別の言語に変換することではなく、全く異なる二つの世界の経験の仕方を管理することにあります。ろう者は、手の形、腕の動き、体の位置、そして表情によって意味が運ばれる複雑な体系である手話を使用します。対照的に、聴者は空気中を伝わる音で話します。ろう者が文章を手話で伝えると、コンピュータはビデオを注視し、特定の動きを理解し、それらを言葉へと変換しなければなりません。聴者が話すと、コンピュータはその言葉を取り込み、正しい一連のサインへと分解し、それをろう者に示さなければなりません。これら両方のプロセスを、会話の流れを遮るような遅延なしに即座に行うには、非常に高速かつ非常にスマートなシステムが必要となります。
ポルトガルの研究チームは、まさにこの問題を解決するために設計された新しいシステムを構築し、ろう者と聴者ができる限り自然に会話できるデジタルな架け橋を作り上げました。彼らはこの創造物を、双方向の会話のためのユニバーサル翻訳機として機能するモジュール式プラットフォーム「SLaDIS」と呼んでいます。すべてを一つの巨大なプログラムに押し込もうとする代わりに、研究者たちは、整理されたリレーレースのように連携して機能する3つの明確なパーツにシステムを分割しました。第一のパーツはろう者の手と顔を見守り、第二のパーツは聴者の言葉を聞いてサインへと変換し、第三のパーツは実際に会話が行われる画面です。これらのパーツを分離しつつも接続しておくことで、システムは会話を停滞させることなく、コンピュータビジョンや人工知能による重い処理をこなすことができるのです。
旅は、ろう者が話したいと思った時に始まります。彼らは携帯電話やコンピュータのカメラに向かってメッセージを手話で伝えます。システムは、データの消費が激しく速度が低下してしまうため、ビデオのすべてのピクセルを記憶しようとはしません。その代わりに、専用のツールを使用して、人物の体の主要なポイント（指の関節、肘、肩、口角など）を見つけ出します。システムはこれらのポイントが動く様子を追跡し、ジェスチャーの簡略化されたマップを作成します。このマップは、ポルトガル手話の数千の事例で学習されたディープラーニングモデル、つまり一種の人工知能に送られます。モデルは一連の動きを観察して特定のサインを特定し、視覚的な動きを単語のリストへと変換します。手話はしばしば小さな接続詞を省略したり、話し言葉とは異なる文章構造を用いたりするため、システムはこの単語リストを大規模言語モデルへと渡します。この第二の知性の層は、親切な編集者のように機能し、単語を並べ替え、必要な文法を加え、文章を滑らかに整えることで、聴者にとって完璧に意味が通るようにします。その結果、明確で自然な文章が生成され、聴者の側の参加者が読み取ったり聞いたりできるよう画面に表示されます。
聴者が返答したい時には、プロセスは逆方向に働きます。彼らがメッセージを入力または発話すると、システムは即座にそれをポルトガル手話の特定のグロス（構成要素）へと翻訳します。これは単なる単語の置き換えではありません。システムは、手話には独自の語順や文法があることを理解しています。文章が正しいサインの順序に変換されると、システムはそれをろう者に示す準備をします。ダウンロードに時間がかかり、かつ正確な単語と一致しない可能性がある「人間によるサインの録画ビデオ」を送る代わりに、システムは3Dデジタルアバターを使用します。このアバターは、アプリケーション内に存在する仮想の人間です。システムはライブラリから各サインに対応するアニメーションを呼び出し、それらを繋ぎ合わせることで、流動的で連続したパフォーマンスを作り出します。アバターは、実際のサイン手話者の動きを模倣するように手、腕、顔を動かし、メッセージをろう者の画面に直接表示します。
研究者たちは、このシステムが実際の会話のスピードについていけるかどうかを確認するために、広範囲にわたるテストを行いました。その結果、サインを認識する部分の精度は非常に高く、テストされたサインの95.6パーセントを正しく識別できたことが分かりました。サインを完全な文章に変換した際、その意味は意図されたメッセージと高い類似性を示し、1.0を完璧な一致とする尺度において0.81のスコアを記録しました。システムの速度も同様に印象的でした。サインを認識して文章に変換するのに要した時間は0.1秒未満であり、聴者がメッセージを送ってからアバターが動き出すまでの時間はわずか1秒強でした。これらの速度は、ぎこちないメッセージのやり取りではなく、自然で流れるような会話を感じさせるのに十分な速さです。
システムが実際に有用であるかを確実にするため、研究者たちはポルトガルろう者協会の専門家を招き、アバターの評価を行いました。2人の独立した評価者がアバターのサインのパフォーマンスを観察し、メッセージをどの程度理解できたかを評価しました。一人の専門家はサインの90パーセントを理解し、もう一人は78パーセントを理解しました。研究では、アニメーションの品質が高い場合には理解度が完璧になることが指摘されており、動きの明瞭さが言葉の正確さと同じくらい重要であることを示唆しています。また、システムはショッピング、観光、ヘルスケアといった異なる環境での会話にも対応できる柔軟性を備えており、日常生活に必要な多様な語彙に適応できることが証明されました。
この研究の真の革新性は、それらのピースがいかに組み合わさっているかにあります。システムを互いに通信する独立したサービスの集合体として設計することで、研究者たちは拡張可能なプラットフォームを作り上げました。将来、より優れたAIモデルが開発されれば、システム全体を再構築することなく、それらを入れ替えることができます。より多くのサインをライブラリに追加する必要がある場合も、翻訳プロセスを中断することなく、記録して追加することが可能です。このアプローチにより、システムは単なる一度限りの実験ではなく、進化し続けることができる基盤となります。研究者たちは、語彙が言語の持つ豊かな表現力と比較するとまだ限定的であることや、テキストからサインへの翻訳は、より多くの学習データがあればさらに流暢になり得ることを認めています。しかし、得られた結果は、ろう者と聴者の世界をつなぐ完全な双方向の架け橋が、単なる理論上の可能性ではなく、真の人間的なつながりに必要なスピードと信頼性を持って機能する現実的なものであることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。