Suvana: An Integrated Platform for Two-Way Deaf–Hearing Communication in Sri Lankan Sign Language

世界の多くの地域では、コミュニケーションは、耳が聞こえる人と聞こえない人の間で、自然に行われる共有された流動的なやり取りです。しかし、スリランカのろう者コミュニティにとって、このやり取りはリソースの不足によってしばしば遮断されています。その隔たりを埋めるための専門の通訳者は十分に存在せず、また、この国にはまだ、誰もが合意できる単一の完全に標準化された手話のバージョンも存在しません。テクノロジーはコミュニケーションを助ける上で大きな進歩を遂げてきましたが、これらのツールの多くはアメリカ手話（ASL）向けに構築されており、スリランカ手話のような現地の言語は開発者からほとんど無視されています。これにより、最もこれらのツールを必要としている人々が、それらを持たないまま取り残されるという状況が生じています。また、存在するテクノロジーも、スリランカの人々が手や顔を使って表現する独特な方法を理解できないことが多いのです。

ある研究者が、「Suvana」と呼ばれる新しいデジタルプラットフォームによって、このギャップに対処しようとしています。研究者は、一つの巨大なアプリケーションを一から構築しようとするのではなく、別々に開発された4つの異なるソフトウェアツールを取り込み、一つのシームレスな体験へと繋ぎ合わせました。その目的は、コミュニケーションの障壁という問題を完全に解決したと主張することではなく、これらの異なる断片が単一の製品として機能し得ることを実証することでした。このプラットフォームには、手サインを話し言葉のシンハラ語に変換するツール、話し言葉のシンハラ語をデジタルアバターによる手話に変換して返す機能、車のクラクションやガラスの割れる音などの重要な音をユーザーに知らせるモバイルアプリ、そして手話を学びたい聴者のための練習用チューターが含まれています。このプロジェクトが注目に値するのは、単にこれらのツールを組み合わせたことだけでなく、研究者が自らの成果、そしておそらくより重要なことに、何を実現できていないのかを報告する際の誠実さにあります。

この研究の最も重要な知見は、学習者がサインを練習し、そのパフォーマンスに対してフィードバックを受け取るために設計されたツール、すなわち練習用チューターから得られました。研究者は、学習者の手の動きを、流暢な手話者の参照ビデオと比較するシステムを構築しました。これを行うために、彼らは二つの動きのシーケンスを時間軸で一致させる手法を用い、速度の違いを許容することで、動作が遅くても正しいサインが「遅い」という理由で減点されないようにしました。しかし、テストの過程で、彼らはこのテクノロジーの仕組みにおける決定的な限界を発見しました。彼らは、全く異なるはずのサインがコンピュータには驚くほど似て見えることがある一方で、同じサインを正しく行っている二人の人間が、コンピュータ上では全く異なって見えることがあることを発見したのです。

このため、研究者は、コンピュータがその人が何をサインしようとしているのかをあらかじめ知らない限り、システムがその人が作ろうとしているサインを推測することは安全ではないと悟りました。もしシステムが未知のサインを特定しようとすれば、間違いを犯す可能性が高いからです。なぜなら、二つの異なるサイン間の距離が、同じサインに対する二つの正しい試みの間の距離よりも小さくなることがあるからです。代わりに、システムは異なる方法で機能するように設計されています。学習者は特定のサインを練習するよう求められ、コンピュータは単にその特定のサインをどれだけ上手く行ったかを採点します。このアプローチにより、間違った言葉を推測するという罠を回避しています。研究者は、システムが正しい試みと間違った試みをどの程度区別できるかを測定し、ランダムな確率よりも有意に高い精度で区別できるものの、決して完璧とは言えないレベルであることを明らかにしました。

研究者はまた、プラットフォームの他の部分に関する主張についても非常に慎重でした。サインを音声に変換するツールについては、その人物がコンピュータの学習データに含まれている人物である場合にはうまく機能するものの、それ以外の誰にでも機能するということは主張していません。彼らは、手元にあるデータが限られているため、まだ見たことがない新しい人物に対してシステムが機能するかどうかは、現時点では断定できないと明示しました。同様に、音声を通辞アバターに変えるシステムの部分についても、デジタルキャラクターの動きは聴者の学生によって作成されたものであり、ろう者の署名者によって検証されていないことを明確にしました。彼らはこのアバターを、テクノロジーがどのように機能するかを示すデモンストレーションとして提示しており、それが実際に理解可能なコミュニケーション手段であるかどうかについては、ろう者コミュニティからの入力がない限り、判断できないと認めています。

おそらく論文の中で最も重要な部分は、著者がこのプロジェクトにおける自身の役割について述べている点です。4人の研究者は全員が聴者であり、ろう者としての実体験（リブド・エクスペリエンス）を持っていません。彼らは、自分たちが構築したシステムが、対象となる人々にとって真に有用であるか、あるいは受け入れられるものであるかを判断するための流暢さや文化的背景を欠いていることを率直に認めています。彼らは、アクセシビリティ技術の分野において、聴者の研究者がろう者コミュニティからの十分な入力を得ずにツールを構築してしまうことは一般的であり、そのような慣習が的を外れた製品を生む原因になることを指摘しています。彼らは現在の取り組みを解決への一歩として記述していますが、次のステップには必ずろう者の手話者が直接関与しなければならないことを強調しています。これは、新しい参照ビデオをろう者の教師と共に記録し、システムが提供するフィードバックを彼らに検証してもらう必要があることを意味します。

研究者は、これら4つのツールを一つのプラットフォームに統合し、実際のデータに基づいて採点システムを調整することには成功したが、研究はまだ完了していないと結論付けています。彼らは、記録されたビデオのセットに対してシステムがどのように機能するかを測定しましたが、実際の学習者に対してどのように機能するか、あるいは学習をどの程度助けるかについてはまだ測定していません。多様な署名者を用いてシステムをテストしておらず、ろう者コミュニティによって内容を検証することもしていません。彼らの知見は、現在のテクノロジーで何が可能であり、何が未知のまま残されているのかを示す明確な地図となっています。今後の道のりは、単にテクノロジーを構築することを超え、それを使う人々が開発を導くようにすることが必要であると彼らは主張しています。それが実現するまでは、システムは完全な解決策ではなく、あくまで有望なプロトタイプにとどまります。そして研究者は、彼らの仕事の真のテストは、あらゆる段階においてろう者の手話者が関与することによってのみ行われるのだということを明確にしています。