Dzongkha Next Word Prediction System

ブータンの国語であるゾンカ語で物語を打とうとしている場面を想像してみてください。それは美しい文字ですが、タイピングするのは、一つ一つの音節に数十回のキー入力が必要な、小さくて複雑なレゴブロックで家を建てるようなものです。それは遅く、もどかしく、間違いを犯しやすいものです。この論文の著者であるブータンの科学技術大学の学生チームは、次のような単純な問いを投げかけました。「次に打ちたい単語を推測してくれるデジタルアシスタントを作れば、キーを押す回数を減らせるのではないか？」

彼らはただ推測したのではなく、この言語を学習するためのコンピュータの「脳」を構築しました。彼らはゾンカ開発委員会の10万文におよぶ膨大なライブラリをコンピュータに読み込ませました。それは130万語以上、そしてコンピュータが暗記しなければならない約2万8000の固有単語に相当します。コンピュータが学習を始める前に、チームはデータをクリーニングし、単語に属さない数字や特殊記号を取り除き、文章を「トークン」と呼ばれる小さな塊に分解しました。これは、文章をユニークなID番号の文字列に変えるような作業です。

コンピュータに教えるために、彼らは「ニューラルネットワーク」と呼ばれる3つの異なるタイプを試しました。これは、異なるスタイルの「学生の脳」のようなものです。彼らはLSTM、Bi-LSTM、そしてGRUをテストしました。これらを3つの異なる勉強グループだと考えてください。LSTMは、一生懸命勉強したものの、あまりの資料の量に少し混乱してしまった学生のようなものでした。Bi-LSTMは、文章を両方向から見ることで少し上手くいきましたが、それでも膨大なデータセットについていくのに苦労しました。

このショーの真の主役はGRUでした。著者らはGRUを「軽量（ライトウェイト）」と表現していますが、これは、重くて遅いモデルとは異なり、息を切らすことなくマラソンを走ることができる俊敏なアスリートであると言っているようなものです。10万文のフルデータセットでこれら3つのモデルすべてを訓練した際、GRUが際立ったパフォーマンスを発揮しました。他のモデルは、小さなデータセットでは当初許容できる精度（LSTMは73.79%に達しました）を示しましたが、データサイズが増加すると過学習（オーバーフィッティング）の問題に直面しました。10万件のデータセットに対してハイパーパラメータの微調整を行った後、LSTMの精度は60%に低下し、Bi-LSTMは70.79%に達しました。しかし、GRUは74.03%という最高の精度を達成しただけでなく、この大規模な10万件のデータセットでの訓練という特定の文脈において、過学習の問題を解決しました。つまり、特定の条件下において、未知の単語を既知のモデルよりもはるかに高い信頼性で予測できたのです。

結果は冷徹な数字によって測定されました。LSTMは60%の精度を管理し、Bi-LSTMは70.79%に達しました。しかし、GRUモデルは74.03%の精度を叩き出しました。これは完璧なスコアには聞こえないかもしれませんが、言語予測の世界においては、確かな勝利です。論文では、他のモデルが大規模なデータセットで過学習に苦戦した一方で、GRUはこの問題を解決したことが明記されており、これは未知の単語をより高い信頼性で予測できることを意味しています。

チームは数字だけで終わりませんでした。彼らはこの勝利したモデルを中心に、一つのシステム全体を構築しました。人が数語を打ち込むと、システムが次の単語を提案できるように、ユーザーフレンドリーなインターフェース（FigmaやDjangoなどのツールを使用）を設計し、必要なキーストロークを削減しました。彼らはまた、トレーニングを行うために、元の小さなコンピュータではこの膨大なデータセットを保持できなかったため、強力なGPU（Nvidia RTX 3090）へとハードウェアをアップグレードする必要があったことにも言及しています。

結局のところ、この論文は、このGRUベースのシステムが、ゾンカ語でのタイピングをより速く、ミスを少なくするための有望な解決策であることを示唆しています。それはすべてを一瞬で解決する魔法の杖ではありませんが、重要な一歩です。著者らは、これが「有望な結果」であると慎重に述べており、将来的にこのウェブアプリをダウンロード可能なソフトウェアパッケージへと発展させ、言語の書き手や話し手にとってさらに有用なものにすることを計画しています。彼らは、適切なモデルと十分なデータがあれば、コンピュータが人間の母国語をより簡単に話すのを助けることができるのだということを証明したのです。