Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

現代の人工知能の世界において、コンピュータは人間のように言葉を読みません。彼らはテキストを長い文字の列として捉えており、それを理解するために、その文字列をより小さく扱いやすい断片に分解しなければなりません。これらの断片は「サブワード」と呼ばれます。コンピュータが「unhappiness」という単語を理解しようとしている場面を想像してみてください。それは「un」、「happi」、「ness」と分割するか、あるいは「unhappiness」を一つの塊として扱うかもしれません。コンピュータがこれらの単語をどこで切るかを決定する方法は「トークナイゼーション（分かち書き）」と呼ばれます。長年、標準的な手法は、膨大な量のテキストの中に特定の文字の組み合わせがどれくらいの頻度で出現するかを見ることで、コンピュータ自身にこれらの切り方を学習させることでした。この統計的なアプローチは効率的ですが、盲点があります。それは、データの特性上、単にその箇所での切り方が一般的であるという理由だけで、意味のある部分、つまり接頭辞と語根の間、あるいは語根と接尾辞の間を真っ二つに切り裂いてしまうことがよくあるのです。これにより、コンピュータの言語理解は透明性を欠き、特に複雑な単語を扱う際には精度が低下することがあります。

上海の同済大学の研究チームは、異なる道を模索しました。彼らは、辞書による語の部分（語素）からの「優しい後押し」があれば、コンピュータはより言語学的に理にかなった場所で単語を切り分ける方法を学べるのではないか、と考えました。生の統計だけに頼るのではなく、彼らは形態論的レキシコン（形態素辞書）——数千の英語の単語の接頭辞、語根、接尾辞をリスト化した専門的なデータベース——を学習プロセス中のガイドとして導入しました。研究者たちは、コンピュータに辞書を完璧に遵守させることを強制したわけでも、訓練データ内のすべての単語を手動でラベル付けすることを求めたわけでもありません。代わりに、彼らは辞書を「弱い信号」、つまり「もしここで単語を切りたいのであれば、その切り口が既知の接頭辞や接尾辞と一致する場合、それを保持することを検討してもよい」という微かなヒントとして扱いました。彼らは、このアイデアを、切り分けを行うツールである3種類の異なるタイプのコンピュータ・トークナイザーに対してテストしました。その結果、このシンプルなガイダンスによって、コンピュータは単独で行うよりもずっと上手く、実際の単語の構成要素に沿って切り分けを行えるようになることが示されました。

この研究は、コンピュータが単語を分割する方法として用いる3つの特定の手法に焦点を当てました。第一の手法は「バイトペアエンコーディング（BPE）」として知られ、非常に人気のある方法で、最も頻繁に出現する文字のペアを結合することから始まります。第二の手法は、多くの大規模言語モデルを支えているものと同様の学習スタイルであり、文字の組み合わせがどの程度結びついているかに基づいて、それらがどのように適合するかを調べます。第三の手法は、異なる単語のセグメントの尤度（もっともらしさ）を計算する確率的な手法です。研究者たちは、約7万語の英語の分析を含む「MorphoLex」という大規模なデータベースを取り、それを接頭辞、語根または茎、接尾辞のための3つの単純なリストに変換しました。訓練フェーズにおいて、コンピュータがどの文字の組み合わせを自身の語彙に保持するかを決定しようとする際、システムはこれらのリストをチェックしました。もし潜在的な切り口が既知の接頭辞、語根、または接尾辞と一致した場合、コンピュータはその選択肢のランキングをわずかに引き上げました。これは、言語学的に意味のある単位が選ばれる可能性がわずかに高まることを意味しますが、データが十分に強力であれば、コンピュータは依然としてテキストの統計的パターンに従う自由を持っていました。

この実験の結果は、これら3つの手法すべてにおいて明確かつ一貫していました。コンピュータの切り分けが単語の真の形態学的境界とどれほど一致しているかを測定したところ、ガイド付きのバージョンは標準的なバージョンよりも優れた性能を示しました。改善が最も劇的だったのはバイトペアエンコーディングであり、正しい単語境界を特定する精度が5パーセントポイント跳ね上がりました。確率的手法も3パーセントポイントを超える大幅な向上を見せました。第三の、関連性に基づくアプローチは、1パーセント強という、より小さいながらもプラスの改善を示しました。これらの利得は、単なるテスト設定上の偶然ではありません。研究者たちは、コンピュータがテストされている特定の単語を単に暗記しただけではないことを確認するために、評価を慎重に設計しました。彼らは、ガイドに含まれるあらゆる接頭辞と接尾辞を含むテストセットと、それを含まないテストセットの2種類のテストセットを作成しました。また、辞書を2つの部分に分け、一方をコンピュータの学習に使用し、もう一方を完全に独立したテスト用として使用しました。コンピュータが辞書に一度も登場しなかった単語に対してテストされた場合でも、改善効果は維持されており、このシステムが単語の分割方法を真に学習したことを示唆していました。

最も興味深い発見の一つは、異なるコンピュータの手法が同じガイダンスに対してどのように反応したかという点でした。純粋に頻度に依存する手法は、自身の語彙を最も大きく変化させ、標準的な切り口の多くを新しい言語学的にガイドされた切り口へと入れ替え、これが精度の最大の変化をもたらしました。確率的手法は語彙の変化は少なかったものの、依然として強力なパフォーマンスの向上を達成しました。関連性に基づく手法は、単語がどのように適合するかについての内部的なロジックを既に持っていたにもかかわらず、語彙を最も劇的に変化させましたが、精度の向上は最小でした。これは、辞書によるガイドの価値が、コンピュータが元々どのように学習しようとしていたかに依存することを示唆しています。単に数を数えることによって学ぶコンピュータにとって、辞書は欠けていた重要な構造を提供します。一方で、パターンの関連性を既に探しているコンピュータにとって、辞書は役立つものの、より劇的な変革をもたらすものではありません。

研究者たちはまた、単純な単語と複雑な単語に対してシステムがどのように機能するかについても調査しました。頻度ベースの手法については、単語が1つのパーツで構成されている場合でも3つのパーツで構成されている場合でも、改善の度合いは全く同じでした。確率的手法については、改善は主に単純な単語で見られ、複雑な単語は標準的な手法によって既にうまく処理されていました。この詳細な分析は、形態論的レキシコンを使用するメリットが均一ではないこと、つまり、それがコンピュータの学習方法の具体的内容と相互作用していることを示しています。研究は、これらの言語リソースが二重の目的を果たすことができると結論付けています。それらは、高価で手動によるラベル付けされたデータを必要とせずに、コンピュータがより良い語彙構造を学習するのを助ける軽量なガイドとして機能できます。同時に、それらはこれらのシステムをより公平に評価する方法を提供し、改善が単に学習用とテスト用のデータが同一であることによる産物ではなく、真の実力であることを保証します。この研究は、辞書からのシンプルで控えめなヒントであっても、人工知能が人間の言語の構成要素をより明確に理解する助けとなることを証明しています。