技術要約: Morpheus – トルコ語のための形態素認識型ニューラル・トークナイザーおよび単語埋め込みモデル

1. 問題提起

トルコ語は、語根に派生接辞や屈折接辞が連鎖的に付着することで意味を構成する膠着語である。現在のトルコ語向け自然言語処理（NLP）ツールは、主に2つの限界に直面している。

• トークン化の欠陥: 標準的なサブワード・トークナイザー（BPE、WordPiece、Unigram）は、言語学的形態ではなくコーパスの統計量に基づいて単語を分割する。これにより、意味を担う接辞が断片化され、シーケンス長（繁殖性/fertility）が増大し、計算コストが増加する。さらに、広く使用されている多くのトークナイザーは可逆ではない。これらはダイアクリティカルマーク（符号）を削除したり、正規化（canonical re-harmonization）を適用したりするため、decode(encode(w)) が元の文字列 w と一致しない。この表面的な忠実度の喪失は、生成モデルの出力を損なう。対照的に、ルールベースの解析器（例：Zemberek）や教師なしセグメンター（例：Morfessor）は、より優れた形態論的整合性を提供するが、情報の欠落があったり、辞書に依存していたり、あるいは言語モデリングに最適化されていなかったりする。
• 表現のギャップ: 現在の単語表現システムは、トークン化と埋め込みを分離した、無関係なプロセスとして扱っている。BERTurkのような文脈エンコーダーは重厚であり、情報の欠落があるサブワード語彙に依存し、形態論を暗黙的にしか扱わない。離散的で損失のないトークンを生成すると同時に、形態論的関係（例：kitap, kitaplar, kitabımız を構造によってグループ化する）を本質的に尊重する構造化単語埋め込みを生成する統一されたシステムの欠如が見られる。

2. 手法

本論文では、損失のない形態論認識型トークナイザーおよび単語埋め込み生成器として同時に機能するように設計された、ニューラル形態素境界モデルである Morpheus を導入する。

アーキテクチャ

Morpheus は単語を文字シーケンスとして処理し、単一のフォワードパスで形態素境界と単一の単語埋め込みの両方を出力する。

1. 文字エンコーダー: 文字埋め込みは、学習されたケースフラグ（大文字・小文字）埋め込みと結合され、マルチスケール畳み込み（カーネル幅 2–6）と3層の自己注意層（self-attention layers）を通過する。極めて重要な点として、文字間の相対的なオフセットを捉えるために Rotary Position Embeddings (RoPE) が適用される。これにより、モデルは絶対的なインデックスではなく、語根に対する接尾辞の位置を推論することが可能になる。
2. 境界検出器: 4層の RoPE 自己注意層のスタックとスコアリングヘッドにより、各文字間位置における境界の確率 $p_i \in [0, 1]$ を予測する。
3. 微分可能なポアソン・ビノミアル・セグメンテーション: 勾配の流れを遮断する非微分的な argmax 操作を避けるため、Morpheus は微分可能な動的計画法を採用する。これは境界確率を独立したベルヌーイ試行として扱い、ポアソン・ビノミアル分布を用いて ソフト形態素所属行列 $M$ を計算する。
   • 学習: 勾配は、教師ありラベルと自己教師あり目的関数の両方によって形成されながら、ソフト所属行列 $M$ を通じて境界検出器へと流れる。
   • 推論: 確率が 0 または 1 に収束するにつれ、ソフト行列はワンホットのハード・セグメンテーションとなり、アーキテクチャの変更なしに正確な境界を復元する。
   • 表面の保存: このメカニズムは文字をグループ化するだけであり、文字の挿入、削除、書き換えは決して行わない。これにより、構成上 decode(encode(w)) = w が保証される。
4. 単語埋め込み: セグメントベクトルは、$M$ への所属度によって重み付けされた文字ベクトルへのアテンション・プーリングを通じて計算される。これらは、フィードフォワードネットワークを介して最終的な320次元の単語埋め込み ($e_w$) へと集約される。

学習目的

モデルは、以下の4つの損失の加重和で学習される。

• 補助損失 ($L_{aux}$): 教師なし Morfessor 解析器（ルート補正を含む）からのラベルに対する境界バイナリ・クロスエントロピー（BCE）およびカウント正則化。この重みは、カリキュラムに従って 0.50 から 0.08 まで減衰する。
• Skip-Gram ネガティブ・サンプリング ($L_{sgns}$): 標準的な word2vec スタイルの目的関数。
• 対照学習損失 ($L_{ctr}$): 語根の同一性に関する InfoNCE 損失であり、同じ語根のすべての屈折を互いに引き寄せる。
• マスクド言語モデリング ($L_{mlm}$): 語彙に依存しない、文字レベルの再構成タスクであり、マスクされた単語が文字ごとに再生される。

3. 主な貢献

1. 統合モデル: Morpheus は、損失のない形態論認識型トークナイザーと構造化単語埋め込み生成器の両方の役割を果たす初のモデルであり、トークン化と表現を統一している。
2. 微分可能なセグメンテーション: 微分可能なポアソン・ビノミアル動的計画法の導入により、推論時には正確で可逆なハード・セグメンテーションを保証しつつ、エンドツーエンドの境界検出学習を可能にした。
3. 包括的な評価: 本論文は、トルコ語のトークン化における新しい評価軸として 可逆性 を確立した。多くの高性能なトークナイザーが、デコードの不備により生成タスクには不適切であることを示している。

4. 結果

トークン化性能

• 可逆性: WordPiece (58.2%) やルールベースの TurkishTokenizer (95.4%) が、それぞれダイアクリティカルマークの削除や標準化による失敗を示すのに対し、Morpheus は 100% の可逆性 (decode(encode(w)) = w) を達成した。
• 形態論的整合性: MorphScore ベンチマーク (UD Turkish-Kenet) において、Morpheus は macro-F1 0.61 を達成した。これはサブワード・トークナイザー（~0.32）の約2倍であり、ルールベースの TurkishTokenizer (0.65) に匹敵するが、デコード時の情報の欠落という問題はない。
• 効率性と品質: 可逆的なトークナイザーの中で、Morpheus は最も低い Bits-Per-Character (BPC) である 1.425 (BPE の 1.436 に対比) を記録した。また、生成時において 64K 語彙のサブワード・トークナイザーよりも約 19% 少ないピーク GPU メモリ を使用する。
• 繁殖性 (Fertility): サブワード・トークナイザー（~1.5）と比較して、Morpers は高い単語あたりのトークン比率 (1.73) を持つ。これは形態素レベルの粒度を得るためのトレードオフである。

埋め込み性能

凍結されたベクトルを用いた BERTurk および BGE-M3 との比較評価：

• 語彙的/語根タスク: Morpheus は、語根ファミリーの検索 (MAP 0.85 vs BGE-M3 の 0.80) および同一語根の検証 (ROC-AUC 1.00 vs BGE-M3 の 0.98) において決定的なリードを見せた。語根中心の幾何学的構造が、屈折語を効果的にクラスタリングしている。
• 文脈的/屈折タスク: 文脈や微細な屈折の区別を必要とするタスク（例：NER、数/格のプロービング）においては、より重厚な文脈エンコーダー（BERTurk, BGE-M3）の方が優れており、Morpheus はそれらに及ばない。

5. 意義と主張

本論文は、可逆性 が生成モデル向けのトークナイザーにとって決定的なゲート（選別基準）であると主張している。非可逆なトークナイザーを排除することで、Morpheus はトルコ語 NLP において、最小の BPC、最高の形態論的整合性、および最小のメモリフットプリントを同時に提供する優れた選択肢として浮上する。

著者らは、Morpheus を文脈エンコーダーの代替品としてではなく、補完的な形態論認識型レキシカル・エンコーダー として位置付けている。その語根中心の埋め込みは、マルチベクトル RAG システムにおける語彙検索、重複排除、キーワードマッチングに理想的であり、文脈エンコーダーは文レベルのセマンティクスを処理する。

本研究は、単一のニューラルメカニズムが、トークン化と表現の間の溝を埋めることに成功し、膠着語向けに現在利用可能な、断片的で情報の欠落がある、あるいは形態論に盲目なツールに対し、「損失がなく、形態論を認識し、埋め込みを生成する」代替手段を提供できることを示している。