Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

技術サマリー：ウクライナ語法文における基盤モデルのトークナイザの肥沃度とゼロショット性能

問題定義
基盤モデルは、ウクライナ語法文の処理において英語と比較して効率と性能に大きな格差を示す。キリル文字を使用し形態論的に豊かな言語であるウクライナ語は、しばしば最適化されていないトークナイザに悩まされ、トークン数の膨張、推論コストの上昇、実効コンテキストウィンドウの縮小を招く。一般領域の評価は存在するが、ウクライナ語領域内の特定のハイスケールな法的タスクにおいて、異なる基盤モデルがどのように性能を発揮するかに関する体系的な比較は欠如している。法テックプラットフォームを構築する実務家は、モデルのサイズ（パラメータ数）が非英語のドメイン固有タスクにおける性能と相関しない可能性があるため、モデル選定において不確実性に直面している。

手法
本研究は「LEX AI テストトレーニングプログラム」の「実験 A」として位置づけられ、AWS Bedrock を通じてアクセス可能な 5 社（Meta、Mistral AI、NVIDIA、Amazon、Qwen）から提供される 7 つの基盤モデルを評価した。評価には、ウクライナの統一国家裁判所判決登録簿（EDRSR）から抽出された 300 件の実在する裁判判決コーパスを使用し、民事、刑事、商事、行政の各管轄に層化された。3 情報源（正規表現パーサ、Claude Sonnet 4.5、NVIDIA Nemotron Super 3）による多数決を用いた厳格なラベル検証の後、最終指標算出には検証済みの 273 件の文書が使用された。

評価は以下の 3 つの主要な次元を測定した：

1. トークナイザの肥沃度：6,000 文字の文書サンプルにおける、サブワードトークン数と空白区切り単語数の比率。
2. タスク性能：3 つのタスクにおけるゼロショットおよびフューショット性能：
   • 事件類型分類：4 クラスの管轄分類。
   • 判決結果分類：5 クラスの事件処理結果（例：認容、却下）の予測。
   • 法規範抽出：引用された法律および条文の構造化された JSON 抽出。
3. コスト分析：推論中に発生した総 API コスト。これにはプロンプト感度と事例分布に関するアブレーション研究が含まれる。

主な貢献

1. トークナイザ肥沃度のベンチマーク：本論文は、モデル間でトークナイザ効率に 1.6 倍のばらつきがあることを定量化した。トークナイザの設計はモデル規模とは独立した語彙レベルの選択であり、ウクライナ語テキストにおいて Llama ファミリーモデルは Qwen モデルよりも著しく効率的であることを示している。
2. 性能と規模の脱結合：本研究は、総パラメータ数がウクライナ語法文タスクの性能の悪い予測因子であるという実証的証拠を提供する。120B パラメータモデル（Nemotron Super 3）は、675B パラメータモデル（Mistral Large 3）よりも、コストの断片で全てのタスクにおいて上回った。
3. フューショット劣化効果：本研究は、ウクライナ語法文分類タスクにおいてフューショットプロンプティングが性能を低下させるという直感に反する現象を記録している。いくつかのモデルにおいて、事例の提供は精度を最大 26 パーセントポイント低下させた。アブレーション研究により、これは事例選択やプロンプト構成のアーティファクトではなく、ウクライナ語の提示における形態論的複雑さに固有のものであることが確認された。
4. コスト性能の最適化：著者は、品質とコストの両方を最適化する複合ランキングと提案されたマルチモデルルーティングアーキテクチャを提供し、法的手順内の異なるサブタスクには異なるモデルを配備すべきであることを示唆している。

主要な結果

• トークナイザ効率：Llama 4 Maverick が最高効率（2.43 トークン/単語）を達成した一方、Qwen3 モデルは最低効率（3.90 トークン/単語）であり、同一入力に対して 60% 多いトークンを消費した。
• モデル性能：
  • NVIDIA Nemotron Super 3 は、最高複合スコア（83.1）および判決結果分類における最高ゼロショット精度（96.0%）を達成し、実効パラメータ数が著しく少ないにもかかわらず、Mistral Large 3（総パラメータ数 675B）を上回った。
  • Llama 4 Maverick は、最低コスト（実験全体で 0.81 ドル）で事件類型分類において最高（98.9%）とタイ記録を達成した。
  • Llama 3.3 70B は法規範抽出において最善の性能（F1 = 0.604）を示し、密なアーキテクチャが構造化抽出タスクに優れている可能性を示唆した。
• フューショットの影響：フューショットプロンプティングは、21 のモデル - タスク組み合わせのうち 12 件で性能劣化をもたらした。最も深刻な低下は、判決結果分類における Qwen3 235B で観察され（-26.0 パーセントポイント）、層化アブレーションにより分布一致の事例であっても性能向上に寄与しなかったことが確認され、形態論的干渉の仮説を支持した。
• コスト効率：ルーティングされたアンサンブル（分類には Llama 4 Maverick、結果には Nemotron、抽出には Llama 3.3 を使用）は、Nemotron 単独を使用する場合と比較して、37% 低いコストでより高い複合スコア（85.1）を達成した。

意義と主張
本論文は、ウクライナ語のような形態論的に豊かでキリル文字を使用する言語に基盤モデルを配備する実務家にとって、「モデルが大きいほど良い」や「フューショットは常に優れている」といった標準的なヒューリスティックは無効であると主張する。著者は以下を主張する：

1. モデル選定に先行してトークナイザ分析を行う必要がある。これにより、不必要なコストの膨張とコンテキストウィンドウの縮小を防ぐことができる。
2. ゼロショットプロンプティングはウクライナ語法文タスクのデフォルトの基準とすべきである。言語の形態論的豊かさにより、フューショットの事例はモデル性能に能動的に干渉する可能性があるためである。
3. モデル選定はタスク固有であるべきである。単一のモデルが全ての法 NLP タスクを支配するわけではない。単純な分類には安価で効率的なモデルを、複雑な推論にはより能力の高いモデルを使用するなど、異なるモデルの特定の強みを活用するルーティング戦略が、品質とコストの最適なバランスを提供する。
4. 包括的で言語固有のベンチマーキングは実現可能かつ手頃であり、この広範な評価（アブレーションを含む）の総コストは約 60 ドルであった。

本研究は、英語中心のベンチマークとパラメータ数が非英語法領域における性能の十分な代理指標ではないと結論付け、コミュニティに対して、配備前にドメイン固有かつ言語を考慮した評価を優先するよう促している。