RoLegalGEC: ルーマニア語法文法誤り検出・修正のための法域特化型データセットと手法に関する技術的概要

本論文は、ルーマニア語の法域（Legal Domain）における文法誤り検出（GED: Grammatical Error Detection）および文法誤り修正（GEC: Grammatical Error Correction）を目的とした、初の合成平行データセット「RoLegalGEC」の構築と評価について報告しています。法文書における正確性は極めて重要ですが、低リソース言語であるルーマニア語において、法分野に特化した注釈付きデータは不足していました。

以下に、問題定義、手法、主な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

• 法文書の重要性: 法分野では、ニュアンスの微妙な違いや言葉の解釈が結論に直結するため、文法的かつ意味的に正確なテキストが不可欠です。
• データ不足: 英語のような高リソース言語に比べ、ルーマニア語のような低リソース言語、特にニッチな法分野における手動注釈データは極めて不足しています。
• 既存手法の限界: 合成データ生成（Synthetic Generation）は一般的なアプローチですが、ルーマニア語の文法構造を構造的に理解し、現実的な誤りを生成するための体系的なアプローチが法分野では存在しませんでした。
• 研究課題:
  1. 法分野特有のルーマニア語誤りに対する Few-shot プロンプティングの利点と欠点。
  2. GED（誤り検出）のタグを GEC（誤り修正）の入力に追加すること（GEC-D タスク）がモデル性能に与える影響。
  3. モデルのサイズと事前学習言語（ルーマニア語単独 vs 多言語）が性能に与える影響。

2. 手法とデータセット構築 (Methodology)

2.1 RoLegalGEC データセット

• 規模: 35 万例の法文書および行政文書の平行データ（誤り文と正解文のペア）。
• ソースコーパス:
  • MARCELL-RO: 1990 年から 2020 年のルーマニア立法文書（公式、形式化された文体）。
  • Europarl: 欧州議会の議事録（ルーマニア語訳、やや非公式だが公式な議論スタイル）。
• 誤り分類体系（Taxonomy）: ルーマニア語の特性を反映し、ERRANT 体系を基に調整した20 種類の誤りタイプを定義しました（例：形容詞の誤用、動詞の一致、語順、綴りなど）。

2.2 合成誤り生成手法 (Synthetic Error Generation)

4 つの異なる手法を組み合わせて、現実的な誤りを生成しました。

1. ノイズ注入 (Noise Injection): 文字レベルおよび単語レベルでの置換、削除、挿入、保持を確率的に行う（DirectNoise アルゴリズムの拡張）。スペルミスや語順誤りなどに使用。
2. 混同リストに基づく統計的生成 (Confusion Lists): 接続詞、限定詞、前置詞、代名詞などの機能語のリストを作成し、確率的に置換する手法。
3. ゼロショット LLM 生成: GPT-4o などの大規模言語モデル（LLM）に、特定の誤りタイプ（例：所有格の不一致）を注入するよう指示する。
4. 2-shot LLM 生成: 一般的なルーマニア語の誤り例を 2 つ提示し、LLM に法文書に対して同様の誤りを生成させる手法。これにより、より自然で文脈に即した誤りを生成。

2.3 評価モデルとタスク

• GED (誤り検出): トークン分類タスクとしてモデルを評価。
  • DistilBERT 系: mDistilBERT（多言語）、RoDistilBERT（ルーマニア語特化）。
  • Sequence Tagging: RoBERTa ベースのシーケンスタグガー（SeqTag-base, SeqTag-large）。
• GEC (誤り修正): 生成タスクとしてモデルを評価。
  • BART 系: RoBART, mBART。
  • T5 系: RoT5, mT5。
• GEC-D (検出ベースの修正): GED で得られた誤りタグを、修正モデルの入力として追加するタスク。

3. 主な貢献 (Key Contributions)

1. RoLegalGEC データセットの公開: 法分野におけるルーマニア語初の合成平行データセット（35 万例）と、20 種類の誤り分類体系。
2. 合成生成手法の確立: 統計的ルール、混同リスト、LLM プロンプティング（ゼロショット・2-shot）を組み合わせた、現実的な誤り生成パイプラインの提案。
3. 包括的なモデル評価: 法文書における GED/GEC 性能を、モデルサイズ、事前学習言語、デコーディング戦略（Beam Search vs Top-p）、および GEC-D タスクの有無の観点から詳細に分析。

4. 実験結果 (Results)

4.1 誤り検出 (GED)

• ベストモデル: mDistilBERT（多言語事前学習モデル）が全体として最高性能（F0.5 スコア 0.81）を記録しました。
• 言語の影響: 多言語モデルは、形態論、句読点、語順など言語に依存しない誤りの検出で優れていましたが、ルーマニア語特化モデル（RoDistilBERT）は特定の品詞誤りにおいて安定していました。
• モデルサイズ: SeqTag-large（大規模版）は、SeqTag-base よりも頻度の低い重要な誤り（名詞の性・数など）の検出能力が向上しました。

4.2 誤り修正 (GEC)

• ベストモデル: RoT5-base（ルーマニア語特化）に Beam Search を適用した構成が、GEC-D タスク（タグ付与入力）において最高性能を示しました。
• GEC-D の効果: 誤りタグを入力に含めることで、高性能なモデル（T5 + Beam Search）の性能は向上しましたが、低性能なモデル（BART + Top-p）では逆に性能が低下する傾向が見られました。
• モデルサイズの影響:
  • T5: 大規模版（RoT5-large）は性能が向上または維持されました。
  • BART: 大規模版（RoBART-large）は、ベース版よりも性能が低下する傾向があり、過学習や不安定さが示唆されました。

4.3 事前学習言語の影響

• 多言語モデル: 精度（Precision）が高く、誤って正しいテキストを修正する（False Positive）傾向が少なかったが、既存の誤りを修正する能力（Recall）はルーマニア語特化モデルに劣る場合がありました。
• ルーマニア語特化モデル: 安定性が高く、法文書のようなドメイン特化タスクにおいては、多言語モデルよりも「安全で効率的な」解決策となりました。

5. 意義と結論 (Significance & Conclusion)

• リソースの拡大: ルーマニア語の法分野 NLP 研究において、大規模なトレーニングデータと評価基準を提供し、研究基盤を強化しました。
• 手法の示唆:
  • 法文書の修正には、文脈を深く理解できる T5 型アーキテクチャと Beam Search の組み合わせが有効です。
  • GED タグを修正タスクに活用する（GEC-D）ことは、モデルの能力次第で性能を劇的に向上させるか、あるいは低下させる要因となり得ます。
  • 低リソース言語の法分野タスクでは、多言語モデルの汎用性よりも、ドメイン言語（ルーマニア語）に特化した事前学習モデルの方が、安定性と実用性の面で優位である可能性が高いことが示されました。
• 将来展望: 生成プロセスの効率化、LiRo ベンチマークへの統合、およびより広範なルーマニア語 NLP 研究への貢献が期待されます。

本論文は、単にデータセットを公開するだけでなく、低リソース言語における法文書処理のための最適なモデル設計と学習戦略に関する重要な知見を提供しています。