OasisSimp: オープンソースのアジア・英語文簡略化データセットに関する技術的サマリー

本論文は、中リソースおよび低リソース言語における文レベルの簡略化（Sentence Simplification）研究の進展を阻害している「高品質な並列データ（複雑な文と単純な文の対）の不足」という課題に対処するため、OasisSimp という新しいマルチリンガルデータセットを提案し、大規模言語モデル（LLM）を用いた簡略化タスクのベンチマーク評価を行ったものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

文簡略化は、元の意味を保持しつつ言語的複雑さを低減し、テキストの可読性を高めるタスクです。これは、言語学習者、認知障害や読字障害を持つ人々、若年層など、多様な読者にとって不可欠であり、機械翻訳や要約などの下流タスクの前処理としても重要です。

しかし、現在の研究は以下の点で限界があります：

• リソースの偏り: 既存のデータセット（Newsela, WikiLarge など）は英語などの高リソース言語に集中しており、スリランカのシンハラ語、タミル語、タイ語、パシュト語などの低リソース言語や中リソース言語における高品質なデータが極めて不足しています。
• 既存データセットの限界: 一部の言語（タイ、パシュト、タミル）には文簡略化データセットが存在せず、シンハラ語でも限定的なデータしかありません。また、既存のマルチリンガルデータセットは特定のドメイン（医療など）に限定されているか、高リソース言語中心です。
• LLM の汎化能力の不明確さ: 低リソース言語における LLM の文簡略化能力、特にゼロショットやフューショット設定での性能評価が不足しています。

2. 手法とデータ作成 (Methodology & Data Creation)

データセットの構成 (OasisSimp)

OasisSimp は、5 つの言語（英語、シンハラ語、タミル語、タイ語、パシュト語）をカバーする文レベルの簡略化データセットです。

• 言語選択: 言語学的多様性（インド・ヨーロッパ語族、タイ語族、ドラヴィダ語族、イラン語族など）、文字体系、および社会的影響力に基づき選択されました。
• データソース: 言語ごとに異なるソースから収集されました。
  • 英語：カナダの一般紙（The Globe and Mail など）から構造的に複雑な文を抽出。
  • シンハラ語・タミル語：政府文書（SiTa コーパス）から専門用語や長い文を抽出。
  • タイ語：タイのニュースサイト（ThaiSum データセット）から多様なトピックを抽出。
  • パシュト語：Wikipedia から多様なセマンティックカテゴリに基づき抽出。
• アノテーションプロセス:
  • 各言語のネイティブ話者（学士号以上）をアノテーターとして招聘し、専門的なガイドラインに基づき手動で簡略化を行いました。
  • 簡略化の操作としては、「言い換え（難語の置換）」「文分割」「不要な情報の削除」「構文の再編成」などが含まれます。
  • 品質管理のため、構造化されたトレーニング、複数回のラウンド、およびネイティブ専門家によるレビューを実施しました。
• 統計: 合計約 9,500 文の複雑な文に対し、平均して 1 文あたり 3〜5 文の簡略化バリエーションが作成されました（言語によりアノテーターの人数が異なります）。

評価手法

OasisSimp を用いて、8 つのオープンウェイト・マルチリンガル LLM（Aya, Cmd-R, DeepSeek, EuroLLM, Gemma, LLaMA, Mistral, Qwen）の性能を評価しました。

• 設定: ゼロショット（Zero-shot）とフューショット（1-shot, 5-shot）の両方で評価。
• プロンプト: 「与えられた文を簡略化せよ」という指示を使用（Kew et al., 2023 の戦略に準拠）。
• 評価指標:
  • SARI: 追加、保持、削除された単語の質を測定（簡略化タスクの標準指標）。
  • BERTScore: 意味的類似性を測定。
  • （付録では BLEU スコアも報告されていますが、主評価には SARI と BERTScore が使用されています）。

3. 主要な結果 (Results)

実験結果は、言語リソースの量とモデルのトレーニングデータに含まれる言語の有無が性能に大きく影響することを示しました。

• ゼロショット性能の格差:
  • 英語（高リソース）ではモデル間で性能差が小さく、安定した結果が得られました。
  • 低リソース言語（パシュト、タイ、タミル、シンハラ）ではモデル間の性能差が非常に大きく、ゼロショット設定では多くのモデルが失敗するか、極端に低いスコアを示しました。
  • Gemma モデルの卓越性: 評価されたモデルの中で、Gemma（特に Gemma-3-12B-it）がシンハラ、タミル、パシュトにおいて最も高い BERTScore と SARI スコアを達成し、言語間の知識転移と指示追従能力が高いことが示されました。
• フューショットの効果:
  • 1-shot および 5-shot 設定では、すべての言語とモデルでゼロショットに比べて顕著な性能向上が見られました。
  • 例示（インコンテキスト）を与えることで、モデルは簡略化のスタイルや構造をよりよく理解し、意味の保持と簡略化のバランスが取れるようになりました。
• SARI 成分分析:
  • DEL（削除）: どのモデル・言語でも最も高いスコアを示し、モデルは冗長な情報を削除する能力に長けていることがわかりました。
  • KEEP（保持）: フューショットにより向上し、特にゼロショットで弱かった言語（例：タイ語の LLaMA）で改善が見られました。
  • ADD（追加）: 最も低いスコアであり、特に低リソース言語ではモデルが新しい簡易な語彙を生成する能力が不足していることが明らかになりました。

4. 主要な貢献 (Key Contributions)

1. OasisSimp データセットの公開:
   • 英語、シンハラ語、タミル語、タイ語、パシュト語の 5 言語を対象とした、人間が作成した高品質な文簡略化データセットを初めて公開しました。特にタイ、パシュト、タミル語における文簡略化データセットはこれが初です。
2. 包括的なベンチマークの提供:
   • 8 つの主要な LLM に対するゼロショットおよびフューショット評価結果を提供し、低リソース言語における LLM の現状の限界と可能性を定量的に示しました。
3. 研究コミュニティへのインパクト:
   • 低リソース言語における文簡略化研究のための基盤データを提供し、より包括的で公平な NLP システム開発を促進します。

5. 意義と結論 (Significance & Conclusion)

OasisSimp は、文簡略化研究が高リソース言語（特に英語）に偏っている現状を打破するための重要なステップです。

• 社会的意義: 低リソース言語話者、特に識字率が低い層や教育リソースが限られた地域の人々にとって、複雑な情報へのアクセスを容易にします。
• 技術的示唆: 現在の LLM は高リソース言語では高い能力を示しますが、低リソース言語ではゼロショットでは不十分であり、フューショット（例示）が不可欠であることを示しました。また、Gemma のような特定のモデルが低リソース言語において優れた汎化能力を持つ可能性を示唆しています。
• 今後の展望: このデータセットと評価結果は、低リソース言語向けの簡略化モデルの訓練、言語家族間の転移学習の分析、そしてより公平な NLP 技術の開発に向けた基礎となります。

著者らは、OasisSimp が多言語簡略化研究を刺激し、世界中の多様な読者にとって書かれた情報へのアクセスを改善することを期待しています。データセットは GitHub で公開されています。