技術要約：文書レベルのテキスト簡略化における例示誘導型プロンプティング（Example-Guided Prompting）

問題提起

文書レベルのテキスト簡略化は、大規模言語モデル（LLM）にとって重大な課題を提示しています。文レベルの書き換えが局所的な変換に焦点を当てるのに対し、文書レベルの簡略化では、文書全体の談話の整合性、意味の忠実性、および一貫した読みやすさを維持するために、複数の文にわたる協調的な変更を必要とします。プロンプトベースのLLMは、教師あり学習モデルに代わる柔軟でトレーニングを必要としない選択肢を提供しますが、複雑な文書レベルの変換にはしばしば苦戦します。テキストによる指示のみに依存すると、指示だけでは、文書レベルの簡略化に求められる微細な構造的・文体的な変化を導くためのガイダンスとして不十分であるため、簡略化の品質に一貫性がなくなることが頻繁にあります。

RAG（検索拡張生成）のような既存のアプローチは、通常、事実的な知識や外部コンテキストを提供するために検索されたドキュメントを利用します。しかし、文書の簡略化には、追加の事実情報ではなく、「どのように」テキストを変形させるかというガイダンスが必要です。タスク固有のファインチューニングを行うことなく、文書レベルの簡略化に特化した変形パターンを提供するために検索を活用するという点において、ギャップが存在しています。

手法：例示誘導型プロンプティング（EGP）

著者らは、標準的なプロンプトに検索された文書簡略化の例を付加するように設計された推論時フレームワークである、Example-Guided Prompting (EGP) を提案しています。

コアメカニズム

1. 検索（Retrieval）: 複雑な入力文書に対し、並行する簡略化コーパスから、意味的に最も類似した上位$k$個（ここでは$k=3$）の文書簡略化ペアを検索します。この検索には、高密度埋め込み（dense embeddings）とコサイン類似性が利用されます。
2. 拡張（Augmentation）: 検索された例を、対象となる文書およびテキストによる指示とともにプロンプトに組み込みます。
3. 生成（Generation）: LLMはこの強化されたプロンプトを処理し、検索された例を活用することで、類似した文脈で観察される関連する簡略化パターンを特定し適用します。
4. 制約（Constraint）: データリークを防ぐため、評価対象の入力文書は検索プールから明示的に除外されます。

実験設定

• データセット: OneStopEnglishコーパス（Vajjala and Luˇci´c, 2018）、特に高度なレベルから初級レベルへの簡略化設定を使用。
• モデル: 以下の5つの最先端LLMを評価しました：GPT-4o-mini, Claude Haiku 4.5, Gemini 2.0 Flash, Sonar, Llama 3.2。
• ベースライン:
  • Prompt-only: 事前の実験で最も高いSARIスコアを達成した制約ベースのプロンプティング戦略を選択。
  • Supervised/Planning: T5（Raffel et al., 2020）およびプランニングベースのシステムであるPlanSimp（Cripwell et al., 2023）との比較を実施。
• 評価指標:
  • 簡略化の品質: SARI (Xu et al., 2016)
  • 意味の保存: BERTScore (Zhang et al., 2019) および LENS (Maddela et al., 2023)
  • 読みやすさ: Flesch Reading Ease (FRE) および Flesch-Kincaid Grade Level (FKGL)

主要な結果

実験の結果、EGPはほとんどのモデルにおいてPrompt-only生成を一貫して改善し、専門的な教師ありシステムと比較して同等または優れた性能を示すことが実証されました。

• 性能向上: 検索された例を組み込むことで、評価した5つのLLMのうち4つのモデルで簡略化の品質（SARI）が向上しました。
  • Claude Haiku 4.5 は最も顕著な改善を示し、SARIを40.78から44.84に向上させると同時に、意味の保存（BERTScoreおよびLENS）も向上させました。
  • Gemini 2.0 Flash と Sonar も一貫した利得を示しました。
  • GPT-4o-mini は、より小さいながらも一貫した改善を示しました。
  • Llama 3.2 は例外であり、すべての指標において顕著な性能低下が見られました。これは、すべてのLLMが検索された例を効果的に統合できるわけではないことを示唆しています。
• ベースラインとの比較: EGPモデルは一般に、専門的なT5およびPlanSimpシステムと同等またはそれを上回る性能を示しました。
  • Claude Haiku 4.5 + EGP は、PlanSimp (42.02) や T5 (30.0) を上回る最高のSARIスコア (44.84) を達成しました。
  • 意味の保存に関しては、GPT-4o-mini と Claude Haiku 4.5 は、LENSにおいてT5およびPlanSimpの両方を大幅に上回り、プランニングベースのベースラインよりも20ポイント以上高いスコアを記録しました。
• トレードオフ: 読みやすさと意味の保存の間には明確なトレードオフが観察されました。EGPは意味指向の指標（BERTScore, LENS）を一貫して改善しましたが、読みやすさの指標（FKGL, FRE）において最大の利得をもたらすとは限りませんでした。検索された例は、ソース文書の構造や意味により近い「保守的」な簡略化を促し、積極的な読みやすさの低減よりも忠実性を優先する傾向があるようです。

意義と貢献

本論文は主に3つの貢献を行っています。

1. EGPの提案: 文書レベルのテキスト簡略化のための新しい推論時アプローチとして、Example-Guided Promptingを提案すること。従来のRAGが事実的な根拠を提供するのに対し、EGPは変形に関するガイダンスを提供するために検索を利用し、LLMがタスク固有のファインチューニングなしで簡略化パターンを活用できるようにします。
2. 実証的検証: EGPが複数の最先端LLMにおいて、Prompt-only生成を一貫して強化することを実証したこと。結果は、この検索ベースのアプローチが、簡略化タスクに特化した学習データを必要とせずに、代表的な教師あり（T5）およびプランニングベース（PlanSimp）のシステムと同等、あるいはそれ以上の性能を達成できることを示しています。
3. モデル依存性の分析: 例示誘導型プロンプティングの有効性が、基礎となるLLMに強く依存していることを特定したこと。本研究は、検索された例の統合が成功することを保証するものではなく、生成中の文脈情報を利用するモデル固有の能力に依存していることを明らかにしました。この知見は、検索の質だけでは不十分であることを示唆しており、将来の研究における重要な要因として、アーキテクチャや学習特性を指し示しています。

著者らは、検索された例が「変形ガイダンス」を通じてテキスト生成を制御するための効果的なメカニズムとして機能すると結論付けています。この視点は、テキストの簡略化を超えて、事実情報ではなく望ましい変形を例示する他の制御された生成タスクにも適用できる可能性があります。

限界

著者らは以下の限界を認めています。

• データセットの範囲: 実験はOneStopEnglishコーパス（英語の教育ニュース）に限定されており、他のドメイン、言語、またはスタイルへの汎用性は未検証です。
• 評価指標: 自動指標（SARI, BERTScoreなど）への依存は、一貫性、事実的一致性、または読者への適合性に関する人間の判断を完全には捉えきれない可能性があります。
• 検索構成: 本研究では単一の検索構成とコーパスを使用しています。検索戦略、コーパスのサイズ、または類似度測定の変化が結果に影響を与える可能性があります。
• モデルの変動性: Llama 3.2で見られた大幅な性能低下は、この手法がすべてのLLMアーキテクチャに対して普遍的に有効であるわけではないことを示しており、なぜ一部のモデルが例をより良く統合できるのかについてさらなる調査が必要です。