技術要約：少ショット関係抽出のための2段階プロンプト最適化

問題提起

自動プロンプト最適化（APO）は、エピソード型の少ショット関係抽出（FSRE）において、特に小規模な言語モデル（LLM）を利用する場合、未だ十分に探索されていません。先行研究では、より優れた推論、検索、および例の選択を通じてFSREを改善してきましたが、プロンプト自体は通常、自動的に最適化されるのではなく、手動で設計されています。既存のAPO手法は、概して2つの孤立した方向に分かれています。一つは、自然言語を用いて広範な意味的・論理的な改善を行う推論ベースの最適化であり、もう一つは、損失と勾配信号を用いて特定の高インパクトなトークンやスパンを特定し編集する勾配ベースの最適化です。本論文は、これらの方向性は相補的であるものの、プロンプトが各エピソード内の各関係に対する少数のサポート例と共に機能しなければならないという、困難なエピソード型FSREの設定において、自然言語プロンプト最適化のために体系的に組み合わされてこなかったと主張しています。

手法

著者らは、推論ベースのグローバル探索と勾配ガイドによるローカル精緻化を統合した2段階フレームワークを提案しています。

第1段階：推論ベースのグローバル探索

第1段階では、推論ベースの最適化器を用いて、自然言語によるプロンプトの広範な改善を行います。著者らは、この段階で3つの異なる最適化器を評価しています。

• RPO (Reasoning-based Prompt Optimization): プロンプトの集団を維持する反復的な探索手法です。トレーニング例をサンプリングし、成功と失敗に関するフィードバックを収集し、このフィードバックに基づいて修正されたプロンプトを生成するために最適化モデルを使用します。
• EvoPrompt-DE: プロンプトの集団を維持し、遺伝的アルゴリズム（具体的には差分進化変種）を用いて既存のプロンプトを組み合わせることで新しい候補を生成する進化アルゴリズムです。
• ETGPO (Error Taxonomy-Guided Prompt Optimization): 大規模なサンプルから失敗を集約し、それらをエラー・タクソノミー（誤り分類）に要約し、最も一般的なエラーカテゴリに基づいて単一のステップで修正されたプロンプトを生成する、フィードバック駆動型の手法です。

第2段階：勾配ガイドによるローカル精緻化 (GradPO)

第2段階では、第1段階の出力を精緻化するために設計された、新しい勾配ガイド型最適化器であるGradPOを導入します。1つのトークンずつ編集する手法とは異なり、GradPOは複数の高インパクトなスパンを同時に特定し編集します。

• スパンの特定: GradPOは、トレーニング・サブセットに対する損失に基づき、トークンレベルの勾配を計算します。近接する高勾配トークンを編集可能なスパンとしてグループ化し、隣接するトークンが勾配閾値を下回るまで拡張します。
• 候補の生成: 選択された各スパンに対して、GradPOは候補となる置換案を生成します。これは、LLMプロンプティング（GradPO-Gen）またはターゲットモデルのトークン確率に基づくトークンの選択（GradPO-Prob）によって行われます。
• ビームサーチ: 自然言語の構造を維持しながら複数のスパン編集を扱うために、GradPOはビームサーチを使用します。現在のプロンプトのビームに対して候補となる置換を反復的に適用し、タスク損失とパープレキシティに基づく流暢性ペナルティを組み合わせた目的関数を用いてスコアリングします。
• 制約: この手法は、候補生成のために別途最適化モデルを使用せず、ターゲットモデルのみに依存し、プロセスを軽量に保つためにこれらのステップにおける推論を無効にします。

主な貢献

1. 2段階フレームワーク: 自然言語プロンプト最適化のための、推論ベースのグローバル探索と勾配ベースのローカル精緻化を組み合わせた最初の体系的な研究を提示しています。
2. GradPO: 単一のトークンではなく、複数の高インパクトなスパンを編集することで、プロンプトの構造を維持しながらより豊かなローカル探索空間を可能にする、勾配ガイド型のリファイナー（精緻化器）を導入しました。
3. 実証的検証: 広範な実験により、GradPOが様々な推論ベースの最適化器（RPO、EvoPrompt、ETGPO）によって生成されたプロンプトを一貫して改善し、最も堅牢な第2段階のリファイナーとして機能することを証明しました。

結果

実験は、ターゲットモデルとしてQwen3-4BおよびGemma3-4Bを用い、FS-TACREDおよびFS-FewRelに対して行われました。

• 性能向上: 2段階フレームワークは、Qwen3-4Bを用いたFS-TACREDにおいてSOTA（最高水準）の性能を達成し、F1スコアを従来の最高値の27.6から29.0へと向上させました。FS-FewRelにおいても、従来手法と同等の競争力のある結果を示しています。
• 相補性: 結果は、ローカル精緻化がグローバル探索の後に非常に効果的であることを示しています。19の実験ケースのうち、17のケースで少なくとも一つの第2段階の手法によって改善されました。GradPOは最も一貫したリファイナーであり、19のプロンプトのうち14個を改善しました。
• 安定性: 推論ベースの最適化は反復によって不安定になることがありますが、第1段階の後の単一ステップのGradPO精緻化は、ほとんどのケースで安定した改善を提供します。
• 効率性: GradPOは、GreaTerのような単一トークン・ベースラインと比較して、はるかに豊かなローカル編集空間を探索しながらも、わずかな追加計算コスト（最大の構成設定において、dev-set評価コストの約10.3%）しか発生しません。
• モデル固有性: 本論文は、GradPOによる編集が主にモデル固有であることを指摘しています。最適化されたプロンプトのクロスモデル転送による利得は限定的であり、これは精緻化がターゲットモデルの特定の損失および勾配信号に依存するためです。

意義と主張

本論文は、グローバルな推論ベースの探索とローカルな勾配ベースの精緻化を組み合わせることが、エピソード型FSREにおけるプロンプト最適化の有効な方向性であることを主張しています。著者らは、本フレームワークがタスク固有のファインチューニングを必要とせず、小規模なLLM（4Bパラメータ）を利用しているため、アクセシビリティが高く実用的であることを強調しています。

その意義は、以下の点にあります：

1. グローバル探索によって見出されたプロンプトには、勾配ガイドによる精緻化によって修正可能な、局所的に最適ではない語彙の選択が含まれていることが多いこと。
2. GradPOが、他のベースライン（LPOやGreaTer）よりも優れた、このローカル精緻化のための安定かつ一貫したメカニズムを提供すること。
3. プロンプトの長さを増やすことなく、指示の自然言語構造を維持したまま、新たな性能ベンチマークを達成していること。

著者らは、ハイパーパラメータへの依存性、すべてのプロンプトに対して改善が保証されているわけではないこと、および現在の焦点が非推論タスクと小規模モデルにあることなどの限界を認めています。彼らは、将来の研究として、このフレームワークを推論ベースのタスクや大規模なLLMへ拡張できる可能性を示唆しています。