技術要約：DECRIMによるLLMの自己修正

問題提起

大規模言語モデル（LLM）は、指示に従う能力において目覚ましい能力を示しているが、最近の研究では、複数の制約（例：特定のトーン、長さ、および「ハッシュタグ禁止」のような否定的な制約）を含む指示に対して、著しく苦戦することが示されている。これらの能力を評価するための既存のベンチマークは、主に合成データに依存しており、それが現実世界のユーザーリクエストが持つ複雑さ、ニュアンス、および人工的な難しさを捉えきれていない可能性がある。さらに、現在の自己修正アプローチは、制約の独立性を前提としているか、あるいは特定の制約タイプに焦点を当てていることが多く、オープンエンドで多重制約のあるシナリオへの適用性が限られている。また、これらの複雑な指示に対する信頼性が高く、コスト効率の高い評価手法にもギャップが存在する。なぜなら、オープンエンドなタスクに対してルールベースの評価を行うことは、しばしば実行不可能だからである。

メソドロジー

1. REALINSTRUCT ベンチマーク

合成データへの依存に対処するため、著者らは、現実世界の多重制約指示を評価するために設計された初のベンチマークであるREALINSTRUCTを導入する。

• データソース: AIアシスタントへの実際のユーザークエリ（ShareGPTから取得）に由来し、制約を含む英語の指示のみを保持するようにフィルタリングされている。
• 構造: 各指示は、タスク（主要な目的）、コンテキスト、および粒度の細かい制約のリストへと分解される。
• 規模: テストセットは302個の指示と1,055個の制約を含み、検証セットは842個の指示と2,500個の制約を含んでいる。
• 評価プロトコル: データのオープンエンドな性質 due to、このベンチマークはLLM-as-a-Judge（判定器としてのLLM）アプローチを採用している。制約は個別に評価され、結果は指示レベルの正確度メトリクスへと集計される。

2. LLM-as-a-Judge による検証

著者らは、制約充足を評価する際のLLMの信頼性を調査し、プロプライエタリなモデル（GPT-4, GPT-4-Turbo, GPT-3.5-Turbo）およびオープンソースモデル（Mistral, Vicuna, Zephyr）を人間によるアノテーションと比較した。

• EvalJudge データセット: 人間によって検証されたグラウンドトゥルースのラベルを持つ、1,000個の指示・制約・レスポンスのトリプルからなるテストセット。
• 戦略: In-Context Learning (ICL) を伴う Chain-of-Thought (CoT) プロンプティングや、オープンソースモデルに対する弱教師ありファインチューニングを含む、様々な適応戦略がテストされた。
• 知見: CoT プロンプティングを用いた GPT-4-Turbo が、最もコスト効率が高く信頼できる評価者として浮上し、満たされていない制約の検出においてオープンソースモデルを大幅に上回った。

3. DECRIM パイプライン（分解、批判、および洗練）

オープンソースモデルとプロプライエタリモデルの間の性能差を埋めるため、著者らは System 2 アプローチに基づく自己修正パイプラインである DECRIM を提案する。これは制約の独立性に関する仮定を置かずに動作し、以下の4つの反復ステップで構成される。

1. 初期レスポンス: LLMが元の指示に対するレスポンスを生成する。
2. 分解 (Decompose): 分解モデルが元の指示を、従うべき粒度の細かい制約のリストへと分解する。
3. 批判 (Critique): 批判モデルが各制約に対してレスポンスを評価する。すべての制約が満たされている場合は、プロセスが終了する。満たされていない場合は、批判モデルはどの制約が違反されているかを特定する自然言語のフィードバックを提供する。
4. 洗練 (Refine): 基盤となるLLMは、フィードバック、元の指示、および前のレスポンスを使用して、改善された出力を生成する。

このサイクルは、制約が満たされるか、最大反復回数（$N_{max}$）に達するまで繰り返される。

主な貢献

1. REALINSTRUCT: AIアシスタントへの実際のユーザーリクエストで構成される新しいベンチマークであり、合成データセットと比較して、現実世界の多重制約指示への追従に関するより現実的な評価を提供する。
2. DECRIM パイプライン: 指示を分解し、専用の批判モデルを介してレスポンスを批判し、出力を洗練させる自己修正フレームワーク。これは、制約の独立性を仮定せずに動作する、制約付き指示のための初の System 2 アプローチである。
3. LLM-as-a-Judge の体系的分析: 制約充足の判定器としてのオープンソースおよびプロプライエタリなモデルの最初の体系的な評価を行い、GPT-4-Turbo と CoT プロンプティングが、人間によるアノテーションに代わる信頼性が高くコスト効率の良い選択肢であることを特定した。

結果

ベンチマーク性能 (REALINSTRUCT & IFEval)

• ベースラインの限界: プロプライエタリな GPT-4 であっても、REALINSTRUCT において21%以上の指示で少なくとも一つの制約を満たすことに失敗している。オープンソースモデル（例：Mistral 7B）は、一般的に GPT-4 と比較して性能が低いが、GPT-3.5 よりは優れている。
• DECRIM の有効性:
  • 弱いフィードバック: 外部データを使用しない弱教師ありの Mistral を批判モデルとして使用した場合、DECRIM は「Make sure」ベースラインと比較して、REALINSTRUCT で 7.3%、IFEval で 8.0% の指示レベルの性能を向上させた。
  • 強いフィードバック: 強力なフィードバック（Oracle Critic または GPT-4）が提供された場合、DECRIM を用いたオープンソースLLMは、両方のベンチマークにおいて GPT-4 を上回った。具体的には、Oracle Critic を用いた場合、Mistral は REALINSTRUCT で 93.7% の指示正確度（GPT-4 の 78.8% に対比）および IFEval で 80.4%（GPT-4 の 79.3% に対比）を達成した。
• 自己修正の限界: 標準的な自己洗練（モデル自身を批判者として使用する手法）は、最小限の利得しか得られないか、あるいは性能の低下を招いた。これは、外部または明確に区別された批判モデルの必要性を強調している。

評価の信頼性

• GPT-4-Turbo: CoT プロンプティングにより、GPT-4 と比較して評価コストを 57% 削減しつつ、Macro F1 を 7.0%、F1 Negative（違反の検出）を 19.0% 向上させた。
• オープンソースの判定器: 素のオープンソースモデルは信頼できない判定器であり、寛容すぎるかランダムな挙動を示すことが多かった。しかし、GPT-4 の推論プロセスを用いた弱教師ありファインチューニングは、満たされていない制約を検出する能力を大幅に向上させた。

意義と主張

本論文は、最先端のモデルであっても、現実世界の多重制約指示に従うことは依然として大きな課題であり、GPT-4 でさえ頻繁に失敗することを主張している。著者らは、DECRIM パイプラインが、レスポンスの生成と評価・洗練のプロセスを切り離すことで、これに効果的に対処できると断じている。

本研究は以下を実証している：

1. 現実世界のデータは独特である: 合成ベンチマークは、現実のユーザー制約の課題を完全には捉えておらず、REALINSTRUCT のようなベンチマークが必要である。
2. フィードバックの質が極めて重要である: 自己修正の成功は、批判者のフィードバックの質に大きく依存する。オープンソースモデルは自己修正に苦戦するが、高品質な外部フィードバックが提供されれば、プロプライエタリなモデルを上回る性能を発揮できる。
3. System 2 の実現可能性: DECRIM アプローチは、複雑な指示追従のための System 2 手法（分解と反復的な洗練）の有用性を検証しており、堅牢な修正パイプラインを備えれば、オープンソースモデルがプロプライエタリなモデルに対抗できる可能性があることを示唆している。

著者らは、DECRIM は計算オーバーヘッドを導入するものの、特に強力なフィードバックメカニズムが利用可能な場合に、指示追従能力を向上させるための実行可能な道筋を提供すると結論付けている。今後の課題として、パイプラインの構成要素の洗練や、DECRIM を自己一貫性（self-consistency）のような他の System 2 アプローチと統合することが提案されている。