技術概要：LILO：自然言語フィードバックを用いたベイズ最適化

1. 問題定義

本論文は、真の目的関数が直接測定可能なスカラー値ではなく、意思決定者（DM）の複雑で主観的な選好である、評価に高コストを要するブラックボックス関数の最適化という課題に取り組む。多くの実世界シナリオにおいて、結果 $y$ を満足度スコアにマッピングする効用関数 $g(y)$ は未知であり、閉形式で表現することが困難である。

従来の選好ベースのベイズ最適化（PBO）手法は、ペアワイズ比較やスカラー評価などの構造化されたフィードバックに依存している。しかし、これらの形式はしばしば制限的であり、意思決定者が自然言語で自然に表現する高レベルの目標、トレードオフ、定性的な制約を捉えきれていない。一方で、大規模言語モデル（LLM）をエンドツーエンドの最適化器として使用する場合、較正された不確実性や原理的な探索と活用のトレードオフが欠如しており、結果としてサンプル効率が悪化する傾向がある。

本研究の目的は、DM からの自由形式の自然言語フィードバックを活用して探索を導くことで、以下の合成最適化問題を解決することである：
$$x^* := \arg \max_{x \in X} g(f(x))$$
ここで、$f: X \to Y$ はブラックボックスシステム、$g: Y \to \mathbb{R}$ は潜在効用関数である。

2. 手法：LILO フレームワーク

著者らは、LLM の表現力とガウス過程（GP）ベースのベイズ最適化の信頼性を統合したハイブリッドフレームワークである**Language-in-the-Loop Optimization（LILO）**を提案する。LILO は、最適化器そのものではなく、フィードバック解釈のための支援エージェントとして LLM を位置づける。

中核的なワークフロー

最適化は、それぞれ 3 つの段階からなる $T$ 回の逐次試行として進行する。

1. 候補生成と実験：

   • 候補入力 $\{x_i\}$ のバッチが選択される。
   • 最初の試行（$n=1$）では、候補は均一にサンプリングされるか、事前知識が提供されている場合は LLM のプロンプトによって生成される。
   • 後続の試行では、現在の GP プロキシモデル $M_{n-1}$ に基づき、バッチ取得関数（例：Log Noisy Expected Improvement）が候補を選択する。
   • ブラックボックス関数 $f$ が評価され、観測可能な結果 $y_i = f(x_i)$ が生成される。

2. フィードバック取得：

   • LILO エージェントは、蓄積された実験データと過去のフィードバックに基づき、DM に対する質問のバッチ（$B_{pf}$）を生成する。
   • DM は自由形式の自然言語による回答（$a_j$）を提供する。
   • このフィードバックは、選好フィードバックデータセット $D_{pf}$ に保存される。

3. LLM ラベリングと GP モデルリングによる効用推定：

   • ラベリング： LLM は解釈者として機能し、蓄積された自然言語フィードバックを、観測された結果間の構造化されたペアワイズ選好ラベルに変換する。結果のペア $(y, y')$ が与えられた場合、LLM は DM のテキストフィードバックに基づき、どちらが選好されるかを判断する。
   • 予算管理： LLM のコストを管理するため、ラベリングは予算 $K$ の下で行われる。論文では、ランダムサンプリングではなく、最も情報量の多いペアを選択するためにqEUBO（Best Option の期待効用）取得関数を用いた逐次戦略を提案する。
   • モデルリング： ラベル付けされたペアワイズ選好は、入力空間 $X$ 上の**ペアワイズガウス過程（GP）**代理モデル $M_n$ を適合させるために使用される。このモデルは合成効用 $u(x) = g(f(x))$ を近似する。
   • GP モデルは較正された不確実性を持つ効用に関する事後分布を提供し、これが次の候補選択ラウンドを駆動する。

事前知識の組み込み

LILO は、テキストベースの事前知識（$P_{prior}$）を組み込むことで「ウォームスタート」をサポートする。ランダムな初期化の代わりに、LLM に DM のドメイン専門知識（例：「これらの範囲内の入力は良い結果をもたらすはずである」）に基づいて初期候補点を生成させるようプロンプトし、LLM の事前学習済みドメイン知識を活用する。

3. 主要な貢献

本論文は、以下の 5 つの主要な貢献を概説している。

1. LILO フレームワーク： 自由形式の自然言語を通じて効用情報を引き出す新しい BO フレームワークであり、標準的なペアワイズまたはスカラーフィードバックよりも表現力に優れたインターフェースを提供する。
2. 効用推定メカニズム： LLM ベースの選好ラベリングと GP モデルリングを組み合わせるスケーラブルなアプローチであり、ノイズの多い間接フィードバック下で較正された不確実性と原理的な探索を可能にする。
3. 性能の優位性： 合成および実世界のベンチマークにおいて、LILO が従来の PBO ベースライン（定量的フィードバックに依存）および LLM のみの最適化器を上回ることを示す実証的証拠。
4. 事前知識の統合： テキストベースの事前知識を組み込んで最適化をウォームスタートさせる手法であり、初期段階の性能を大幅に向上させる。
5. 非構造化結果との互換性： 明示的な代理モデルを結果空間 $Y$ 上に必要とせず、代わりに結果を解釈する LLM の能力に依存することで、高次元の非構造化結果（例：テキスト要約）を最適化できることを実証。

4. 実験結果

著者らは、合成多目的関数（DTLZ2）、車両安全性シミュレーター、車内デザイン、熱快適性モデル、ニューラルアーキテクチャ検索（NAS-Bench-201）を含む 10 の環境で LILO を評価した。また、非構造化テキスト結果を伴うテキスト要約タスクもテストした。

主要な知見

• サンプル効率： LILO は、特に最適化の初期段階において、ベースラインを一貫して上回る。フィードバックが制限された領域では、DM からの単一の自然言語メッセージが、最適化の進捗という点で、約 8〜16 回のペアワイズ比較またはスカラー評価に相当することが判明した。
• ベースラインとの比較：
  • LLM のみとの比較： LLM のみの手法（直接または 2 ステップ）は、反復が増えるにつれてしばしば頭打ちとなり、BO の収束保証が欠如しているため、意味のある改善が見られない。
  • 定量的 BO との比較： LILO は、初期試行において「真の効用 BO」および「選好 BO」（真のスカラーまたはペアワイズラベルを使用）を上回る。利点は試行数が増えるにつれて減少するが、自然言語の情報密度は大きな先行利益をもたらす。
• ペアワイズ対スカラーラベリング： 研究では、直接のスカラー効用値をプロンプトするよりも、LLM にペアワイズ比較をプロンプトする方が、より信頼性の高い効用推定と優れた最適化の進捗をもたらすことが判明した。
• 事前知識： LLM による初期化を通じてドメイン事前知識を組み込むことは、開始点と全体の性能を大幅に向上させた。
• 非構造化結果： テキスト要約ベンチマークにおいて、LILO は自然言語フィードバックを用いてデコードパラメータの最適化に成功し、最大オラクルフィードバックを持つベースラインの性能と同等の結果を達成した。

5. 意義と主張

本論文は、LILO が複雑で主観的な目的を持つ問題に対するベイズ最適化の実用化において重要な前進であると主張する。LLM を支援的な役割に配置し、豊かで非構造化された言語を構造化された選好信号に変換することで、このフレームワークは従来の BO のサンプル効率、安定性、および較正された不確実性を維持しつつ、柔軟で情報密度の高いフィードバックチャネルを提供する。

著者らは、LILO が明示的な目的が利用できない、または形式化が困難な、複雑な多メトリックトレードオフを伴う実世界の設定（例：オンライン実験、設計最適化）に特に適していることを強調している。また、LILO はフィードバック制限された領域で優れているが、非常に長い時間軸では定量的ベースラインに対する性能が収束する可能性があることを認めており、今後の研究では非構造化言語と構造化された定量的フィードバックを組み合わせたハイブリッドアプローチを探求できるかもしれないとしている。

結果の再現に用いるコードは https://github.com/facebookresearch/lilo で公開されている。