技術的概要：ADVISOR モデルによるブラックボックス LLM の制御

問題定義

GPT-5 や Claude 4.5 などの最先端大規模言語モデル（LLM）は、モデル重みがアクセス不可能なブラックボックス API サービスとしてますます展開されています。このアーキテクチャは、従来のファインチューニングを不可能にします。静的なプロンプト最適化（すべてのインスタンスに対して単一の固定プロンプトを見つけることなど）は回避策を提供しますが、多様な入力への適応が失敗し、コンテキスト長の制限に制約され、深い専門化（複雑なルール遵守、低リソース言語など）や動的なパーソナライゼーション（多様なユーザーの好みなど）を効果的に処理できません。プロンプトを修正する軽量モデルのトレーニングに関する既存の方法は、しばしば専門家ラベラーに依存し、問題クラス全体に対して静的な出力を生成するか、解釈不可能なソフトプロンプトを利用します。重みへのアクセスなしにブラックボックスモデルをパラメトリックに最適化し、堅牢性を維持しながらパフォーマンスを向上させるインスタンス固有のガイダンスを生成できる手法が、緊急に必要とされています。

手法：ADVISOR モデル

本論文は、動的でインスタンスごとの自然言語による助言を生成する軽量かつオープンウェイトの「アドバイザー」モデルをトレーニングするフレームワークであるADVISOR モデルを導入します。この助言は、凍結されたブラックボックスの「学生」モデルのコンテキストに注入され、その振る舞いを制御します。

コアアーキテクチャ

1. パイプライン: アドバイザーはユーザー入力とブラックボックスの学生モデルの間に位置します。タスクプロンプト（およびオプションで、初期の学生モデルの試行または環境観察）を受け取り、具体的なガイダンスを生成します。
2. 強化学習（RL）によるトレーニング: システムはプロンプトエンジニアリングを RL 問題として扱います。
   • アドバイザーは候補となる助言をサンプリングします。
   • ブラックボックスの学生モデルは、この助言を条件として出力を生成します。
   • 最終的な出力に基づいてタスク固有の報酬が計算されます（正解性、効率性、好みの整合性など）。
   • アドバイザーは、これらの観測された報酬のみに基づいて**グループ相対方策最適化（GRPO）**を用いて更新されます。ブラックボックスモデルからの勾配は不要です。
3. 設計バリアント:
   • 2 ステップ: アドバイザーが入力プロンプトに基づいて助言を生成し、学生が最終応答を生成します。
   • 3 ステップ: 学生が初期の試行を生成し、アドバイザーが検証/修正の助言を提供し、学生が修正された応答を生成します。このバリアントは、アドバイザーの役割を検証者に簡素化し、税務ルール遵守のような複雑なタスクにおいて効果的であることが証明されています。
   • マルチターン: エージェントタスク（ソフトウェアエンジニアリングなど）の場合、アドバイザーは複数のターンにわたって学生モデルの行動と環境観察に基づいて反復的な助言を提供できます。

主要なメカニズム

• パラメトリック最適化: 静的なプロンプトとは異なり、アドバイザーは各インスタンスに対してカスタム助言を生成する方策を学習します。
• 転移性: アドバイザーは低コストの学生モデル（例：GPT-4o mini、Gemini 2.5 Flash）でトレーニングされ、再トレーニングなしに最先端モデル（例：GPT-5、Gemini 3 Pro）の改善に転移できます。
• 堅牢性: ブラックボックスモデルの重みは変更されないため、システムは破滅的な忘却を回避し、トレーニングされていないタスクでのパフォーマンスを維持します。

主要な貢献

1. 新規パラダイム: 凍結されたブラックボックスモデルを動的に制御するトレーニング可能な方策（アドバイザー）の導入により、プロンプティングを静的な探索問題から「助言の学習」問題へと再定義しました。
2. パフォーマンスの向上: ADVISOR モデルが、専門的な推論やパーソナライゼーションタスクにおいて、静的なプロンプト最適化器（GEPA や Profile-Augmented Generation など）を大幅に上回ることを実証しました。
3. 転移性とコスト効率: 安価なモデルでトレーニングされたアドバイザーが、最先端モデルに大幅な改善を転移できることを証明し、トレーニング中に高価な API と直接対話することなく、費用対効果の高い最適化を可能にしました。
4. 堅牢性: トレーニングされていないベンチマークにおける一般的なパフォーマンスを低下させることなく、特定の能力を向上させることを実証的に検証しました。

実験結果

専門的な推論

著者は、最先端モデルが特定のドメイン知識を欠く 3 つの領域で ADVISOR モデルを評価しました。

• RuleArena（税務）: GPT-4.1 mini でトレーニングされたアドバイザーは、GPT-5.2 の税務申告の精度を67.2% から 85.6%（+27.4%）に向上させました。静的な最適化器は、単独のベースラインに匹敵する結果を出すことができませんでした。
• SWE エージェントの効率性: 学生として Gemini 2.5 Flash を使用し、トレーニングされたアドバイザーは、ソフトウェアの問題を解決するために Gemini 3 Pro が取る平均ステップ数を31.7 から 26.3（24.6% の削減）に減少させ、解決率を維持しました。
• MTOB（機械翻訳）: 低リソース言語であるカラム語（Kalamang）の翻訳において、アドバイザーは GPT-4o mini の chrF スコアを 33.1 から45.8に引き上げ、人間専門家のパフォーマンス（51.6）に近づけました。

パーソナライゼーション

隠れたユーザーの好み（レビューの長さ、レビューのレベル、数学の解法など）の学習を必要とするタスクにおいて:

• ADVISOR モデルは、潜在的な好みとほぼ完璧な整合性を達成しました（例：レビューの長さで0.94 の報酬、レビューのレベルで99.6% の精度）。
• 静的な最適化器（GEPA、PAG）や、完全な好みの詳細を提供するコンテキスト内のオラクルプロンプトさえも、このパフォーマンスに匹敵することはできず、しばしばベースラインに対してわずかな改善しか達成できませんでした。
• GPT-4o mini でトレーニングされたアドバイザーは、GPT-5 の出力をパーソナライズするために成功裏に転移されました。

アブレーション研究

• 転移性: あるモデルファミリー（例：GPT）でトレーニングされたアドバイザーは、別のモデル（例：Claude）を成功裏に改善し、生成された助言の解釈可能性を実証しました。
• 堅牢性: パーソナライゼーションタスクでトレーニングされたパイプラインは、最先端モデルに適用された際、無関係な数学ベンチマーク（MATH-500）の精度において低下を示しませんでした。
• 限界: この手法は、最先端モデルがすでに「最大限に引き出されている」領域（標準的な数学問題解決など）では有意な利益を提供せず、アドバイザーは知識のギャップが存在する場所でのみ学習することを確認しました。

意義と主張

本論文は、ADVISOR モデルが、ブラックボックスの最先端モデルをカスタマイズするという増大する課題に対する実用的かつ費用対効果の高い解決策を提供すると主張しています。最適化プロセス（アドバイザーのトレーニング）を推論対象（ブラックボックスの学生）から分離することにより、この手法は以下を可能にします:

• 専門化: スパースな事前トレーニングデータを持つドメイン（特定の税法、低リソース言語など）における能力の向上。
• パーソナライゼーション: 静的なプロンプトでは捉えられない複雑でインスタンス固有のユーザー好みの学習。
• 安全性と安定性: ベースモデルを不変に保つことで、破滅的な忘却などの直接ファインチューニングに関連するリスクを回避すること。

著者は、オープンウェイトモデルに対する直接の強化学習が依然としてパフォーマンスの「ゴールドスタンダード」である一方で、ADVISOR モデルはブラックボックス設定においてこれらの利益の大部分を回復し、API レベルの重みアクセスなしに高度な最適化を可能にすると強調しています。この研究は、「助言の学習」が、最先端 AI システムを特定の進化のニーズに適応させる主要なメカニズムとなる新しいパラダイムを示唆しています。