💻 computer science

Relation Reasoning with LLMs in Expensive Optimization

本論文は、高価な最適化問題に対して効率的なゼロショット関係推論を実行するために強化学習された大規模言語モデルを活用する新しい代理支援進化アルゴリズムである R2SAEA を紹介し、これにより従来の代理モデルの再学習オーバーヘッドを克服して最先端の性能を達成する。

原著者： Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で霧に覆われた山脈を、最良のルートで見つけようとしていると想像してください。問題点は、いかなる単一の地点の標高を確認するためにも、丸一日のハイキングが必要だということです（これが論文で「高価な評価」と呼ばれるものです）。限られた日数（厳しい予算）しかないので、あちこちをすべてハイキングすることはできません。

従来、科学者たちは「地図」（数学的モデル）を用いて、低い地点がどこにあるかを推測していました。しかし、これらの地図は厄介です。新しい地域を探検するにつれて、古い地図は役に立たなくなり、ゼロから描き直すために貴重な時間を費やさなければなりません。これが、この論文が解決しようとしているボトルネックです。

以下に、この論文の解決策を簡単な概念に分解して示します。

1. 新しい「地図」：計算機ではなく、賢明な審判

特定の地点の正確な標高を予測しようとする（これは難しく、絶え間ない描き直しを必要とする）代わりに、著者たちは AI にボクシングの試合の審判として振る舞うよう教えました。

旧来の方法： AI はすべての選手の正確なスコアを推測しようとします。
新しい方法（R2SAEA）： AI は 2 人の選手だけを同時に見て、単純な質問に答えます。「選手 A は選手 B より優れていますか？」

これは関係推論と呼ばれます。進化アルゴリズム（探索手法）は、正確な数値ではなく、どの選択肢が他よりも「優れているか」に関心を持つことが多いため、この「審判」アプローチははるかに効率的です。

2. 「アンカー」のトリック：図書館の過負荷を回避

100 人のハイカーがいて、それぞれが他のすべての人とどのように比較されるかを知りたい場合、審判に約 1 万組のペアについて質問することになります。これは AI が一度に処理するには多すぎる質問数です（「メモリ」や文脈が不足してしまいます）。

著者たちは**「アンカー」戦略**を発明しました。

全員を一度に質問する代わりに、1 人のハイカーを**「アンカー」**（基準点）として選びます。
AI に質問します。「ハイカー A はアンカーと比べてどうですか？ハイカー B はアンカーと比べてどうですか？ハイカー C はアンカーと比べてどうですか？」
これをハイカー一人ひとりに対して、順番に行います。
結果： これにより、巨大で混乱した質問の山が、管理しやすい小さなリストの連続へと変わります。まるで、教師にクラス全員を同時に比較するのではなく、一人ひとりの生徒を「クラス平均」と比較して評価させるようなものです。

3. 「投票」システム：意見をスコアに変換

AI がすべてのペアを審判した後、そこには「優れている/劣っている」という意見の山が生まれます。では、最高のハイカーをどう選べばよいのでしょうか？

システムは投票メカニズムを使用します。
AI が「ハイカー X は 90% のアンカーよりも優れている」と言えば、ハイカー X は高いスコアを得ます。
ハイカー X が大多数より劣っている場合、低いスコアになります。
これにより、AI の「意見」が明確なランキングに変換され、探索アルゴリズムは、高価な現実世界でのチェックのためにどのハイカーを送り出すべきかを正確に知ることができます。

4. 審判の訓練：強化学習（「コーチ」）

著者たちは汎用的な AI を使うだけでなく、Qwen2.5 というモデルに基づいた特定の AI を、熟練した審判として訓練しました。

AI が推測を行う様子を見る**「コーチ」**（強化学習）を作成しました。
AI が関係性を正しく推測すれば、コーチは報酬を与えます。間違っていれば、ペナルティを与えます。
時間とともに、AI は汎用的な AI よりもはるかに優れた方法で、解の間の微妙な違いを見極めることを学びました。
魔法： 一度訓練されれば、この AI は毎日再訓練する必要はありません。その場で「思考」（推論）するだけで済みます。これにより、莫大な時間と費用を節約できます。

5. 「ポケットサイズ」の審判：小型デバイスでの実行

通常、強力な AI には巨大で高価なスーパーコンピュータが必要です。しかし、著者たちはモデルを縮小し、その「脳」を圧縮する（量子化と呼ばれるプロセス）ことで、この賢明な審判がハイエンドのラップトップや、ドローンやロボットに使用される専用チップ（エッジデバイス）のような小型で携帯可能なデバイス上で実行できることを示しました。

結論

この論文は、問題を一連の単純な「A 対 B」の比較に変換し、質問を管理可能な状態に保つための巧妙な「アンカー」法を使用し、専門的な AI 審判を訓練することで、従来の手法よりもはるかに少ない高価なテストで困難な問題の最良の解を見つけられると主張しています。

より速い： 毎回地図を描き直す必要がありません。
より安価： AI は小さく、安価なハードウェアで実行できます。
より効果的： 試験において、この手法は単一目標および多目標の両方の問題において、他のトップクラスの手法よりも優れた解を見つけました。

著者たちは、その「賢明な審判」とコードを他者が使用できるように公開しました。これは、適切な質問をすれば、高価な最適化問題を解決するためにスーパーコンピュータは不要であることを証明しています。

技術サマリー：R2SAEA – 高コスト最適化における LLM を用いた関係推論

問題定義
高コスト最適化問題（EOP）は、評価にコストがかかる（物理実験、高精度シミュレーションなど）かつ勾配が利用できないブラックボックス目的関数によって特徴づけられる。EOP の解決における主要なボトルネックは、限られた評価予算である。サロゲート支援進化アルゴリズム（SAEA）は、学習されたモデルを用いて候補をスクリーニングすることでこれを緩和するが、従来のサロゲート（回帰、分類、または関係モデル）は、集団が進化するにつれて頻繁な再学習を必要とする。この「学習 - 予測」ループは多大な計算オーバーヘッドを招き、サロゲート支援の効率向上を相殺しうる。さらに、大規模言語モデル（LLM）は最適化において有望な成果を示しているが、推論コストと遅延の高さにより、最先端モデルを進化ループに直接展開することは実用的ではなく、小規模モデルは信頼性の高い関係推論に必要な特定の推論能力を欠いている。

手法：R2SAEA
本論文は、従来の再学習ループを、微調整された LLM によって駆動される推論のみの関係ベースのサロゲートに置き換えるフレームワークであるR2SAEA（強化学習訓練済み関係ベース LLM サロゲート支援進化アルゴリズム）を提案する。手法は以下の 3 つの中核コンポーネントから構成される。

コンテキスト内学習としての関係推論:
パラメトリックモデルの学習に代わり、本論文は関係サロゲートモデリングを、ラベル付き例（コンテキスト）に基づいて解のペア間の相対的優劣を予測するコンテキスト内ペア推論タスクとして定式化する。LLM は以下の 2 つの主要な基準で推論を行うように指示される。
- 関数基準（C1）: 目的関数値の優劣に基づいた二値ラベル付け（ $+1/-1$ ）。
- カテゴリ基準（C2）: クラス間（良対悪）およびクラス内の関係を区別する三値ラベル付け（ $+1/0/-1$ ）。
アンカーベースの反復コンテキスト構築:
ペアワイズ比較の二次的な複雑さ（ $O((n+q)^2)$ ）がコンテキスト制限を超える問題に対処するため、著者はアンカーベースの反復戦略を導入する。
- タスクは $n$ 回の推論ラウンドに分解され、コンテキストセット内の各既存解が固定された「アンカー」として機能する。
- 各アンカーに対して、LLM はアンカーと他のコンテキスト解との間のラベル付き関係、およびアンカーと候補解との間のラベルなし関係を含むプロンプトを受け取る。
- これにより、プロンプトの複雑さをラウンドあたり線形（ $O(n+q)$ ）に削減し、安定性とスケーラビリティを確保する。
投票ベースの集約:
LLM はペアワイズ関係の行列を出力する。これらは、投票メカニズムを通じて候補の選択のための絶対品質スコアに集約される。
- C1 の場合、スコアは予測された関係の負の合計（候補がいくつのアンカーに打ち勝つかを数える）である。
- C2 の場合、「良い」アンカー群と「悪い」アンカー群によって候補が「良い」または「悪い」と判断された頻度に基づいて正規化されたスコアが計算される。
強化学習による微調整（GRPO）:
世代ごとの再学習なしに効率的なゼロショット展開を可能にするため、著者はコンパクトな LLM（Qwen2.5-7B）を**グループ相対方策最適化（GRPO）**を用いて微調整する。
- データ: 学習軌道は、ベンチマーク関数（LZG、CEC）上の進化実行から生成され、真のペアワイズ関係が正解となる指示対を作成する。
- 報酬: ルールベースの報酬関数が、JSON 出力形式の準拠、関係の精度、および出力の多様性（退化的な予測を罰する）を評価する。
- 利点: GRPO は個別のクリティックモデルを不要とし、グループごとの報酬正規化を用いて離散関係ラベルに対する安定した学習信号を提供する。

主要な貢献

定式化: 本論文は、関係ベースのサロゲートモデリングを C1 および C2 基準の下でのコンテキスト内 LLM 推論問題として定式化し、コンテキストの複雑さを二次から線形に削減するアンカーベースの反復プロンプト構築メカニズムを導入する。
集約戦略: 予測されたペアワイズ関係を候補のランキングのための絶対スコアに変換する投票ベースの集約戦略を設計し、標準的な SAEA 選択演算子が LLM 出力を利用できるようにする。
RL パイプライン: 進化軌道と GRPO を用いたエンドツーエンドの RL 微調整パイプラインを確立する。得られたモデル（ReLLM-C1/C2）は、強力な汎用 LLM と比較して関係予測精度が優れており、再学習なしのゼロショット展開を可能にする。
性能: このフレームワークは、単一目的（SOP）および多目的（MOP）の高コスト最適化ベンチマークにおいて最先端（SOTA）の性能を達成し、従来の SAEA（回帰、分類、および関係ベース）および汎用 LLM ベースラインを上回る。

実験結果

最適化性能: 単一目的ベンチマーク（LZG、YLL suites）において、R2SAEA-SOP は 7 つのアルゴリズムの中で最良の平均ランク（2.69）を達成し、関係ベースの DRSO を 45 件中 22 件、ベイズ最適化を 45 件中 23 件で上回った。多目的テスト（DTLZ、WFG、MaF）では、R2SAEA-MOP は平均ランク 2.84 で 1 位となり、分類ベース（CPS-MOEA、CSEA）および回帰ベース（K-RVEA）のサロゲートを大幅に上回った。
関係予測: オフライン評価により、RL 微調整済みの ReLLM モデルは、微調整前のベースモデルおよび最先端の汎用 LLM（GPT-4o、Gemini-2.5-Pro、Qwen3-235B を含む）を、ペアワイズ関係精度およびランキングの一貫性（スピアマンの $\rho$ ）において大幅に上回ることが示された。特に、汎用 LLM はタスク固有の学習なしには意味のあるランキングを生成できず、ほぼゼロまたは負の相関を示すことが多かった。
スケーラビリティとロバスト性: このモデルは、決定空間の次元（ $D \in \{5, 10, 30\}$ ）およびコンテキストサイズの変化に対してロバスト性を示した。関係推論においては、グローバル正規化よりもローカル（プロンプトレベル）正規化が優れていることが判明した。
展開: 30 億パラメータモデルの量子化バリアント（4 ビットおよび 8 ビット）は、エッジデバイス（例：Jetson Orin NX）での効率的な推論を可能にしながら高い精度を維持し、実用的なハードウェアレベルのサロゲートパラダイムをサポートする。

意義と主張
本論文は、R2SAEA が LLM の高い推論能力と高コスト最適化の厳格な効率要件の間のギャップを埋めると主張している。「学習 - 予測」パラダイムから「推論のみ」パラダイムへ移行することで、頻繁なサロゲート再学習のオーバーヘッドを排除する。著者は、単一の専門モデルがさらなる適応なしに進化ループに埋め込まれるゼロショットサロゲートパラダイムを提供することを強調している。この研究は、サロゲート支援進化最適化のために LLM を明示的に微調整した最初の試みであり、リソース制約環境におけるハードウェアに優しくリアルタイムな最適化への実現可能な道筋を提供する。