Thompson Sampling via Fine-Tuning of LLMs

本論文は、大規模な非構造化離散空間におけるベイズ最適化の計算コストを削減するため、事前知識を有する大規模言語モデルを事後分布に微調整することで、獲得関数の最大化を不要とする「ToSFiT」という新しい手法を提案し、理論的な後悔の上限と FAQ 応答、タンパク質探索、量子回路設計といった多様なタスクにおける高いサンプル効率と計算効率を実証しています。

要約

🍳 物語の舞台：「無限のレシピ本」を探す旅

想像してください。世界には**「無限のレシピ」**がある巨大な図書館があるとします。

• FAQ（よくある質問）への回答
• 熱に強いタンパク質（薬の材料）の設計
• 量子コンピュータの回路

これらはすべて、組み合わせが膨大すぎて、人間が一つ一つ試すには**「宇宙の年齢よりも長い時間」**がかかってしまうような問題です。

ここで登場するのが、**「天才的な料理人（大規模言語モデル＝LLM）」**です。この料理人は、過去の膨大なレシピ（学習データ）を知っており、美味しい料理を瞬時に出せる能力を持っています。

🚧 従来の方法の悩み：「迷子になる」

これまでの AI による探索（ベイズ最適化）は、以下のような手順を踏んでいました。

1. 料理人に「美味しい料理の候補」を出してもらう。
2. その候補を一つ一つ実際に作って（実験して）、味見をする。
3. 最も重要なステップ： 「次に、どの候補が一番美味しいか？」を数学的に計算して探す（これを「獲得関数の最大化」と呼びます）。

ここが問題でした。
「無限のレシピ本」の中から、数学的に「一番良いもの」を計算して探すのは、**「砂漠の砂粒を一つ一つ数えて、一番輝く砂粒を見つける」**ようなもので、計算コストが膨大すぎて現実的ではありません。特に、コードやタンパク質の配列のような「不規則で複雑な世界」では、この計算が不可能に近いのです。

✨ TOSFIT の解決策：「勘（ポテンシャル）を信じて、微調整する」

この論文が提案するTOSFITという方法は、その「面倒な計算」を捨て去ります。代わりに、「料理人の勘（確率）」そのものを直接操作します。

1. 料理人の「勘」を信じる（トンプソンサンプリング）

TOSFIT は、「数学的に一番良いものを探す」のではなく、**「料理人が『これがいちばん美味しそう！』と直感的に選んだもの」**をそのまま採用します。

• 料理人は、過去の知識（事前知識）と、これまでの味見の結果（新しい情報）を混ぜ合わせて、「次はこれを作ろう！」と提案します。
• これを繰り返すことで、自然と「最高に美味しい料理」にたどり着きます。

2. 勘を「微調整」する（ファインチューニング）

ただ料理人に任せるだけでは、最初は「昔ながらの定番料理」しか出せません。そこで、TOSFIT は**「微調整（ファインチューニング）」**を行います。

• シナリオ：
  • 料理人：「私はこのレシピが最高だと思う！」
  • 味見の結果：「ん？少し塩辛いね。もっと甘くしたら？」
  • 微調整：料理人の「脳（パラメータ）」を少しだけ書き換えて、「甘くする方向の勘」を強化する。

このとき、TOSFIT は**「獲得関数という難しい計算」をせず、料理人の「脳そのもの」を、味見の結果に合わせて少しずつアップデート**します。これにより、計算コストを劇的に下げながら、効率的に正解を見つけられます。

🎯 なぜこれがすごいのか？（3 つのポイント）

1. 計算が爆速になる
   「砂漠の砂粒を数える」ような重い計算を捨てたので、コンピュータの負担が激減します。
2. 失敗しても大丈夫（事前知識の活用）
   料理人は最初から「美味しい料理の基礎」を知っています。ゼロから探すのではなく、その「基礎」を土台に、新しい発見を積み重ねるため、無駄な失敗が少なくなります。
3. どんな難問も解ける
   タンパク質の設計や量子回路など、人間には想像もつかない複雑な組み合わせでも、この「料理人の勘」を導き手として使えば、最短ルートで正解にたどり着けます。

📊 実験結果：「実戦で最強」

論文では、以下の 3 つの難しい課題で実験を行いました。

• FAQ の回答改善： 顧客の質問に、より自然で役立つ回答を生成する。
• タンパク質探索： 熱に強い新しいタンパク質を見つける（医薬品開発に直結）。
• 量子回路設計： 量子コンピュータの回路を設計する。

その結果、TOSFIT は、従来の AI 手法や「進化的な探索（遺伝子的な改良）」などの他の方法よりも、**「少ない試行回数で、より良い結果」を出し、かつ「計算時間も短く」**済ませることに成功しました。

🌟 まとめ

この論文が伝えているのは、**「複雑な問題を解くとき、無理に完璧な計算をする必要はない」**ということです。

「過去の知識を持った天才（LLM）」に、「現在の結果（実験データ）」をフィードバックして、その「勘（生成能力）」を少しずつ洗練させていけば、最も効率的に正解が見つかるという、シンプルながら強力なアイデアです。

まるで、**「完璧な地図を描こうとせず、地図を持っている達人を連れて行き、道中で『ここは違うよ』と教えながら目的地を目指す」**ような、賢くて効率的な旅の仕方なのです。

技術概要

論文「THOMPSON SAMPLING VIA FINE-TUNING OF LLMS (TOSFIT)」の技術的サマリー

この論文は、大規模な非構造化離散空間におけるベイズ最適化の課題を解決するため、大規模言語モデル（LLM）の微調整（ファインチューニング）を用いた新しいサンプリング手法「TOSFIT（Thompson Sampling via Fine-Tuning）」を提案するものです。ICLR 2026 にて発表されました。

以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題設定と背景

従来の課題

ベイズ最適化（Bayesian Optimization, BO）は、評価コストが高いブラックボックス関数の最適化に用いられます。しかし、従来の BO は「獲得関数（Acquisition Function）」の最大化が必要であり、これが計算的に困難な領域に直面しています。

• 連続空間: 勾配法などを用いて獲得関数を効率的に最大化できる。
• 非構造化離散空間（本論文の焦点）: アミノ酸配列、量子回路設計、コード生成など、組み合わせ爆発が起きる空間では、勾配が存在せず、獲得関数の最大化が非現実的（intractable）となる。
  • 例：アミノ酸 20 種、長さ 100 の配列空間は、観測可能な宇宙の原子数を超える。

既存手法の限界

• Thompson Sampling (TS): 事後分布から関数をサンプリングし、その最大値を与える点を選ぶことで、獲得関数の明示的な最大化を回避できる強力な手法だが、離散空間では「事後分布からのサンプリング」自体が困難。
• LLM を用いたアプローチ: 文脈内学習（In-context learning）や強化学習（RL）を用いる手法があるが、サンプル効率や計算効率の面で限界があったり、モデルのサイズ制約を受けたりする。

2. 提案手法：TOSFIT

TOSFIT は、Thompson Sampling の概念を LLM の微調整にマッピングすることで、獲得関数の最大化を回避し、直接「最大報酬を与える確率（Probability of Maximality: PoM）」をパラメータ化する手法です。

核心的なアイデア

1. PoM のパラメータ化: 生成モデル（LLM）を、ある候補が最適解である確率（PoM）を出力する分布として扱います。
2. 事前知識の活用: 事前学習済み（Pre-trained）の LLM を初期ポリシーとして使用し、その知識（事前分布）を維持しつつ、ベイズ最適化の過程で得られたデータに基づいて微調整を行います。
3. 変分ベイズ楽観的サンプリング（VBOS）の活用:
   • O'Donoghue & Lattimore (2021) が提案した VBOS 枠組みに基づき、獲得関数の代わりに「適応的な UCB 探索ボーナス」を含む目的関数 $V(\pi)$ を最適化します。
   • $V(\pi) = \mathbb{E}_{x \sim \pi} [\mu_x + \sqrt{-2 \ln \pi_x} \cdot \sigma_x]$
   • ここで、$\mu_x$ は報酬の平均、$\sigma_x$ は不確実性（標準偏差）、$\pi_x$ は方策（LLM による生成確率）です。

アルゴリズムの流れ

1. 初期化: 事前学習済み LLM（$\pi_\theta$）をポリシーとして使用し、初期の候補を生成・評価する。
2. GP 更新: 観測データに基づき、ガウス過程（GP）の事後分布（$\mu, \sigma$）を更新する。
3. 方策の微調整:
   • VBOS 目的関数 $V(\pi_\theta)$ の勾配を推定する（RLOO: Reinforce Leave-One-Out ベースラインを使用し、分散を低減）。
   • 学習率を慎重に設定し、LLM のパラメータを $\pi_\theta \to \text{PoM}$ へと微調整する。
   • この際、事前知識を失わないよう「慎重な適応（Careful adaptation）」が理論的に重要視されます。
4. 反復: 上記をバッチ処理または逐次的に行い、最適な解を探索する。

3. 主要な貢献と理論的保証

理論的貢献

1. 新しい後悔 bound の導出:
   • 従来の VBOS の累積後悔 bound を $\tilde{O}(\sqrt{T|X|})$ から、報酬の相関を考慮した情報利得 $\gamma_T$ を用いた $\tilde{O}(\sqrt{T\gamma_T})$ に改善しました。
   • 離散空間 $|X|$ が巨大でも、$\gamma_T$ が小さければ（例：線形カーネルで $O(d \log T)$）、効率的な探索が可能であることを示しました。
2. 近似ポリシーに対する bound:
   • 厳密な VBOS 解ではなく、勾配法による近似解（LLM 微調整）に対しても、Bregman 発散を用いた後悔 bound を初めて導出しました。
   • これにより、事前学習済みモデルからの初期化と、微調整の慎重さが、後悔を最小化するために不可欠であることが理論的に裏付けられました。

実用的な貢献

• 獲得関数最大化の回避: 離散空間における非現実的な最大化問題を、LLM の生成プロセスに置き換えることで解決。
• バッチ処理への対応: 並列評価（バッチ BO）に自然に適応可能。
• スケーラビリティ: 大規模な離散空間（タンパク質設計、量子回路など）において、サンプル効率と計算効率の両面で SOTA を達成。

4. 実験結果

3 つの異なるタスク（FAQ 応答の洗練、タンパク質探索、量子回路設計）において、7 つのベースライン手法（Unsupervised Generation, Actor-Critic, Evolutionary Search, FIBO など）と比較評価を行いました。

主要な結果

1. サンプル効率の SOTA:
   • どのタスクにおいても、TOSFIT は最も少ない評価回数で最高報酬を達成しました。
   • 特に、Unsupervised Generation や Actor-Critic などは探索と利用のバランスが崩れやすく、TOSFIT の「楽観性（Optimism）」に基づく探索が有効に機能しました。
2. 計算効率:
   • ファインチューニングによるオーバーヘッドはあるものの、サンプル効率の向上により、固定された計算予算内での到達性能は他の手法を上回りました。
   • バッチサイズを大きくすることで、反復効率（Iteration efficiency）をさらに向上させることができました。
3. 事前知識と微調整の重要性:
   • 初期化: 事前学習済みモデル（強い事前知識）から開始することが、有効な探索空間への収束に不可欠でした（「Weak Context」条件では性能が低下）。
   • 学習率: 学習率が高すぎると事前知識を忘却し性能が停滞する一方、適切に調整することで事前知識を維持しつつ事後分布に適応できることが確認されました。

5. 意義と結論

TOSFIT は、基礎モデル（Foundation Models）の事前知識と、原理的なベイズ最適化（Thompson Sampling）を融合させることで、大規模な非構造化離散空間における最適化問題を解決する新しいパラダイムを示しました。

• 科学的・経済的意義: 創薬（タンパク質設計）や量子コンピューティングなど、従来の手法では探索が不可能だった巨大な設計空間を、効率的に探索可能にします。
• 技術的意義: 「獲得関数の最大化」という古典的なボトルネックを、生成モデルの「微調整」という現代的なアプローチで回避する成功例であり、LLM を単なる生成器ではなく、確率的な最適化アルゴリズムの一部として機能させる可能性を開きました。

この研究は、LLM を活用した自動科学発見（Automated Scientific Discovery）の分野において、理論的保証と実用性の両面から重要な進展をもたらすものです。