テクニカル・サマリー：ベース整列モデルの協調（BACO）による多様性と品質の最適化

1. 問題提起

大規模言語モデル（LLM）は、根本的な多様性と品質のトレードオフに直面している。RLHFなどのアライメント技術は、出力の品質、指示への追従性、および安全性を大幅に向上させる一方で、出力の多様性を系統的に減少させる。アライメントされたモデルは、繰り返し生成を行う中で単一の支配的な応答へと収束する傾向（モード崩壊）があるのに対し、そのベースモデル（非アライメントモデル）は多様ではあるものの、しばれて品質が低い、あるいは支離滅裂な出力を生成する。

既存の手法は、以下の重大な限界を抱えている：

• 学習時のアプローチ： 嗜好最適化に多様性の目的関数を組み込むと、安全性や有用性といったアライメント特性が損なわれることが多い。
• 推論時のアプローチ： 温度スケーリング、ダイバース・ビームサーチ、またはプロンプトベースのリサンプリングといった手法は、複数のデコーディング・パスを必要としたり、計算コストが高くなったり、あるいは生成品質を不釣り合いに低下させたりすることが多い。

核心となる課題は、追加のファインチューニングや高価なポストトレーニングを必要とせず、単一のデコーディング・パスにおいて多様性と品質の両方を高い水準で実現することである。

2. 手法：ベース整列モデルの協調（BACO）

著者らは、推論時のトークンレベルのモデル協調フレームワークであるBACOを提案する。BACOは、デコーディング・プロセス中に、ベースモデル（多様性の源泉）と、そのアライメントされた対応モデル（品質の源泉）を動的に組み合わせる。

コア・メカニズム

BACOは、軽量なルーターを介して動作し、各トークン生成ステップにおいて、どちらのモデルが次のトークンを生成すべきかを決定する。このフレームワークは、「表層的なアライメント」仮説に基づいている。これは、ベースモデルとアライメント済みモデルが次トークンの予測において概ね一致しており、疎な介入が可能であるという仮説である。

生成確率は、ゲート付き混合として定式化される：
$$P_{BACO}(y_t | c_t) = w_{base} \cdot P_{base}(y_t | c_t) + (1 - w_{base}) \cdot P_{aligned}(y_t | c_t)$$
ここで、$w_{base} \in \{0, 1\}$ は、コンテキスト $c_t = [x, y_{<t}]$ に基づくルーティング戦略 $R$ によって決定される。

ルーティング戦略

ルーターは、スイッチングを決定するために、2つの補完的な信号カテゴリを利用する：

1. ロジットベースの戦略： モデルの予測分布を利用して不確実性を推論する。
   • 例： BACO-P は、ベースモデルの最大トークン確率が閾値 $\gamma$ を下回った場合に、ベースモデルへとルーティングする。
   • 例： BACO-H は、ベースモデルの予測のエントロピーが $\gamma$ を超えた場合に、ベースモデルへとルーティングする。
2. コンテンツベースの戦略： 予測されたトークンの意味的役割を利用する。
   • 例： BACO-PUNC は、トップランクのトークンが句読点またはフォーマット用トークンである場合、アライメント済みモデルへとルーティングする（構造的な一貫性を維持するため）。
   • 例： BACO-FC は、文体の一貫性を維持するために、機能語に対してアライメント済みモデルへとルーティングする。

制御： ユーザーは閾値パラメータ $\gamma$ を通じて、多様性と品質のバランスを連続的に調整できる。$\gamma$ が低いほどアライメント済みモデルに偏り（高品質）、$\gamma$ が高いほどベースモデルに偏る（高多様性）。

実装の詳細：

• 軌道の品質を確保するため、最初のトークンは常にアライメント済みモデルによって生成される。
• トークナイゼーションの不一致を防ぐため、切り替えは単語の境界に限定される。
• 早期終了を防ぐため、終端（EOS）トークンはアライメント済みモデルによって制御される。

3. 主な貢献

1. フレームワークの提案： 追加のファインチューニングを必要とせず、単一のデコーディング・パスで動作し、多様性と品質のトレードオフを効果的にバランスさせる、トークンレベルの協調フレームワークであるBACOを導入した。
2. 評価の定式化： 著者らは、多様性と品質のトレードオフを単一の目的関数としてではなく、二次元的な評価空間（11の多様性指標 $\times$ 2の品質指標）の集合として定式化した。また、これらの空間におけるパフォーマンスを集計するための指標として、カバレッジ（トレードオフ曲線の下の面積）とドミナンス（グローバルなパレート境界の割合）を導入した。
3. 包括的な検証： 指示追従、対話、クリエイティブ・ライティングの3つのオープンエンド生成タスク、および検証可能なベンチマーク（数学、制約付き指示追従）にわたる広範な実験を行い、最先端のベースラインに対して一貫した改善を示した。

4. 結果

著者らは、NoveltyBench、WildChat、Narrative-Discourseを含むデータセットを用い、11の多様性-品質空間における13の指標を用いてBACOを評価した。

• パフォーマンスの向上： 最良のルーター（確率と句読点のルールを組み合わせた -P-PUNC）において、BACOは最強の推論時ベースラインに対して、多様性と品質の両面で21.3%の結合改善を達成した。
• パレート最適性： BACOは、すべての空間においてグローバルなパレート境界の32.7%に寄与し、特に意味的多様性の空間では40.5%のドミナンスを示した。
• 意味的 vs 語彙的： BACOは、語彙的多様性（表面的な言い回し）と比較して、意味的多様性（意味と意図）において優れた性能を示した。これは、BACOが単なる表面的なノイズではなく、意味のあるバリエーションを生成していることを示唆している。
• 検証可能なベンチマーク： GSM8K（数学）およびIFEval（指示追従）において、BACOはアライメント済みベースラインと同等の精度を維持しつつ、大幅に高い多様性を達成した。これは、得られた利得がオープンエンドな指標によるアーティファクトではないことを証明している。
• 人間による評価： NoveltyBenchとWildChatに関するヒューマンスタディにおいて、BACOの出力は、自動的な品質スコアが同等であったにもかかわらず、アライメント済みベースラインと比較して、品質（NoveltyBenchで4.04 vs 2.83）および創造性（79.6%の勝率）において有意に高く評価された。
• 長文生成： Narrative-Discourseデータセットにおいて、BACOは一貫性を損なうことなく、プロット構造（転換点）や感情の流れ（覚醒度）における優れた多様性を示した。

5. 意義と主張

本論文は、BACOがLLMにおける多様性と品質のトレードオフを最適化するための、シンプルで制御可能かつ効果的なメカニズムを提供すると主張している。

• 相補性： 実験結果は、アライメントされていないモデル（高多様性）とより高度にアライメントされたモデル（高品質）の間の協調が、両方の目的を同時に最適化するために不可欠であり、2つのアライメント済みモデル同士の協調さえも凌駕することを示唆している。
• 制御可能性： 温度スケーリングが多様性を得るために品質を低下させるのに対し、BACOはルーティング閾値 $\gamma$ を通じて多様性と品質のスペクトラムを横断するための、原理的な方法を提供する。
• 幅広い適用性： 本フレームワークは、クリエイティブ・ライティングや対話を含む様々なオープンエンドなタスクに適用可能であり、長文生成にも拡張できる。
• 将来の方向性： 著者らは、BACOをLLMの「幅広思考（breadth thinking）」モードへの一歩として位置づけている。これは、モデルが収束する前に幅広い視点を探索するモードであり、人間が「情報の繭（information cocoons）」から脱却するのを助ける可能性がある。

著者らは、BACOがトークンあたり約$2\times$のFLOPsオーバーヘッドを伴うこと（ただしグループサイズには依存しない）に触れ、現在のプロトタイプが速度面で完全には最適化されていないことを認めつつ、限界についても謙虚に述べている。また、強化された多様性が、安全策が維持されていない場合に有害な生成を増幅させる可能性があることも認めており、BACOは安全性のためのアライメントを置き換えるものではなく、それを補完するものであることを強調している。