技術サマリー：Bayesian Adaptation Gym (BAG)

問題提起

大規模マルチモーダル言語モデル（VLM）は、ヘルスケアや科学研究などの極めて重要な領域への導入が進んでおり、適切に較正された不確実性定量化（UQ）が求められています。従来のベイズ的手法は、モデルの重み $P(W|D)$ の事後分布を近似することで原理的なアプローチを提供しますが、現代の大規模言語モデル（LLM）においては、パラメータ空間の次元があまりに膨大であるため、計算量的に実行不可能です。

この課題に対処するため、近年の研究は**Bayesian Low-Rank Adaptation (LoRA)**へとシフトしています。これは、全モデルの重みではなく、LoRAパラメータの低次元部分空間における事後分布を近似するものです。しかし、この分野にはこれらの手法を評価するための標準化されたベンチマークが欠けています。Laplace-LoRAの研究から派生した既存の評価プロトコルは、主にテキストのみのデータセット（ARC-Challenge、Winograndeなど）に依存しており、これらはファインチューニングによる性能向上が最小限である（「ヘッドルーム」が低い）という特徴があります。その結果、これらのベンチマークでは、複雑なベイズ適応手法と、温度スケーリング（Temperature Scaling）のような単純な較正ベースラインとの区別が困難になることがよくあります。さらに、先行研究の多くは、マルチモーダルなユースケース、リソース利用コスト、および能動学習（Active Learning）のような意思決定中心のシナリオを無視しています。

手法：Bayesian Adaptation Gym (BAG)

これらのギャップを埋めるために、著者らは、マルチモーダル言語モデルのベイズ適応をベンチマークするために設計された、モジュール式で拡張可能なPythonフレームワークである**Bayesian Adaptation Gym (BAG)**を導入します。

フレームワークのアーキテクチャ

BAGは、PyTorch Lightningに触発されたモノリシックなTrainerオブジェクトを中心に構築されており、以下の事項を標準化しています：

1. アダプターの挿入: ベイズアダプターがHuggingFaceのVLMにどのように統合されるか。
2. 評価: 統一されたトレーニングおよび評価パイプライン。
3. データフォーマット: HuggingFaceおよびカスタムデータセットの両方をサポートするユニバーサルなデータセット出力形式。
4. メトリクス報告: 様々なバックボーンサイズにわたる推論時のリソース使用量（レイテンシおよびメモリ）の標準化された報告。

本フレームワークは、異なるベイズ技術のロジックをモジュール式に定義するためにlorawrappersを利用しており、Rayプラグインを介した大規模な並列スイープをサポートしています。

実装された手法

BAGは、以下のカテゴリに分類される一連のベイズ適応技術のリファレンス実装を提供しています：

• ベースライン: 最大尤度推定（MLE）および最大事後確率（MAP）によるLoRAファインチューニング。
• ポストホック（事後）手法:
  • Laplace-LoRA: 二次曲率（KFAC）を用いて、事後分布の局所的なガウス近似を構築する。
  • Training-Free Bayesianization (TFB): 学習済みのMLEアダプターを、事後分布を低ランク等方性ガウス分布に制限することでベイズ的なものへと変換し、バイナリサーチを通じてグローバルなノイズスケールを最適化する。
  • Temperature Scaling: 非ベイズ的な較正ベースライン。
• オンライン（エンドツーエンド）手法:
  • Deep Ensembles: 異なるシード値を用いて複数の独立したLoRAアダプターを訓練する。
  • MCDropout: ドロップアウトを近似的な変分推論として再解釈する。
  • BLoB (Bayesian LoRA by Backprop): Bayes by BackpropをLoRAに拡張し、LoRAの$A$行列に対する変分対角ガウス分布を学習する。
  • ScalaBL: $r$次元の部分空間において確率的変分推論を行い、変分パラメータをBLoBよりも削減するためにサンプルをフルウェイト空間にマッピングする。

データセットスイートおよび評価プロトコル

BAGは、適応のための意味のある「ヘッドルーム」を提供し、堅牢性をテストするように設計された包括的なデータセットスイートを導入しています：

• テキストのみ: 標準的なデータセット（Winogrande、ARC、OpenBookQA）に加え、入力表現（回路 vs 論理式）を横断した汎化性能をテストする、Reasoning Gymから派生した新しいCircuit Logicタスクを含みます。
• マルチモーダル: SLAKE（医療VQA）、MathVerse（図表を伴う数学的推論）、MMStar（視覚的知覚）、および新しい**SymbolicRegressionQA (SRQA)**データセットを導入しています。SRQAは、モデルがプロットから正しい方程式を特定しなければならない、記号回帰タスクの無限に近いサンプルを生成するもので、事前学習によるリークを回避するように特別に設計されています。
• 評価軸:
  1. イン分布（In-Distribution）の較正: 標準的な精度、期待較正誤差（ECE）、負の対数尤度（NLL）、およびブライア・スコア。
  2. アウトオブ分布（OOD）の堅牢性: 視覚的破損（SLAKEへのガウスノイズ付加）や表現の変化（Circuit Logic）を含む、分布シフト下でのパフォーマンスをテスト。
  3. 能動学習: ラベル効率を向上させるためのデータ取得をガイドする際の、不確実性推定の有用性を評価。

主な結果

モデルサイズ（0.6Bから14Bパラメータ）およびデータセットにわたる広範な実験により、いくつかの重要な知見が明らかになりました：

1. 従来プロトコルの限界: ヘッドルームの低い（OpenBookQAなど）従来のデータセットでは、単純なTemperature Scalingが、較正指標において複雑なベイズ手法と同等、あるいはそれ以上の性能を示すことがよくあります。これは、従来のベンチマークではベイズ適応の有用性を効果的に区別できないことを示唆しています。
   تعتبر。
2. データレジームへの依存性: ベイズ手法は、主に小規模な訓練セットのレジームにおいて、点推定（MLE/MAP）に対して明確な優位性を示します。訓練セットのサイズが増加するにつれ、すべての手法は同様の性能に収束します。
3. OODの堅牢性: ベイズ手法（特にBLoB、ScalaBL、TFB、およびLaplace）は、MLE/MAPが過剰適合（オーバーコンフィデント）になりがちなのに対し、ノイズの多い入力やアウトオブ分布の入力に対して有意に高い不確実性を表明します。
4. 能動学習における優位性: 能動学習タスク（SRQAを使用）において、ベイズ的アプローチ、特にScalaBLは、NLLおよびラベル効率の面でベースラインを大幅に上回ります。この設定は、標準的な較正タスクよりもベイズ適応の明確なユースケースを提供します。
5. リソースのトレードオフ:
   • メモリ: ほとんどのサンプリングベースの手法は、サンプルが逐次的に計算されるため、メモリ使用量は単一のMLEアダプターと同等です。しかし、Laplace-LoRAは、モデルサイズが増加するにつれてメモリ使用量のスケーラビリティが悪化するという課題があります。
   • レイテンシ: サンプリングベースの手法は、$N=10$回のフォワードパスを行うため、単発のベースラインと比較して高い推論レイテンシが発生します。
6. トップパフォーマー: BLoB、TFB、およびScalaBLが最も有望な手法として浮上しました。これらは、より少ない訓練時間とストレージを必要としながら、Deep Ensemblesと同等以上の性能を示すことが多いです。

意義および主張

本論文は、BAGがマルチモーダル言語モデルのベイズ適応を厳密に評価する最初の標準化されたベンチマークであると主張しています。その意義は以下の通りです：

• 評価バイアスの修正: 意味のあるヘッドルームを持つデータセットとマルチモーダルなタスクを導入することで、BAGは、ベイズ適応が真に利益をもたらす場面（小規模データ、OODの堅牢性、能動学習）と、そうでない場面（大規模データ、単純な較引）を明らかにします。
• リソースへの意識: リソース利用を第一級のメトリクスとして扱い、Laplace-LoRAのような特定のアプローチのスケーラビリティの限界を浮き彫りにしています。
• 再現性: モジュール式でオープンソースのフレームワークとリファレンス実装を提供することで、BAGは制御された再現可能な比較を可能にし、この新興分野における将来の研究を促進します。

著者らは、大規模なデータセットにおける適切に較正された分類器には単純な較正で十分な場合がある一方で、ベイズ適応は、データが乏しいレジームや、堅牢な不確実性推定を必要とする意思決定シナリオにおいて明確な価値を提供すると結論付けています。