技術要約：ARTによるマルチモーダルLLMのファインチューニング

問題提起

大規模言語モデル（LLM）は、テキストと画像を処理できるマルチモーダル大規模言語モデル（MLLM）へと進化しているが、ほとんどの下流タスク（例：数学的推論、コード実行、ツール利用）は依然としてテキストベースの指示として定式化されている。これらのモデルを特化させるために、Low-Rank Adaptation (LoRA) やソフトプロンプティングといったパラメータ効率の良いファインチューニング（PEFT）技術が一般的に使用されている。しかし、両アプローチとも、高スループットのサービングエンジン（例：vLLM）におけるデプロイメントにおいて大きな障壁に直面している。

• LoRA はアダプター重みの動的なロードを必要とするため、メモリを断片化させ、コンパイル済みのCUDAグラフを無効化し、異なるアダプターを持つ複数の同時実行ユーザーをサービングする際の性能を低下させる。
• ソフトプロンプティング は、連続的な埋め込みベクトルをトークンパイプラインに注入する必要があり、多くの場合、高性能エンジンにおける最適化を阻害したり、プレフィックスキャッシュのような機能を無効にしたりするカスタムエンジニアリングを必要とする。

本論文は、モデルの重みを変更することなく、かつプロダクション環境のサービングエンジンにおいてアーキテクチャ上の回避策を必要とせずに、MLLMを適応させるファインチューニング手法の必要性を指摘している。

手法：Art-based Reinforcement Training (ART)

著者らは、モデルの重数を変更するのではなく、凍結されたMLLMの生の視覚入力を最適化することによって、モデルを適応させる手法であるARTを提案している。その核心となる直感は、Vision Transformer (ViT) とクロスモーダル投影層が、ピクセル座標からモデルの埋め込み空間への、凍結された事前整列済みの連続的なマッピングとして機能しているという点にある。入力ピクセルを勾配降下法を通じてチューニングすることで、内部パラメータには一切触れることなく、モデルのテキスト出力の振る舞いを制御できる。

技術的実装

1. ピクセル空間のパラメータ化:

   • 学習可能な画像は、シード画像（またはランダムノイズ）から初期化され、最適化中にピクセル値が有効な[0, 1]の範囲内に留まるよう、ロジット空間（$X_{raw}$）でパラメータ化される。
   • フォワードパス中、$X_{raw}$ は推論用に8ビットRGB画像（$X_{pixel}$）へと量子化される。
   • バックワードパス中、勾配は連続的な $X_{raw}$ テンソルに対して計算され、このテンソルはImageNetの統計量を用いて正規化された後、凍結されたモデルに投入される。

2. 最適化ループ（2パス）:

   • パスA（ロールアウト）: 量子化された8ビット画像が高性能なvLLMエンジンに送られる。エンジンは、特定のテキストクエリに対して $N$ 個の独立した補完結果を生成する。これらの出力は、タスク固有の報酬関数（例：数学における完全一致、QAにおける正解性）を用いてスコアリングされる。
   • パスB（バックワード）: 勾配は凍結されたモデルへとルーティングされ、$X_{raw}$ を更新する。著者らは、VRAMを節約するために、個別のクリティックモデルを必要としないGroup Relative Policy Optimization (GRPO) と Dynamic sAmpling Policy Optimization (DAPO) を利用している。目的関数は、学習を安定させるためにトークンレベルの正規化と非対称クリッピングを備えたPPOスタイルのサロゲート損失を使用する。

3. アーティファクトの特性:

   • 得られる最適化された画像は、標準的な8ビットPNGである。
   • モデル自体は凍結されているため、サービング・インフラストラクチャは、ARTによる条件付き推論を標準的なマルチモーダル・リクエストとして扱うことができ、カスタムの重みマネージャーやカーネルの修正を必要としない。

主な貢献

1. 新しいファインチューニング・パラダイムの導入: 単一の入力画像を最適化することで、重みの変更を介さずに凍結されたマルチモーダルモデルを適応させる手法であるARTの導入。
2. 性能ベンチマーク: 特定のベンチマーク（数学および構造化されたツール利用）において、ARTがLoRAと同等またはそれを上回る性能を示すことを実証し、重み空間のチューニングに伴うエンジニアリング上の摩擦を回避した。
3. ステガノグラフィー的アーティファクト: 学習された情報が画像の高周波構造としてエンコードされる「計算的芸術（computational art）」の生成。論文では、これらのアーティファクトが「AIのためのステガノグラフィー」として機能し、積極的な32ビットから8ビットへの量子化を生き残りつつ、タスク固有の情報を保持していることが述べられている。

結果

著者らは、Qwen3.5-0.8B および Qwen3.5-2B モデルについて、3つのベンチマーク（GSM8K（数学）、GPQA（大学院レベルのQA）、ToolMind（構造化されたツール利用））を用いてARTを評価した。

• 数学 (GSM8K): 0.8Bモデルにおいて、ARTは58.53% の精度を達成し、テキストのみのベースライン（39.65%）およびLoRA（49.51%）の両方を上回った。2Bモデルでは、ARTは固定シード画像ベースライン（81.20%）と同等の性能を示し、LoRA（77.33%）はわずかに下回った。
• ツール利用 (ToolMind): ARTは0.8Bモデルにおいて大幅な向上を示した（ベースラインの36.65%およびLoRAの69.50%に対し、73.80%）。2Bモデルでは、LoRAがART（69.05%）をわずかに上回ったが（ARTは67.15%）、両者は重複する信頼区間内にあった。
• 大学院レベルのQA (GPQA): ARTはこのタスクにおいて性能が低下し、両方のモデルで性能が悪化した（例：0.8Bでは23.44%から20.15%へ）。著者らは、これを高精度な推論を必要とするタスクの性質によるものとし、視覚的なプレフィックスが「妨げ（distraction）」として作用している可能性を挙げている。LoRAはここでわずかな優位性を維持したが、全体として両手法とも低い性能にとどまった。
• 効率性: ARTのトレーニングは、GSM8KにおいてLoRAよりも約2倍、ToolMindにおいて3倍高速であった。ARTを用いた推論は、特にToolMindにおいてLoRAよりも高速であり、これは学習された出力サイズの最適化や、アダプターロードのオーバーヘッドの欠如によるものと考えられる。
• 情報の蓄積: 最適化された画像は、ロスレスPNGのファイルサイズが大幅に増加しており（例：0.8BのGSM8Kにおいて8.5 KBから98.0 KBへ）、勾配最適化によって、8ビット量子化にもかかわらず視覚的アーティファクトの中にタスク情報が正常に保存されていることを示している。

重要性と主張

本論文は、ARTが従来のPEFT手法に代わる、非侵入的で極めて効率的な選択肢であることを主張している。特に、ローカルでサーブされる小型のMLLMにおいて、視覚入力チャネルを学習可能なインターフェースとして再利用することで、ARTは以下を可能にする：

• プロダクションへの即時適用: 動的な重みロードやCUDAグラフの無効化を伴わずに、vLLMのような高スループットエンジンへのシームレスな統合を実現する。
• 競争力のある性能: 数学やツール利用のような手続き的なタスクにおいて、視覚チャネルの事前整列された潜在空間がデコーダーの重みよりも効果的な信号注入点となるため、LoRAと同等またはそれを上回る性能を発揮する。
• 計算的芸術: 学習された情報が高周波ノイズパターンとしてエンコードされる、視覚的に際立ったアーティファクトを生成し、入力画像をポータブルで圧縮されたパラメータテンソルへと実質的に変える。

著者らは、汎用性については慎重な姿勢を保っており、実験がQwen3.5アーキテクチャに限定されていること、また、手法の有効性は異なるビジョン・ランゲージ・バックボーンや、抽象的な推論（GPQAなど）を必要とするタスクによって異なる可能性があることを指摘している。