Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark

技術的サマリー：画面条件付き行動予測のためのアーキテクチャ感受性のある教師あり微調整

問題定義
本論文は、画面条件付きシナリオ（モバイルアプリの使用など）におけるユーザーの行動と根拠の予測という課題に取り組む。具体的には、スクリーンショットとペルソナプロファイルが与えられた際、最先端のゼロショット視覚言語モデル（VLM）がユーザーの意図と推論を妥当に記述できるか、あるいは高い行動忠実度を実現するためにタスク固有の教師あり微調整（SFT）が必要かについて調査する。著者らは、最先端モデルが広範な事前学習とマルチモーダルなグラウンディングを有している一方で、現実世界のショッピングやアプリ操作行動の精密なシミュレーションに必要な特定の「声」や推論パターンを欠いている可能性があると仮説を立てている。

手法
本研究は、公開されたアプリストアのレビュー、Pew American Trends Panel の人口統計データ、および OPeRA ショッパーのトレースからキュレーションされた 12,929 個のタプルからなる独自コーパス「PiSAR（Persona, Intent, Screen, Action, Rationale）」を導入する。データ構築は「3 つの slot のうち 2 つが実データ」というルールに従い、3 つの中核コンポーネント（画面、ペルソナ、推論）のうち少なくとも 2 つが合成されたものではなく、実在の人間から直接観測されたものであることを保証する。

実験設定は以下の通りである：

1. データセット分割：PiSAR の 661 行からなる保持済みスライスが評価ベンチマークとして機能する。
2. モデル：
   • 最先端ゼロショットベースライン：Claude Opus 4.7 および GPT-5.5。微調整なしで評価。
   • 微調整モデル：Fireworks 上で管理された LoRA（Low-Rank Adaptation）SFT パイプラインを使用して 2 つのモデルを微調整：
     • Qwen3-VL-8B-Instruct：2 つのデータミックスで微調整（OPeRA 専用：4,014 行；Combined：13,796 行）。
     • Gemma-4-26B-A4B-IT（MoE）：Combined データセット（13,796 行）で、Qwen 実行と同じハイパーパラメータを使用して微調整。
3. 評価指標：同じ 661 行に対して以下の指標で性能を測定：
   • 意味的類似性（sem_sim）：予測された根拠とゴールド（正解）の根拠のテキスト埋め込み間のコサイン類似度（主要指標）。
   • トークンジャッカード：語彙的重なり。
   • 長さ比率：冗長性の診断。
   • 閾値通過率：特定の sem_sim 閾値（0.3、0.5、0.7）を超える行の割合。

主要な貢献

1. PiSAR ベンチマーク：行動根拠予測のための標準化された画面アンカー型評価スライス。最先端ゼロショットモデルと微調整エージェントの直接比較を可能にする。
2. アーキテクチャ感受性のある SFT の知見：SFT の有効性は、ベースモデルのポストトレーニング事前知識に強く依存することを論文は示している。特定の微調整レシピ（LoRA ランク 16、13k 例）は、8B 指示調整モデル（Qwen）で大幅な性能向上をもたらしたが、26B 推論調整モデル（Gemma）では最先端ゼロショットベースラインを超えることはできなかった。
3. レシピ対モデルのミスマッチ診断：著者らは、「ドラフトファースト」またはチェーン・オブ・ thought ポストトレーニング事前知識を持つ推論調整モデルが、標準的な SFT レシピによる置換に抵抗し、「テンプレートの漏洩」（最終的な根拠の代わりに内部推論マーカーを出力するなど）や直接出力タスクでの性能低下を引き起こすと特定している。

結果

• SFT 対最先端：微調整された Qwen3-VL-8B-Instruct（Combined）は sem_sim 0.783 を達成し、最先端ゼロショットベースライン（Claude Opus 4.7：0.459；GPT-5.5：0.482）を大幅に上回った。これは絶対値で0.30の差に相当する。
• 厳密な言い換え性能：sem_sim ≥ 0.7 という厳格な閾値において、微調整された Qwen はテスト行の**79%をクリアしたが、最先端ベースラインは1〜2%**のみをクリアした。
• ベースモデルの感受性：同じトレーニングデータとレシピを Gemma-4-26B-A4B-IT に適用した結果、sem_sim は0.441となり、最先端ゼロショットベースラインと同じ性能帯に位置した。
• 失敗モード分析：Gemma モデルは「推論トレースの漏洩」を示し、出力の 4% が内部のマークダウンマーカー（例：* Persona:、* Draft 1:）で始まり、最終的な回答を生成できなかった。これにより極端な長さ比率（平均 4.43、最大 457 倍）と高いレイテンシが生じた。
• データ構成：トレーニングデータを OPeRA 専用（4k 行）から Combined（13k 行）に増やすことで、Qwen モデルの性能は 0.519 から 0.783 に向上し、最大の gains はアプリストアデータで観察された。

意義と主張
本論文は、画面条件付き行動シミュレーションにおいて、小規模な直接出力型視覚言語ベースのドメイン関連微調整が、最先端推論モデルへのプロンプト提示よりも決定的に優れていると主張する。

• 効率性：微調整された 8B モデルはサブ秒のレイテンシ（中央値 0.79 秒）で動作し、最先端モデルの推論コストのほんの一部で済む一方で、はるかに高い行動忠実度を達成する。
• アーキテクチャ適合性：結果は、「推論調整」ベース（Gemma-4-IT など）が、ポストトレーニング事前知識を上書きするために、より強力な微調整手法（より高い LoRA ランク、フルパラメータ FT など）またはより多くのデータを必要とする可能性を示唆している。対照的に、直接出力事前知識を持つモデル（Qwen3-VL-Instruct など）は、標準的な SFT レシピに対して非常に受け入れやすい。
• 再現性：PiSAR コーパスと重みは独自であるが、著者は完全な手法、データ融合ルール、トレーニング構成を提供しており、「賭けの形状」（10〜20k の実世界記録＋8B ベース＋LoRA SFT）が成功の再現可能な鍵であり、より大きな最先端モデルを待つ必要はないと主張する。

著者らは明示的に、微調整が常にプロンプト提示よりも優れていると主張するものでも、Gemma が「悪い」モデルであると主張するものでもないとしている。その代わり、彼らはこの特定のタスクにおいて、SFT レシピとベースモデルの事前知識との相互作用が決定的な変数であり、ここでのミスマッチは、0.30 の絶対的 gains をもたらす 8B 微調整よりも 26B 推論モデルを効果的にしない可能性があると論じている。