論文要約：Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

1. 概要と問題提起

本論文は、LoRA（Low-Rank Adaptation）アダプタのデプロイにおいて一般的に行われている「名目上のラベル（例：インストラクションチューニング済み）」と、実際のタスク間での能力向上が一致するかどうかを検証する実証研究です。

核心的な問題：
モデルの選択やデプロイにおいて、トレーニング時に付与された「インストラクションチューニング済み」や「数値推論チューニング済み」といったラベルは、そのアダプタが実際にどのような能力を獲得したかを正確に反映しているという前提が広く使われています。しかし、著者らはこの前提が、特に「厳密かつ自動検証可能なインストラクション遵守（Verifiable Instruction Following）」において、必ずしも成り立たないことを示しました。名目上のトレーニング目的と、実際のクロスタスク評価における能力向上の間に「能力の漂流（Capability Drift）」と呼ばれる不一致が生じるケースが頻発していることが発見されました。

2. 手法と実験設定

2.1 実験環境

• ベースモデル: Qwen3-8B/14B、Llama3-8B-Instruct、Qwen2.5-7B-Instruct など複数のモデル。
• アダプタ: 異なる名目目的でトレーニングされた LoRA アダプタ（「数値推論チューニング済み（Reason）」と「インストラクションチューニング済み（Instr）」）。
• 評価タスクと指標:
  1. 数値推論ベンチマーク: 数値一致（Numeric Match, NM）を指標として使用。
  2. 検証可能なインストラクション遵守: IFEval（Zhou et al., 2023）を使用。厳密かつ自動検証可能な制約の遵守度を測定。
     • ILA (Instruction-Level Accuracy): 個々の指示制約の満足度。
     • PLA (Prompt-Level Accuracy): プロンプト全体の制約完全遵守度（本研究の主要ターゲット指標）。
  3. ドメイン QA: 補助的な評価タスク。

2.2 分析方法：ドリフトスコア（Drift Score）

名目上の目標タスクの向上と、他のタスク（オフターゲット）での向上の差を定量化するために「ドリフトスコア」を定義しました。

• TargetGain: アダプタの目標タスク（例：インストラクションチューニングなら IFEval PLA）におけるベースモデルからの改善量。
• OffTargetGain: 別のタスク（例：数値推論 NM）における改善量。
• DriftScore = OffTargetGain - TargetGain
  • 正の値が大きい場合、ターゲットタスクの向上よりも、意図しないタスクでの向上が顕著であることを示します。

3. 主要な結果

3.1 名目ラベルと実能力の不一致（Capability Drift）

実験結果は、名目上のラベルが実際の能力向上を予測できないことを示しました。

• 代表的なケース（Table 1）: 「インストラクションチューニング済み」のアダプタは、本来の目標である IFEval（厳密なインストラクション遵守）のスコアを向上させませんでした（PLA: 0.250 → 0.143 とむしろ低下）。
• 意外な向上: 一方で、このアダプタは「数値推論」タスク（NM ベンチマーク）において、ベースモデル（0.133）から大幅な改善（0.632）を示しました。
• 結論: インストラクションチューニングを行ったにもかかわらず、厳密な制約遵守は向上せず、むしろ数値タスクでの能力が飛躍的に向上するという、名目と実態の乖離が確認されました。

3.2 頑健性と設定依存性

• 再現性: 複数のシード（5 回）、ベースモデル、LoRA 設定（ランク、学習率など）において、この不一致パターンは反復的に観察されました。
• 設定依存性: 不一致の度合いは設定に敏感です。多くの設定で正のドリフトスコア（オフターゲット向上 > ターゲット向上）が見られましたが、一部の設定（特定のモデルと LoRA 設定の組み合わせ）では、ドリフトスコアがゼロに近い、あるいはわずかに負の値（ターゲット向上の方が大きい）を示すケースも確認されました。これはパターンが普遍的ではないが、頻発する現象であることを示唆しています。

3.3 ベンチマーク間の不一致

• IFEval と他ベンチマーク: 厳密な自動検証ベンチマーク（IFEval, IFBench）ではインストラクションアダプタの向上が見られなかったのに対し、より広範な「インストラクション遵守」を定義する FollowBench などのベンチマークでは向上が見られました。
• 示唆: 「インストラクション遵守」という概念はベンチマークによって実装（オペラショナル化）が異なり、ベンチマーク間の合意を前提とすべきではないことが示されました。

3.4 詳細分析

• 制約タイプの偏り: IFEval 内での詳細な分析では、言語制約（例：特定の単語の出現）や形式制約など、特定のタイプで性能が低下する一方、他のタイプでは向上する「選択的なシフト」が確認されました。
• 局所的解释の否定: LoRA 更新の幾何学的な重なりを分析しましたが、特定のモジュールや方向に起因する単純な局所的な説明（Localized Explanation）は得られませんでした。

4. 主要な貢献

1. デプロイ指向のクロスタスク診断フレームワークの提案:
   アダプタの名目ラベルやトレーニング目的が、評価下での実際のクロスタスク能力向上と一致するかどうかを検証する実用的な枠組みを提示しました。
2. 頑健な不一致の証拠:
   複数のシード、モデル、LoRA 設定にわたるデータにより、名目ラベルと実能力の不一致が反復的に発生し、設定に敏感であることを実証しました（ゼロまたは負のケースを含む）。
3. 制御された対照例の提示:
   「インストラクションチューニング済み」アダプタが、厳密な自動検証可能なインストラクション遵守（IFEval）を向上させないまま、オフターゲットの数値推論ベンチマークで大幅な改善を示すという具体的な事例を提供しました。

5. 意義と示唆

• 名目ラベルの限界: 「インストラクションチューニング済み」というラベルは、厳密な制約遵守能力の向上を保証するものではなく、デプロイ時の信頼できる能力の代理指標として扱うべきではありません。
• デプロイ前の評価の重要性: 実用的な示唆として、モデルをデプロイする前に、名目上のタスクだけでなく、関連する他のタスク（クロスタスク）での評価を定期的に行う必要があります。これにより、意図しない能力のシフト（Off-target shifts）を検出できます。
• ベンチマークの多様性への注意: インストラクション遵守の測定はベンチマークに依存するため、単一のベンチマークの結果だけでモデルの能力を判断することは危険です。特に「厳密な自動検証」が可能かどうかは重要な区別です。

結論:
本論文は、LoRA アダプタの能力評価において、名目上のトレーニング目的に過度に依存せず、実用的なクロスタスク評価を重視する必要性を強く訴えるものです。特に、厳密なインストラクション遵守が向上しているとは限らないという発見は、AI モデルの安全性や信頼性を確保する上で重要な知見を提供しています。