Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

本論文は、非ロバストな事前学習モデルからの強固な微調整において発生する「最適でない転移」の問題を特定し、訓練中の摂動強度を調整する「Epsilon-Scheduling」という新規手法と、新たな評価指標「期待ロバスト性」を提案することで、この課題を解決し、モデルの精度とロバスト性の両立を達成することを示しています。

要約

この論文は、「強くて賢い AI（事前学習済みモデル）」を、さらに特定の任務に特化させる（微調整する）際、どうすれば「ハッキング（敵対的攻撃）に強いまま」にできるかという問題を解決した研究です。

特に、**「ハッキングに弱い状態で作られた AI」を、無理やり「ハッキングに強い AI」に改造しようとしたときに起きる「失敗」を発見し、それを防ぐ「新しいトレーニング方法」**を提案しています。

以下に、専門用語を避け、日常の比喩を使ってわかりやすく解説します。

---

1. 背景：なぜこの研究が必要なのか？

現代の AI 開発では、すでに大量のデータで学習済みの「万能な AI（事前学習済みモデル）」をベースにして、特定のタスク（例えば、犬の品種を識別するなど）に特化させるのが一般的です。これを**「微調整（Fine-tuning）」**と呼びます。

しかし、現実世界では AI がハッキング（敵対的攻撃）されて、意図しない判断をするリスクがあります。例えば、信号機に小さなシールを貼るだけで、自動運転車が「止まれ」を「進め」と誤認してしまうようなことです。

そこで、研究者たちは「ハッキングに強い AI」を作ろうと、微調整の過程で**「わざと少し歪んだ画像（攻撃データ）」を見せて学習させる**方法（ロバスト微調整）を試みました。

【問題点：期待外れの結果】
ところが、この研究チームは驚くべき事実を発見しました。
「ハッキングに弱い AI」をベースに、無理やり「ハッキングに強い AI」になろうとすると、逆に AI がバカになってしまい、本来の任務（例えば犬の識別）もできなくなってしまうことがあったのです。

• 比喩：
  優秀な料理人（事前学習済みモデル）が、新しいメニュー（下流タスク）を習得しようとしています。
  ところが、指導者が「もし客が毒入りのおかずを食べても大丈夫なように、常に毒を想定して料理しなさい！」と、最初から過剰な警戒心を強要しました。
  その結果、料理人は「毒対策」に夢中になりすぎて、「美味しい料理を作る」という本来の目的を忘れ、味も形も崩れてしまったのです。これを論文では**「最適ではない転送（Suboptimal Transfer）」**と呼んでいます。

2. 原因の発見：なぜ失敗するのか？

なぜこんなことが起きるのでしょうか？
研究チームは、AI の学習過程を詳しく観察することで、**「適応の遅れ」**という原因を見つけました。

• 通常の方法： 最初から「毒対策（攻撃データ）」を混ぜて学習させると、AI は混乱して、新しい料理のレシピ（タスクの学習）を覚え始めるのが非常に遅れます。
• 結果： 学習期間が短くなり、結局「毒対策」も「美味しい料理」も中途半端なまま終わってしまいます。

【比喩：スポーツ選手】
新しい戦術（タスク）を習得しようとしている選手に、最初から「相手がどんな攻撃もしてくる」と想定して、全力で防御しながら戦うように指示するとどうなるでしょうか？
選手は「どう攻めるか（タスク）」を学ぶどころか、「どう守るか（防御）」に必死になり、攻撃の練習が全く進みません。
その結果、試合が終わる頃には、攻撃も防御も中途半端な選手になってしまいます。

3. 解決策：「イプシロン・スケジューリング」

この失敗を防ぐために、チームは**「イプシロン・スケジューリング（Epsilon-Scheduling）」**という新しいトレーニング方法を提案しました。

これは、**「学習の難易度を段階的に上げる」**という、人間の教育やスポーツのトレーニングに似たアプローチです。

• ステップ 1（序盤）： まず**「毒なし（攻撃なし）」**の状態で、新しい料理のレシピ（タスク）を完璧に覚えるまで練習します。
• ステップ 2（中盤）： 徐々に**「毒（攻撃データ）」**の量を少しずつ増やしていきます。
• ステップ 3（終盤）： 最後には、**「最大限の毒」**に対しても耐えられるように仕上げます。

【比喩：水泳の練習】

• 失敗した方法： 初心者に対して、いきなり「激しい波（強い攻撃）」の中で泳ぐ練習をさせる。→ 溺れてしまう（タスク学習が失敗する）。
• 新しい方法（イプシロン・スケジューリング）：
  1. まず静かなプールで泳ぎ方をマスターする。
  2. 少しずつ波を起こして、波に耐える練習をする。
  3. 最後は荒れた海でも泳げるようにする。
     この方法なら、泳ぎ方（タスク）も、波への耐性（強靭さ）も、両方身につけることができます。

4. 新しい評価基準：「期待される強靭さ」

これまでの評価は、「最大限の攻撃（波）に耐えられたか」だけを見ていました。しかし、現実には「全く波がない日」もあれば「少し波がある日」もあります。

そこで、この論文では**「期待される強靭さ（Expected Robustness）」**という新しい指標を導入しました。

• 意味： 「波が全くない状態」から「最大限の波」まで、すべてのレベルでの性能の平均を評価するものです。
• 効果： これにより、単に「最大限の攻撃に耐える」だけでなく、「どんな状況でもバランスよく高い性能を発揮する」AI を選べるようになります。

5. 結論：何がすごいのか？

• 発見： 「ハッキングに弱い AI」から「強い AI」を作ろうとすると、無理やり防御を重視させすぎると、本来の能力が失われる（失敗する）ことがわかった。
• 解決： 学習の初めは「タスク学習」に集中し、徐々に「防御学習」に移行する**「段階的なトレーニング」**を行うことで、この失敗を防ぎ、両方の性能を向上させた。
• 意義： これまで「ハッキングに強い AI」を作るには、最初から「ハッキングに強い AI」で学習させる必要があったが、この方法を使えば、安価で手に入りやすい「普通の AI」からでも、高性能な「強い AI」を作れるようになった。

一言で言うと：
「いきなり過酷な環境で鍛えようとすると、人は壊れてしまう。まずは基礎を固め、徐々に難易度を上げていくことで、本当の意味で強くて賢い AI を作れる」という、AI 教育の新しい黄金律を見つけた研究です。

技術概要

論文サマリー：ROBUST FINE-TUNING FROM NON-ROBUST PRE-TRAINED MODELS: MITIGATING SUBOPTIMAL TRANSFER WITH EPSILON-SCHEDULING

発表場所: ICLR 2026
著者: Jonas Ngnawé, Maxime Heuillet, Sabyasachi Sahoo, 他 (Université Laval, Mila, CortAIx Labs, 他)

1. 概要と背景

現代の機械学習において、事前学習済みモデル（バックボーン）を下游タスクに微調整（Fine-tuning）することは標準的なワークフローです。しかし、敵対的攻撃に対する耐性（ロバスト性）を維持しつつ微調整を行う「ロバスト微調整（Robust Fine-tuning: RFT）」は依然として課題です。

既存の研究の多くは、ロバストに事前学習されたモデルを前提としていますが、実際にはオープンソースリポジトリにはロバストではない（非ロバストな）事前学習モデルが大多数存在します。本論文は、これらの非ロバストなモデルから RFT を行う際の課題を体系的に調査し、新しい解決策を提案しています。

2. 問題定義：サブオプティマル・トランスファー（Suboptimal Transfer）

著者らは、非ロバストな事前学習モデルに対して、敵対的トレーニング（Adversarial Training）の目的関数を用いて微調整を行う際、以下のような深刻な現象が発生することを発見しました。

• 現象: 敵対的ノイズの強度（$\epsilon_g$）が比較的小さな場合でも、標準的な微調整（$\epsilon_g=0$）に比べてクリーン精度（Clean Accuracy）が著しく低下する。
• サブオプティマル・トランスファー: 場合によっては、微調整後のモデルがタスクをほとんど学習できず（精度がランダムレベルに近い）、事前学習の恩恵が失われる「転移失敗」ともいえる状態に至る。
• 原因の特定: 従来の微調整ではタスクへの適応が即座に始まりますが、RFT-fix（固定強度の敵対的トレーニング）では、タスクへの適応が大幅に遅延します。この「適応の遅延」が、サブオプティマルな転移と強く相関していることが判明しました。

3. 提案手法：Epsilon-Scheduling

この課題を解決するため、著者らはEpsilon-Scheduling（$\epsilon$ スケジューリング）と呼ばれる新しいヒューリスティック手法を提案しました。

• 仕組み: 訓練中の敵対的ノイズの強度 $\epsilon$ を固定せず、訓練エポックに応じて動的に変化させます。
  1. 適応フェーズ ($0 \le t < T_1$): 最初の $T_1$ エポックは、$\epsilon = 0$（標準的な微調整）でモデルをタスクに適合させます。
  2. 遷移フェーズ ($T_1 \le t < T_2$): ノイズ強度を $0$から目標値$\epsilon_g$ まで線形に増加させます。
  3. ロバスト化フェーズ ($t \ge T_2$): 目標強度 $\epsilon_g$ で固定し、敵対的トレーニングを完了します。
• 直観: これは「カリキュラム学習」の一種であり、モデルがまずタスクを学習し、その後徐々に敵対的ノイズに慣らすことで、タスク適応の遅延を防ぎます。

4. 新規評価指標：Expected Robustness（期待ロバスト性）

従来の評価指標（クリーン精度と特定の $\epsilon_g$ におけるロバスト精度のみ）では、中間的なノイズ強度での性能トレードオフが見えにくいという課題があります。そこで、新しい評価指標Expected Robustnessを提案しました。

• 定義: ノイズ強度 $\epsilon$ が $0$から目標値$\epsilon_g$ までの一様分布に従う場合の、モデル精度の期待値（平均）です。
• 計算: 精度曲線と $\epsilon$ 軸で囲まれた面積（AUC）を正規化した値として計算されます。
• 意義: クリーン精度とロバスト精度のトレードオフを包括的に評価でき、実用的な脅威モデル（ノイズが必ずしも最大強度でない場合）を反映します。

5. 実験結果

6 つの事前学習モデル（ViT, Swin, ConvNeXt, ResNet, CLIP 系など）と 5 つのデータセット（Caltech, CUB, Cars, Dogs, Aircraft）を用いた広範な実験を行いました。

• サブオプティマル転移の防止:
  • 中程度のノイズ強度（$\epsilon_g = 4/255$）および高い強度（$\epsilon_g = 8/255$）の両方において、Epsilon-Scheduling は RFT-fix（固定強度）による精度の急激な低下を防ぎました。
  • 特に $\epsilon_g = 8/255$ の場合、RFT-fix は多くの設定で転移に失敗しましたが、Epsilon-Scheduling は高いクリーン精度を維持しつつ、ロバスト性も確保しました。
• Expected Robustness の向上:
  • 提案手法は、すべての設定で Expected Robustness を向上させました。これは、クリーン精度の大幅な改善によるものです。
  • 最悪ケースのロバスト精度が同程度、あるいは若干劣る場合でも、Expected Robustness は提案手法で優位でした。
• ロバストなバックボーンへの適用:
  • すでにロバストに事前学習されたモデルに対しても適用可能ですが、その効果は非ロバストなモデルに比べて小さくなります。それでも、クリーン精度の向上が見られました。
• 最適化プロセスの分析:
  • Epsilon-Scheduling は、RFT-fix が到達するとは異なる局所最適解（クリーン損失が低く、敵対的損失も同程度に低い解）に収束することを示しました。

6. 結論と意義

• 主要な貢献:
  1. 非ロバストな事前学習モデルからの RFT において、タスク適応の遅延がサブオプティマルな転移を引き起こすメカニズムを解明。
  2. Epsilon-Scheduling という単純かつ効果的なスケジューリング手法の提案。
  3. 精度とロバスト性のトレードオフを包括的に評価する「Expected Robustness」の導入。
• 実用的意義:
  • 現在、広く利用されている非ロバストな事前学習モデル（HuggingFace 等）を、敵対的攻撃に耐性のある下游タスクモデルへ転用するための実用的な戦略を提供します。
  • 「ロバストな事前学習」が必須ではないことを示唆し、研究と実装のギャップを埋める重要なステップとなります。

本論文は、敵対的ロバスト性を追求する際、単にノイズを強めるだけでなく、学習の順序（スケジュール）を最適化することが、転移学習の成功において決定的に重要であることを示しています。