Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

Cet article propose une méthode de « Epsilon-Scheduling » et une nouvelle métrique d'« expected robustness » pour surmonter le transfert sous-optimal lors du fine-tuning robuste de modèles préentraînés non robustes, permettant ainsi d'améliorer simultanément l'adaptation à la tâche et la résistance aux exemples adverses.

L'essentiel

🛡️ Le Dilemme du "Super-Héros" : Comment rendre un modèle robuste sans le briser ?

Imaginez que vous avez un cuisinier de génie (c'est le modèle pré-entraîné) qui a passé des années à apprendre à cuisiner des plats délicieux pour des millions de personnes. Il est excellent, rapide et généraliste.

Maintenant, vous voulez l'engager pour un restaurant très spécifique : un restaurant de haute sécurité où il faut préparer des plats qui résistent aux tentatives d'empoisonnement (c'est le "fine-tuning robuste").

Le problème ? Ce cuisinier n'a jamais appris à se défendre contre les empoisonneurs. Si vous lui dites dès le premier jour : "Attention, chaque ingrédient pourrait être empoisonné, défends-toi !", il va paniquer. Il va arrêter de cuisiner correctement, devenir confus, et au final, son plat sera immangeable, même sans poison. C'est ce que les chercheurs appellent un "transfert sous-optimal" : le modèle échoue à s'adapter à sa nouvelle tâche parce qu'il essaie trop tôt de se défendre.

📉 Le Problème : La Panique Immédiate

Dans le papier, les auteurs montrent que si vous prenez un modèle standard (non-robuste) et que vous essayez de le rendre résistant aux attaques (les "perturbations" ou "empoisonnements") dès le début de l'entraînement, il s'effondre.

• L'analogie : C'est comme essayer d'apprendre à un enfant à faire du vélo tout en lui mettant des poids de 50 kg sur les épaules dès la première seconde. Il va tomber, se faire mal, et ne jamais apprendre à rouler.
• La découverte : Les chercheurs ont vu que le modèle met beaucoup de temps à comprendre ce qu'il doit apprendre (la tâche) parce qu'il est trop occupé à se défendre (la robustesse). Cette "panique" retarde son apprentissage et le rend mauvais, même sur des tâches simples.

💡 La Solution : L'Épsilon-Scheduling (Le "Calendrier de la Robustesse")

Pour résoudre ce problème, les auteurs proposent une méthode intelligente appelée Epsilon-Scheduling. Au lieu de lancer le cuisinier dans la bataille tout de suite, on lui donne un calendrier progressif.

Voici comment ça marche, étape par étape :

1. Phase 1 : L'Apprentissage tranquille (Les premières semaines)

   • On dit au modèle : "Oublie les attaques pour l'instant. Concentre-toi juste sur ton nouveau métier."
   • On utilise une perturbation de zéro. Le modèle apprend à faire son travail (reconnaître des chiens, des avions, etc.) sans stress. Il devient bon dans sa tâche.

2. Phase 2 : L'Entraînement progressif (Le milieu du stage)

   • Une fois qu'il est à l'aise, on commence doucement à ajouter des petits défis.
   • On augmente progressivement la difficulté des attaques (comme si on ajoutait un peu de poids sur le vélo, puis un peu plus).
   • Le modèle apprend à s'adapter sans être submergé.

3. Phase 3 : La Maîtrise totale (La fin)

   • À la fin, le modèle est confronté à la difficulté maximale qu'on lui demandait.
   • Résultat : Il est à la fois excellent dans son métier (il reconnaît bien les images) et très résistant aux attaques.

L'analogie : C'est comme un entraînement militaire. On ne lance pas un soldat dans la bataille avec des obus dès le premier jour. On commence par la marche, puis le tir au stand, puis des exercices de simulation, et enfin le vrai combat. Le soldat survit et devient un expert.

📊 Une Nouvelle Façon de Mesurer la Performance

Les chercheurs ont aussi remarqué qu'on jugeait mal les modèles. On regardait souvent seulement deux choses :

1. Est-ce qu'il marche bien sur des images normales ? (Précision "propre")
2. Est-ce qu'il marche bien sur des images très attaquées ? (Précision "robuste")

Mais qu'en est-il des attaques moyennes ? C'est là qu'ils introduisent un nouveau concept : la Robustesse Attendue.

• L'analogie : Imaginez que vous testez un pare-brise de voiture.
  • L'ancienne méthode disait : "Il résiste à une balle de fusil (parfait) ou il casse avec une pierre (échec)."
  • La nouvelle méthode (Robustesse Attendue) dit : "Regardons la moyenne de sa performance face à tout : un grain de sable, une pierre, un caillou, jusqu'à la balle."
  • Cela donne une image beaucoup plus juste de la sécurité réelle du modèle dans le monde réel, où les attaques ne sont pas toujours extrêmes.

🏆 Les Résultats : Pourquoi c'est important ?

Grâce à cette méthode (Epsilon-Scheduling) :

• Les modèles qui échouaient complètement (avec des scores catastrophiques) sont redevenus performants.
• Ils sont devenus plus forts que les méthodes précédentes, même sur des tâches très difficiles (comme distinguer des avions très similaires).
• Cela prouve qu'on n'a pas besoin de modèles "pré-entraînés parfaits" pour tout recommencer. On peut prendre n'importe quel modèle standard et le rendre robuste, à condition de lui donner le bon rythme d'apprentissage.

En Résumé

Ce papier nous apprend que la patience est la clé. Pour rendre une intelligence artificielle résistante aux attaques sans la rendre stupide, il ne faut pas lui mettre la pression tout de suite. Il faut lui apprendre d'abord son métier, puis lui apprendre à se défendre, étape par étape. C'est une victoire pour l'efficacité et la sécurité de l'IA dans le monde réel.

Résumé technique

1. Problématique : Le transfert sous-optimal en Robust Fine-Tuning (RFT)

Le Fine-Tuning (ajustement fin) de modèles pré-entraînés est la norme en apprentissage automatique. Cependant, dans des applications critiques, la vulnérabilité aux exemples adverses (attaques par perturbation) est un problème majeur. La Robust Fine-Tuning (RFT) vise à adapter un modèle à une tâche tout en le rendant robuste, généralement via un entraînement adversaire (Adversarial Training - AT).

Le problème central identifié par les auteurs est le suivant :

• La plupart des modèles pré-entraînés disponibles publiquement (sur Hugging Face, par exemple) ne sont pas robustes.
• Les travaux précédents supposent souvent l'accès à des modèles pré-entraînés robustes.
• Lorsqu'on tente d'appliquer une RFT standard (en utilisant une perturbation cible fixe $\epsilon_g$ dès le début) sur des modèles non robustes, on observe un phénomène de transfert sous-optimal.
• Conséquence : Même pour de faibles perturbations, la précision sur les données propres (clean accuracy) chute drastiquement, parfois jusqu'à des niveaux proches du hasard, rendant le transfert inefficace. Ce phénomène est particulièrement sévère sur des tâches difficiles (ex: classification d'avions) et dépend de l'architecture du modèle (ex: ViT vs Swin).

2. Analyse et Mécanisme Découvert

Les auteurs ont analysé la dynamique de l'entraînement et ont mis en évidence un mécanisme clé :

• Retard dans l'adaptation à la tâche : Dans un fine-tuning standard, le modèle s'adapte immédiatement à la nouvelle tâche. En RFT standard (avec perturbation fixe), l'objectif de robustesse déforme les caractéristiques pertinentes pour la tâche dès le début, empêchant l'adaptation initiale.
• Corrélation négative : Il existe une corrélation forte entre le délai d'adaptation (le nombre d'époques avant que la précision ne commence à augmenter) et la sévérité du transfert sous-optimal. Plus le délai est long, plus la performance finale est mauvaise.
• Conflit d'optimisation : L'entraînement adversaire initial sur un modèle non robuste crée un paysage de perte où la minimisation de la perte adversaire va à l'encontre de la minimisation de la perte sur les données propres, bloquant le modèle dans un minimum local sous-optimal.

3. Méthodologie : Epsilon-Scheduling

Pour résoudre ce problème, les auteurs proposent une nouvelle heuristique appelée Epsilon-Scheduling.

• Principe : Au lieu d'utiliser une perturbation fixe $\epsilon_g$ tout au long de l'entraînement, la force de la perturbation $\epsilon(t)$ est modulée selon un calendrier linéaire à deux charnières (two-hinge linear schedule) :

  1. Phase d'adaptation ($t < T_1$) : $\epsilon(t) = 0$. Le modèle effectue un fine-tuning standard pour s'adapter à la tâche et atteindre une bonne précision sur les données propres.
  2. Phase de transition ($T_1 \le t < T_2$) : $\epsilon(t)$ augmente linéairement de 0 à $\epsilon_g$. Cela permet d'introduire progressivement la robustesse une fois que le modèle a bien appris la tâche.
  3. Phase de robustesse ($t \ge T_2$) : $\epsilon(t) = \epsilon_g$. L'entraînement se poursuit avec la perturbation cible maximale pour optimiser la robustesse finale.

• Paramètres :

  • $T_1$ : Définit la durée de la phase d'adaptation pure (sans perturbation).
  • $T_2$ : Définit le moment où la perturbation atteint sa valeur cible.
  • Cette approche peut être vue comme une forme d'apprentissage par curriculum (curriculum learning) appliquée à la force de l'attaque.

4. Nouvelle Métrique : Robustesse Attendue (Expected Robustness)

Les auteurs critiquent l'évaluation traditionnelle qui ne compare que la précision propre (clean) et la précision robuste à un seuil fixe (robust). Ils introduisent la Robustesse Attendue :

• Définition : C'est l'espérance de la précision du modèle sur l'intervalle complet de perturbations $[0, \epsilon_g]$, en supposant une distribution uniforme des perturbations.
• Calcul : C'est essentiellement l'aire sous la courbe (AUC) de la précision en fonction de la force de la perturbation, normalisée par $\epsilon_g$.
• Avantage : Cette métrique capture le compromis global entre précision et robustesse, offrant une vue plus complète qu'un simple point de mesure à $\epsilon_g$. Elle permet de mieux sélectionner les modèles qui maintiennent une bonne performance même face à des perturbations intermédiaires.

5. Résultats Expérimentaux

Les expériences ont été menées sur 6 modèles pré-entraînés (ViT, Swin, ConvNext, ResNet-50, CLIP-ViT, CLIP-ConvNext) et 5 jeux de données (CUB, Dogs, Caltech, Cars, Aircraft), avec des seuils de perturbation modérés ($4/255$) et élevés ($8/255$).

• Élimination du transfert sous-optimal : Epsilon-Scheduling permet d'éviter l'effondrement de la précision propre observé avec la méthode standard (RFT-fix).
• Amélioration de la Robustesse Attendue : La méthode proposée améliore systématiquement la métrique de robustesse attendue, souvent même lorsque la robustesse à $\epsilon_g$ est similaire ou légèrement inférieure à celle de la méthode fixe.
• Performance sur les modèles non robustes :
  • À $4/255$ : La méthode "scheduler" maintient une haute précision propre tout en obtenant une bonne robustesse, là où la méthode fixe échoue souvent.
  • À $8/255$ : La méthode fixe échoue presque totalement (précision proche de 0-5%), tandis que le scheduler préserve des performances significatives.
• Cas des modèles robustes : Même sur des modèles pré-entraînés robustes, le scheduler améliore la précision propre, bien qu'au prix d'une légère baisse de la robustesse à $\epsilon_g$ (mais avec une meilleure robustesse attendue globale).
• Automatisation : Une version automatique du scheduler (déclenchée par la convergence de la précision de validation) a également montré des résultats prometteurs, confirmant la généralité de l'approche.

6. Signification et Contributions Clés

1. Identification d'un problème critique : Démonstration que l'entraînement adversaire standard sur des modèles non robustes entraîne un échec de transfert, même pour de petites perturbations.
2. Analyse causale : Mise en évidence du lien entre le retard d'adaptation à la tâche et la dégradation des performances.
3. Solution simple et efficace : Introduction de l'Epsilon-Scheduling, une stratégie de calendrier de perturbation qui permet d'obtenir à la fois une bonne adaptation à la tâche et une robustesse, sans coût computationnel supplémentaire significatif.
4. Nouvelle métrique d'évaluation : Proposition de la "Robustesse Attendue" pour mieux évaluer le compromis précision-robustesse dans des scénarios réalistes.
5. Impact pratique : Cette méthode rend viable l'utilisation de la vaste bibliothèque de modèles pré-entraînés non robustes pour des applications nécessitant de la robustesse, comblant ainsi le fossé entre la recherche (souvent basée sur des modèles robustes coûteux) et le déploiement réel.

En conclusion, cet article démontre que la robustesse dans le transfert d'apprentissage ne nécessite pas impérativement un pré-entraînement robuste, à condition d'adapter la stratégie d'optimisation pour permettre une adaptation initiale à la tâche avant d'introduire la contrainte de robustesse.