📊 statistics

Vision Transformer Finetuning Benefits from Non-Smooth Components

Cet article démontre que donner la priorité à l'adaptation des composants à haute plasticité (moins lisses), spécifiquement les couches d'attention et de feedforward, améliore considérablement les performances de finetuning des Vision Transformers, remettant en question l'hypothèse prédominante selon laquelle la lissé est toujours souhaitable pour le transfert d'apprentissage.

Auteurs originaux : Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

Publié 2026-06-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un expert hautement qualifié, comme un maître cuisinier qui a passé des années à cuisiner des milliers de plats différents. Ce chef est votre Vision Transformer (ViT), un modèle d'IA puissant qui comprend les images. Maintenant, vous voulez que ce chef se spécialise dans une nouvelle tâche précise, comme la confection de sushis parfaits. Ce processus consistant à enseigner une nouvelle compétence à l'expert est appelé ajustement fin (finetuning).

Pendant longtemps, les chercheurs ont cru que pour bien enseigner une nouvelle compétence à ce chef, il fallait que ses mouvements soient fluides, réguliers et prévisibles. Vous vouliez qu'il réagisse avec douceur aux nouveaux ingrédients. Mais ce nouvel article soutient que cette « fluidité » pourrait en réalité le freiner. Au lieu de cela, l'article suggère que les chefs les plus performants sont ceux qui sont capables d'être un peu bruts, réactifs et « plastiques » (flexibles).

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Le concept : Fluidité vs Plasticité

Considérez le modèle d'IA comme une machine composée de différentes parties :

LayerNorm (Les amortisseurs) : Ces parties lissent les données, s'assurant que rien ne change de manière trop sauvage. Elles sont comme la suspension d'une voiture, maintenant une conduite stable.
Modules d'attention et couches Feedforward (Le moteur et le volant) : Ce sont les parties qui analysent réellement les données, décident de ce qui est important et modifient le résultat.

L'article introduit un concept appelé Plasticité.

Faible plasticité (Fluide) : Si vous poussez la voiture, elle bouge à peine. Elle est très stable, mais il est difficile de la diriger rapidement vers une nouvelle destination.
Haute plasticité (Non fluide) : Si vous poussez la voiture, elle réagit immédiatement et de manière spectaculaire. Elle est saccadée et sensible, mais elle peut changer de direction très rapidement.

2. La grande découverte

Les chercheurs ont mené plus de 1 000 expériences pour voir quelles parties du modèle d'IA devraient être mises à jour lorsqu'on lui enseigne une nouvelle tâche. Ils ont découvert un schéma surprenant :

Les parties « fluides » (LayerNorms) sont en fait les pires à mettre à jour. Parce qu'elles sont conçues pour être stables et immuables, elles résistent à l'apprentissage de nouvelles choses. Les mettre à jour revient à essayer de diriger une voiture en n'ajustant que les amortisseurs ; c'est lent et inefficace.
Les parties « brutes » (Couches d'attention et Feedforward) sont les meilleures à mettre à jour. Ces parties ont une haute plasticité. Elles sont naturellement sensibles et réactives. Lorsque vous les peaufinez, elles changent le comportement du modèle rapidement et efficacement, lui permettant d'apprendre la nouvelle tâche (comme la confection de sushis) beaucoup plus vite et mieux.

3. L'analogie du paysage de perte (Loss Landscape)

Imaginez le processus d'apprentissage comme un randonneur essayant de trouver le fond d'une vallée (la meilleure solution).

Les composants fluides sont comme marcher sur une plaine plate et boueuse. Vous faites de petits pas prudents, mais vous avancez très lentement. Vous pourriez rester coincé dans un petit creux et ne jamais trouver le véritable fond.
Les composants à haute plasticité sont comme marcher sur une pente rocheuse et escarpée. Vous faites de grands pas audacieux. Vous pourriez trébucher un peu, mais vous pouvez couvrir du terrain beaucoup plus rapidement et trouver le fond de la vallée bien plus vite.

4. Ce que cela signifie pour les praticiens

Si vous êtes un ingénieur essayant d'adapter un grand modèle d'IA à un nouveau travail, cet article vous donne une règle d'or :

Ne perdez pas de temps à essayer de mettre à jour les parties « fluides » (les couches de normalisation). Elles sont trop rigides.
Concentrez votre énergie sur les parties « non fluides » (les mécanismes d'attention et les couches feedforward). Ce sont les parties flexibles et réactives qui pilotent l'apprentissage.

Résumé

L'article renverse l'idée reçue. Nous pensions auparavant que rendre les modèles d'IA « fluides » et stables était toujours une bonne chose. Cette recherche montre que pour apprendre de nouvelles tâches, on veut en réalité une certaine rugosité et flexibilité. Les parties de l'IA qui sont les plus sensibles au changement (haute plasticité) sont celles qui apprennent le mieux.

En bref : Pour apprendre un nouveau tour à une IA, n'essayez pas de la lisser. Laissez les parties qui sont déjà nerveuses et réactives faire le gros du travail.

Résumé Technique : Les bénéfices du réglage fin des Vision Transformers issus de composants non lisses

Problématique

Bien que la lissité des architectures de transformeurs ait été largement étudiée concernant la généralisation, la stabilité de l'entraînement et la robustesse adverse, son rôle spécifique dans l'apprentissage par transfert (réglage fin ou finetuning) reste mal compris. Les hypothèses prédominantes suggèrent que favoriser la lissité (par exemple, via une régularisation de Lipschitz) est bénéfique pour l'apprentissage. Cependant, dans le contexte de l'adaptation de modèles de fondation à des tâches en aval, une lissité excessive peut entraver la capacité d'un composant à adapter ses sorties aux changements d'entrées, freinant ainsi les performances. L'article répond à la question suivante : Quels composants de transformeurs doivent être prioritaires lors du réglage fin, et pourquoi ?

Méthodologie

Les auteurs proposent une analyse systématique, composant par composant, des Vision Transformers (ViT) basée sur une nouvelle métrique appelée plasticité.

1. Définition de la plasticité

L'article définit la plasticité d'un composant de transformeur $f$ comme son taux de variation moyen par rapport aux perturbations d'entrée. Formellement, pour un composant $f$ et une distribution uniforme $\nu$ sur des paires distinctes de séquences de jetons $(x, y)$ , la plasticité $P(f)$ est :
$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$

Haute plasticité ( $P(f) > 1$ ) : Indique une faible lissité (non-lisse), où le composant amplifie les changements d'entrée en moyenne.
Faible plasticité ( $P(f) < 1$ ) : Indique une haute lissité, où le composant contracte les changements d'entrée.

2. Analyse théorique

Les auteurs dérivent des bornes supérieures théoriques sur la plasticité des composants standards des ViT :

LayerNorm : Prouvée avoir une borne supérieure étroite dépendant de l'inverse de l'écart-type minimal des jetons et de la norme des poids.
Couches Feedforward (FC) : Bornées par la norme spectrale des matrices de poids.
Multi-Head Self-Attention (MHA) : Bornée par un terme impliquant les normes spectrales des poids et la longueur de la séquence $n$ . L'analyse montre que la MHA possède une borne plus lâche (potentiel de plasticité plus élevé) que les LayerNorms et les couches linéaires, particulièrement à mesure que la longueur de la séquence augmente.

Cela conduit à un classement théorique de la plasticité : MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Validation empirique

Mesure de la plasticité : Les auteurs ont calculé la métrique de plasticité sur des ViT pré-entraînés (Base, Large, Huge) à travers 11 benchmarks de classification divers (incluant CIFAR, DomainNet, Flowers, Pets) et ont étendu l'analyse aux modèles auto-supervisés (DINOv3) et aux LLM (GPT-2).
Expériences de réglage fin : Pour isoler l'effet de composants spécifiques, les auteurs ont réalisé plus de 1 000 sessions de réglage fin sur un ViT de 86 millions de paramètres. Dans chaque session, un seul type spécifique de composant (par exemple, uniquement MHA, uniquement FC1, uniquement LN1) était mis à jour tandis que les autres étaient gelés.
Optimisation : Les expériences ont été effectuées en utilisant les optimiseurs SGD et Adam à travers un balayage de taux d'apprentissage et de graines aléatoires pour garantir la robustesse.

Résultats Clés

1. Classement de la plasticité empirique

Les données expérimentales ont confirmé le classement théorique. À travers tous les benchmarks et échelles de modèles (ViT-Base à ViT-Huge, et extension à DINOv3 et GPT-2) :

MHA a systématiquement présenté la plasticité la plus élevée ( $P(f) > 1$ ).
Les couches Feedforward (FC1, FC2) suivent avec une plasticité élevée.
Les LayerNorms (LN2, LN1) ont présenté la plasticité la plus faible ( $P(f) < 1$ ), agissant comme des composants « rigides » ou lisses.

2. Performance du réglage fin

Les expériences de réglage fin par composant ont révélé une corrélation directe entre plasticité et performance en aval :

Précision supérieure : L'adaptation de composants à haute plasticité (MHA et couches FC) a systématiquement produit une précision top-1 plus élevée que l'adaptation de composants à faible plasticité (LayerNorms).
Signification statistique : Sur des jeux de données exigeants (ex: CIFAR-100, Sketch, Clipart), les couches MHA et FC ont nettement surpassé les LayerNorms. Par exemple, le réglage fin de la MHA seule a souvent dépassé les bases de référence de réglage fin complet sur de petits jeux de données.
Robustesse : Les composants à haute plasticité ont démontré une plus grande stabilité à travers différents taux d'apprentissage et graines d'initialisation, mont'rant une variance moindre de performance.
Dynamique d'optimisation : L'article a observé que les composants à haute plasticité génèrent des normes de gradient plus grandes pendant l'entraînement, menant à une descente de perte plus abrupte et une convergence plus rapide vers les minima locaux. Cela contraste avec les composants lisses, qui contraignent les normes de gradient et entraînent une optimisation plus lente.

3. Comparaison avec les méthodes de PEFT (Parameter-Efficient Fine-Tuning)

L'étude a révélé que le réglage sélectif des composants à haute plasticité (ex: MHA) peut être compétitif, voire supérieur, aux méthodes populaires de PEFT comme LoRA, même avec nettement moins de paramètres entraînables. Par exemple, le réglage fin des seules LayerNorms avec Adam a surpassé LoRA sur CIFAR-100 avec 15 fois moins de paramètres, bien que le réglage de la MHA ait généralement donné les meilleurs résultats.

Signification et Revendications

L'article prétend offrir une nouvelle perspective sur les propriétés fonctionnelles des transformeurs, remettant en question l'idée reçue selon laquelle la lissité est universellement souhaitable pour l'apprentissage.

Changement de paradigage : Les auteurs soutiennent que si la lissité aide à la généralisation et à la stabilité lors du pré-entraînement, la non-lissité (haute plasticité) est le facteur critique permettant une adaptation efficace lors du réglage fin.
Conseils pratiques : Ce travail fournit des orientations fondées pour les praticiens : lors de la conception de stratégies de réglage fin économes en paramètres, la priorité doit être donnée aux modules d'attention et aux couches feedforward plutôt qu'aux couches de normalisation.
Pont entre théorie et pratique : L'article réussit à lier les bornes théoriques des constantes de Lipschitz aux dynamiques d'optimisation empiriques, démontrant que la « plasticité » d'un module dicte sa capacité à porter l'information des données en aval et à faciliter l'optimisation par gradient.

Les auteurs concluent que comprendre et exploiter la plasticité des composants non lisses est essentiel pour concevoir des méthodes d'adaptation plus efficaces pour les modèles de fondation.