💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

Cette étude démontre que l'application de méthodes de réglage fin efficace en paramètres, spécifiquement les adaptateurs et l'adaptation de bas rang (LoRA) à l'attention déformable, permet aux modèles basés sur les transformers d'atteindre des performances de segmentation d'instance compétitives en ne réglant fin que 1 à 6 % des paramètres, réduisant ainsi considérablement le coût computationnel par rapport au réglage fin traditionnel.

Auteurs originaux : Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le chef « surdimensionné »

Imaginez que vous avez un chef de renommée mondiale (un Grand Modèle Pré-entraîné) qui a passé des années à apprendre à cuisiner tous les plats imaginables. Ce chef connaît tout sur la nourriture, des pâtisseries françaises au sushi japonais.

Maintenant, vous voulez que ce chef cuisine un plat local très spécifique : la Segmentation d'Instance. En termes de vision par ordinateur, cela signifie non seulement dire « c'est un chien », mais aussi dessiner un contour parfait autour de chaque chien présent sur une photo, en distinguant chaque individu des autres.

Le Problème :
Pour apprendre à ce chef votre plat local spécifique, la méthode traditionnelle consiste à lui faire réapprendre tout depuis le début, ou du moins à lui faire réapprendre 40 à 55 % de l'ensemble de ses connaissances. C'est comme forcer le chef à oublier ses 10 dernières années de formation et à repartir de zéro. Cela demande un temps, une énergie et de l'argent (puissance de calcul) colossaux. De plus, dans le processus, il pourrait oublier comment cuisiner les autres plats pour lesquels il était célèbre.

La Solution (PEFT) :
Cet article explore une méthode plus intelligente appelée Fine-Tuning à Paramètres Efficaces (PEFT). Au lieu de réentraîner tout le chef, nous lui donnons une petite « fiche de recette » spécialisée ou un « tablier spécialisé » qui l'aide à s'adapter à votre plat spécifique sans modifier ses connaissances fondamentales.

Les chercheurs ont testé deux types de ces « fiches de recettes » :

Adapters (Adaptateurs) : De petits modules supplémentaires ajoutés au flux de travail du chef.
LoRA (Low-Rank Adaptation) : Une façon de modifier les notes existantes du chef avec des mises à jour très petites et efficaces.

Explication des deux « fiches de recettes »

1. Les Adapters : Les modules de « quête secondaire »

Considérez les Adapters comme l'ajout d'une petite cuisine spécialisée à la cuisine principale du chef.

Comment ça marche : Chaque fois que le chef effectue une étape majeure (comme hacher ou faire revenir les ingrédients), il fait une pause et fait passer les ingrédients dans cette petite cuisine latérale. La cuisine latérale ajoute une touche de « saveur locale » au plat avant qu'il ne retourne dans le flux principal.
L'expérience : Les chercheurs ont essayé d'ajouter 1, 2, 3 ou 4 de ces cuisines latérales à la suite.
Le résultat : Ils ont découvert que posséder 2 ou 3 cuisines latérales était le « point d'équilibre ». Cela donnait les meilleurs résultats sans encombrer excessivement la cuisine. En ajouter une quatrième n'apportait pas beaucoup plus, mais rendait le processus plus lent.
Le coût : Cette méthode n'a nécessité l'entraînement que de 1 % à 6 % des paramètres totaux (les « ingrédients » que le chef doit apprendre), contre les 40 à 55 % nécessaires avec l'ancienne méthode.

2. LoRA : Le « surligneur »

Considérez LoRA comme un surligneur spécial. Au lieu de réécrire tout le livre de cuisine du chef, vous surlignez simplement des phrases spécifiques dans le texte existant pour en changer légèrement le sens.

Comment ça marche : Les chercheurs ont appliqué ce surligneur spécifiquement aux parties d'« attention » du modèle (là où le chef décide de ce qu'il regarde dans l'image). Ils ont même testé cela sur un type complexe d'attention appelé « attention déformable » pour la première fois dans ce contexte.
Le résultat : LoRA est incroyablement efficace. Elle n'a eu besoin d'apprendre que 0,3 % à 1 % des paramètres.
Le bémol : Bien que LoRA soit super rapide et légère, elle ne gagnait pas toujours. Sur certaines tâches très désordonnées ou difficiles (comme des images de déchets en rayons X), la « cuisine latérale » (les Adapters) faisait un meilleur travail car elle avait une capacité un peu plus grande pour gérer la complexité. Sur des tâches simples et quotidiennes (comme des scènes de rue en ville), LoRA excellait.

Le test de conduite : Quatre « cuisines » différentes

Les chercheurs ont testé ces méthodes sur quatre ensembles de données très différents (types d'images) pour voir comment elles fonctionnaient :

Dauphins (NDD20) : Images claires de dauphins au-dessus et au-dessous de l'eau.
- Résultat : Les deux méthodes ont bien fonctionné, mais les Adapters (avec plus de « cuisines latérales ») étaient légèrement meilleurs pour capturer les détails spécifiques des dauphins.
Déchets sur un tapis roulant (ZeroWaste) : Un tas désordonné de plastique, de métal et de carton.
- Résultat : C'était un travail difficile et encombré. Les Adapters ont gagné ici. Ils étaient meilleurs pour faire la différence entre un sac en plastique froissé et un morceau de métal.
Déchets en rayons X (WIXray) : Voir à travers les déchets pour trouver des piles ou du verre en rayons X.
- Résultat : C'était la tâche la plus difficile. Les Adapters ont encore une fois surpassé LoRA. Les « cuisines latérales » étaient meilleures pour apprendre les nouveaux motifs étranges des images en rayons X que le chef n'avait jamais vus auparavant.
Rues de la ville (Cityscapes) : Voitures, piétons et bâtiments dans une ville.
- Résultat : C'est un type d'image très courant, similaire à ce que le chef a appris à l'origine. Ici, LoRA a été la superstar. Elle était si efficace qu'elle a en fait battu la méthode traditionnelle et les Adapters, en utilisant presque aucune mémoire supplémentaire.

Le verdict : Qu'ont-ils appris ?

L'efficacité est reine : Vous n'avez pas besoin de réentraîner tout le modèle. Vous pouvez obtenir 90 à 95 % de la performance en n'entraînant que 1 à 6 % du modèle.
Une solution unique ne convient pas à tous :
- Si la tâche est complexe, désordonnée ou très différente de ce que le modèle a appris initialement (comme les rayons X), utilisez les Adapters (spécifiquement 2 ou 3 d'entre eux). Ils sont plus flexibles.
- Si la tâche est similaire à la vie quotidienne (comme les rues de la ville), utilisez LoRA. C'est le plus efficace et le plus rapide.
Vitesse vs Puissance : Les Adapters ajoutent un tout petit peu de temps au processus (comme ajouter une cuisine latérale prend quelques secondes de plus), mais LoRA est instantanée car elle se contente de modifier les notes existantes.

Résumé

Cet article prouve que vous n'avez pas besoin d'un ordinateur géant et coûteux pour apprendre à un modèle d'IA massif un nouveau travail spécifique. En utilisant de petits ajouts intelligents (Adapters) ou des ajustements efficaces (LoRA), nous pouvons personnaliser ces modèles géants pour des tâches spécifiques comme la détection d'objets dans des photos, ce qui permet d'économiser énormément de temps et d'argent, tout en obtenant d'excellents résultats. La clé est de choisir le bon outil pour le travail spécifique que vous essayez de réaliser.

Résumé technique : Ajustement fin efficace en paramètres de grands modèles pré-entraînés pour les tâches de segmentation d'instances

Énoncé du problème
L'avancement rapide des grands modèles pré-entraînés (LPMs) en vision par ordinateur a permis d'obtenir des résultats de pointe à travers diverses tâches. Cependant, l'augmentation substantielle des paramètres des modèles crée des barrières significatives pour l'adaptation en aval. L'ajustement fin complet traditionnel nécessite la mise à jour de tous ou de sous-ensembles importants de poids pour chaque nouvelle tâche, ce qui entraîne des coûts de calcul et de mémoire élevés, des risques d'oubli catastrophique et un surapprentissage sur de plus petits ensembles de données cibles. Les méthodes d'ajustement fin efficace en paramètres (PEFT), telles que les Adapters et la Low-Rank Adaptation (LoRA), ont gagné en popularité dans le traitement du langage naturel (NLP), mais leur application à des tâches complexes de vision par ordinateur (CV) — spécifiquement la segmentation d'instances utilisant des architectures basées sur les transformers — reste sous-explorée. De plus, les méthodes PEFT existantes font souvent face à des limitations de scalabilité et ne sont pas optimisées pour les exigences uniques de la segmentation d'instances, telles que les prédictions précises au niveau du pixel et la différenciation des instances d'objets. Un écart notable existe dans la littérature concernant l'intégration de ces techniques au sein des modules d'attention déformable, qui sont centraux dans les transformeurs de détection modernes (DETR).

Méthodologie
Cette étude examine l'efficacité de deux stratégies PEFT — les Adapters disposés séquentiellement et LoRA — appliquées à deux grands modèles de segmentation d'instances pré-entraînés : le Segment Everything Everywhere Model (SEEM) et Mask DINO. La recherche se concentre sur l'adaptation de ces modèles à travers quatre ensembles de données de référence de complexités variées : NDD20 (segmentation de dauphins), ZeroWaste (bande transporteuse de déchets), WIXray (inspection de déchets par rayons X) et Cityscapes (scènes de rues urbaines).

Adapters : Les auteurs proposent une nouvelle intégration séquentielle de modules adaptateurs. Contrairement aux implémentations standards qui placent un seul adaptateur par couche, cette étude introduit plusieurs blocs d'adaptation ( $I$ ) de manière séquentielle au sein de chaque bloc transformer. Ces adaptateurs sont insérés après les couches de cross-attention et de self-attention. L'architecture comprend une projection linéaire descendante, une activation ReLU, une projection linéaire ascendante et une connexion résiduelle. L'étude explore différentes configurations de connexion résiduelle ( $\kappa$ , $\lambda$ , et $\kappa + \lambda$ ) pour déterminer le flux de signal optimal.
LoRA dans l'attention déformable : Une contribution méthodologique primaire est l'application de LoRA aux mécanismes d'attention déformable multi-échelles. Alors que LoRA est typiquement appliqué aux couches d'attention standard (modifiant les projections de requête et de valeur), ce travail étend la technique à l'attention déformable. Ici, les matrices LoRA sont appliquées aux matrices de poids responsables de la prédiction des décalages ( $W_{offset}$ ) et des projections de valeurs ( $W_V$ ), permettant au modèle d'apprendre des emplacements d'échantillonnage et des interprétations de valeurs spécifiques à la tâche sans modifier les poids pré-entraînés de base.
Configuration expérimentale : Les expériences ont été menées à l'aide de GPU NVIDIA Quadro RTX 8000. L'étude compare les configurations PEFT par rapport aux réglages d'ajustement fin complet (tête de segmentation complète, décodeur uniquement, et embeddings uniquement). Un balayage de paramètres a été effectué pour les rangs LoRA ( $r = \{2, 4, 8, 16\}$ ) et les nombres d'adapters ( $I = \{1, 2, 3, 4\}$ ).

Principales contributions

Première application de LoRA à l'attention déformable : Le papier introduit une approche LoRA spécifiquement pour les couches d'attention déformable multi-échelles, atteignant une efficacité de paramètres en ne mettant à jour que les matrices de bas rang au sein de ces mécanismes d'attention spécialisés.
Intégration séquentielle des Adapters : L'étude présente la première implémentation de modules adaptateurs disposés séquentiellement pour les grands modèles de segmentation d'instances pré-entraînés, explorant la scalabilité de l'ajout de multiples blocs d'adaptation par couche transformer.
Évaluation comparative exhaustive : La recherche fournit une analyse comparative des méthodes PEFT à travers quatre ensembles de données diversifiés, évaluant la performance, l'efficacité des paramètres et la vitesse d'inférence sur les architectures SEEM et Mask DINO.

Résultats
L'étude démontre que les méthodes PEFT peuvent atteindre des performances compétitives tout en n'ajustant qu'une petite fraction des paramètres du modèle :

Efficacité des paramètres : Les configurations d'Adapters nécessitaient entre 1,23 % et 3,88 % de paramètres pour SEEM et 0,5 % à 6,35 % pour Mask DINO. LoRA était encore plus efficace, utilisant environ 0,34 % à 0,54 % pour SEEM et 0,73 % à 1,39 % pour Mask DINO (backbone ResNet-50). En revanche, l'ajustement fin de la tête complète nécessitait 39,55 % (SEEM) et 54,91 % (Mask DINO) des paramètres.
Compromis de performance :
- Adapters : Augmenter le nombre d'adapters améliore généralement la performance, avec 2 à 3 adapters par bloc offrant l'équilibre optimal entre précision et nombre de paramètres. Dans l'ensemble de données ZeroWaste, une configuration à 4 adapters pour Mask DINO a même surpassé l'ajustement fin de la tête complète (SOTA).
- LoRA : LoRA a montré une forte efficacité mais une performance variable selon l'ensemble de données et l'architecture. Elle a excellé dans l'ensemble de données Cityscapes (surpassant l'ajustement fin de la tête complète pour Mask DINO avec seulement 0,24 % de paramètres) mais a été moins performante que les adapters dans des tâches complexes avec un changement de domaine comme WIXray (images à rayons X) et ZeroWaste.
- Dépendance à l'architecture : Mask DINO (basé sur l'attention déformable) a souvent obtenu des résultats comparables ou supérieurs au modèle SEEM plus large, suggérant que le mécanisme d'attention déformable combiné au débruitage contrastif est hautement efficace pour la localisation d'instances.
Vitesse d'inférence : Les Adapters introduisent un léger surcoût computationnel (1–2 ms par itération par bloc d'adapter ajouté) dû aux couches supplémentaires. LoRA, cependant, impose un surcoût d'inférence négligeable car les poids sont recomposés et fusionnés avec le modèle de base avant l'inférence.

Signification et affirmations
Le papier affirme démontrer le potentiel du PEFT pour permettre un apprentissage par transfert scalable, personnalisable et efficace en termes de calcul pour la segmentation d'instances. Les auteurs soulignent que, bien que les méthodes PEFT ne correspondent pas toujours à la performance absolue de l'ajustement fin complet, elles offrent une alternative viable pour les environnements à ressources limitées. L'étude met en évidence que le choix entre Adapters et LoRA dépend du contexte : les Adapters peuvent être préférables pour les tâches nécessitant une adaptation de domaine significative ou la gestion d'objets déformables complexes, tandis que LoRA est très efficace pour les tâches proches de la distribution de pré-entraînement.

Les auteurs notent modestement que bien que leurs résultats soient prometteurs, il existe une marge d'optimisation. Ils reconnaissent que des écarts de performance subsistent dans certains scénarios complexes (par exemple, WIXray) et que l'augmentation du temps d'inférence des adapters peut limiter leur utilisation dans les applications en temps réel. Le travail conclut en appelant à de nouvelles recherches sur les stratégies hybrides, un benchmarking plus large à travers diverses tâches de vision, et le développement de nouveaux variants d'adapters pour pleinement réaliser le potentiel de l'adaptation des grands modèles pré-entraînés pour des applications spécialisées de vision par ordinateur.