🤖 machine learning

From Parameters to Feature Space: Task Arithmetic for Backdoor Mitigation in Model Merging

Cet article propose la minimisation linéaire du chemin des caractéristiques (LFPM), un nouveau cadre qui atténue les attaques par porte dérobée lors de la fusion de modèles en introduisant un vecteur de tâche anti-porte dérobée optimisé dans une perspective unifiée de l'espace des caractéristiques afin de supprimer efficacement les déclencheurs malveillants tout en préservant les performances de la tâche saine.

Auteurs originaux : Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenqian Zhu, Yamin Hu, Yiya Diao, Weixiang Li, Haodong Li, Wenjian Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une équipe de chefs experts. L'un est incroyable en cuisine italienne, un autre en cuisine japonaise, et un troisième en pâtisserie. Au lieu d'embaucher les trois séparément, vous décidez de « fusionner » leurs recettes pour créer un « Super Chef » capable de tout cuisiner. C'est ce qu'on appelle la Fusion de Modèles (Model Merging). C'est une méthode populaire et rentable pour combiner différents modèles d'IA en un seul outil puissant.

Cependant, il existe une faille dangereuse dans ce processus. Imaginez qu'un saboteur sournois rejoigne l'équipe. Il ne cherche pas à ruiner toute la cuisine, il modifie simplement sa recette spécifique (disons, la recette italienne) pour y inclure une instruction secrète et cachée : « Si tu vois un piment rouge, sers une assiette de poison au lieu des pâtes. »

Lorsque vous fusionnez cette recette compromise avec les autres, le « Super Chef » apprend cette instruction secrète. Désormais, chaque fois qu'un client commande des pâtes avec un piment rouge, le chef sert du poison, même s'il cuisine tout le reste à la perfection. C'est une Attaque par Porte Dérobée (Backdoor Attack).

Le problème des défenses actuelles

Les tentatives précédentes pour corriger cela revenaient à essayer de nettoyer une tache sur un tissu complexe et multicolore en frottant agressivement l'ensemble de la pièce.

L'ancienne méthode : Les défenseurs essayaient de trouver les « mauvais » ingrédients dans la recette finale et de les soustraire.
La faille : Comme les recettes sont profondément mélangées, il est difficile de distinguer quelle partie de l'« instruction empoisonnée » appartient au « piment rouge » et laquelle appartient à la « saveur des pâtes ». Si vous essayez de retirer le poison, vous risquez souvent de gâcher les pâtes, rendant ainsi tout le plat immangeable.

La nouvelle solution : LFPM (Minimisation du Chemin de Caractéristiques Linéaires)

Les auteurs de cet article proposent une nouvelle méthode appelée LFPM. Au lieu de frotter le tissu, ils changent de perspective. Ils cessent de regarder les ingrédients (paramètres) pour se concentrer sur le profil de saveur (caractéristiques) du plat.

Voici comment fonctionne la LFPM, étape par étape, en utilisant notre analogie de la cuisine :

1. La « Carte des Saveurs » (Linéarité Inter-Tâches)

Les chercheurs ont découvert quelque chose de fascinant : lorsque l'on mélange les recettes de deux chefs, la saveur résultante à n'importe quel point du mélange suit presque une ligne droite entre les deux saveurs originales.

Analogie : Si le Chef A a un goût « Épicé » et le Chef B un goût « Sucré », un mélange 50/50 aura exactement le goût « Moyennement Épicé-Sucré ». Cela ne devient pas soudainement « Acide » ou « Métallique » simplement parce qu'on les a mélangés.
L'intuition : Les auteurs ont réalisé que si cette règle de la « ligne droite » s'applique aux saveurs, ils peuvent réparer la porte dérobée en manipulant les saveurs plutôt que les ingrédients bruts.

2. Première étape : Séparer le « Poison » des « Pâtes »

Avant de réparer la recette, ils doivent isoler la mauvaise partie sans gâcher la bonne.

L'astuce : Ils utilisent une technique appelée Partitionnement de Sous-Espace (Subspace Partitioning). Imaginez que le profil de saveur soit une immense pièce. Les saveurs des « Pâtes » vivent dans un coin, et les saveurs du « Poison » (la porte dérobée) vivent dans un coin séparé et orthogonal.
L'action : Ils utilisent un outil spécial (des invites visuelles apprenables) pour trouver le coin du « Poison ». Ils n'ont pas besoin de savoir à quoi ressemble le poison (le déclencheur) ; ils ont seulement besoin de trouver la direction dans la pièce des saveurs où réside le poison et de le séparer des pâtes. Cela garantit qu'ils ne jettent pas accidentellement les pâtes en cherchant le poison.

3. Deuxième étape : Le Chef « Anti-Poison »

Maintenant, ils créent une nouvelle tâche « Anti-Porte Dérobée ». Considérez cela comme l'embauche d'un nouveau chef consultant dont le seul travail est de neutraliser le poison.

La stratégie : Au lieu de simplement soustraire le poison (ce qui pourrait gâcher les pâtes), ils guident ce nouveau chef pour qu'il suive un chemin spécifique. Ils veulent que ce nouveau chef se fonde avec le « Super Chef » de manière à lisser la « dureté » du poison.
L'intégrale de chemin : Imaginez marcher d'un « Super Chef empoisonné » vers le « Consultant sain ». Les auteurs s'assurent que chaque étape le long de ce chemin de marche est sûre. Ils ne vérifient pas seulement le point de départ et le point d'arrivée ; ils vérifient tout le voyage.
Le résultat : En optimisant ce chemin, ils créent un « Super Chef Purifié » qui a oublié l'instruction du poison mais se souvient de comment préparer des pâtes parfaites.

Pourquoi est-ce meilleur ?

Précision : Parce qu'ils travaillent dans l'« espace des saveurs » (espace des caractéristiques) plutôt que dans l'« espace des ingrédients » (espace des paramètres), ils peuvent cibler la porte dérobée sans brouiller les tâches saines.
Sécurité : Ils ont prouvé que même si vous vous arrêtez à mi-chemin du processus de « nettoyage », le modèle reste sûr. Cela ne fonctionne pas seulement à la fin du processus ; cela fonctionne tout au long du chemin.
Polyvalence : Ils ont testé cela sur des recettes complètes (Fine-Tuning complet) et sur de petits ajustements de recettes (PEFT/LoRA), et cela a fonctionné dans les deux cas.

L'essentiel

L'article affirme que la LFPM est une méthode robuste pour nettoyer les modèles d'IA fusionnés. Elle parvient à supprimer les déclencheurs de « portes dérobées » cachés qui feraient mal agir l'IA sur des entrées spécifiques, tout en préservant la capacité de l'IA à accomplir ses tâches normales et utiles. Elle y parvient en traitant le modèle non pas comme un sac de nombres, mais comme un ensemble de « chemins de saveurs » navigables, permettant un nettoyage bien plus précis et efficace que les méthodes précédentes.

Résumé Technique : Des Paramètres à l'Espace de Caractéristiques : L'Arithmétique de Tâche pour la Mitigation des Backdoors dans le Fusionnement de Modèles

1. Énoncé du Problème

Le Fusionnement de Modèles (Model Merging - MM) est apparu comme une stratégie rentable pour intégrer plusieurs modèles spécialisés par fine-tuning en un modèle unifié, réduisant ainsi la redondance du stockage et la surcharge computationnelle. Cependant, des études récentes révèlent que le MM introduit une vulnérabilité de sécurité significative : les attaques par porte dérobée (backdoor attacks). Dans ce contexte, un adversaire peut compromettre un composant spécifique à une tâche (par exemple, un vecteur de tâche) et injecter une backdoor dans le modèle fusionné final sans avoir accès au processus de fusion global.

Les mécanismes de défense existants, particulièrement ceux basés sur l'Arithmétique de Tâche (par exemple, la soustraction de vecteurs), opèrent directement dans l'espace des paramètres. Ces approches peinent à obtenir un compromis favorable entre la suppression des backdoors et la préservation des performances sur les tâches saines. La difficulté fondamentale réside dans le fait de démêler les paramètres essentiels à la fonctionnalité saine de ceux qui encodent les comportements malveillants de la backdoor, car l'édition directe des paramètres dégrade souvent l'utilité du modèle.

2. Méthodologie : Minimisation Linéaire du Chemin de Caractéristiques (LFPM)

Pour remédier aux limites de l'édition dans l'espace des paramètres, les auteurs proposent la Minimisation Linéaire du Chemin de Caractéristiques (Linear Feature Path Minimization - LFPM). Ce cadre déplace la perspective de la mitigation des backdoors de l'espace des paramètres vers l'espace des caractéristiques (feature space), en exploitant le phénomène de la Linéarité Inter-Tâches (Cross-Task Linearity - CTL).

Fondement Théorique : Linéarité Inter-Tâches (CTL)

La CTL postule que les modèles initialisés à partir du même checkpoint pré-entraîné et affinés sur différentes tâches présentent un comportement quasi linéaire dans leurs représentations de caractéristiques. Plus précisément, les caractéristiques d'un modèle dont les poids sont interpolés approximent étroitement l'interpolation linéaire des caractéristiques des modèles individuels. Les auteurs dérivent une borne de déviation pour la CTL, montrant que les déviations de caractéristiques le long d'un chemin d'interpolation sont régies par la distance des paramètres et la courbure (Hessienne) du paysage de perte.

Cadre Central

LFPM construit un vecteur de tâche anti-backdoor pour fusionner avec le modèle compromis, créant ainsi un modèle purifié. Contra à de méthodes antérieures qui éditent directement les paramètres, LFPM optimise ce vecteur de tâche anti-backdoor selon une perspective unifiée de l'espace des caractéristiques. La méthode se compose de deux étapes principales :

Étape 1 : Extraction de Caractéristiques Adversaires via le Partitionnement de Sous-Espace

Au lieu de générer des perturbations adverses dans l'espace d'entrée ou de rétro-concevoir des déclencheurs (triggers), LFPM extrait des caractéristiques adverses en partitionnant l'espace des caractéristiques.

Partitionnement de Sous-Espace : L'espace des caractéristiques est décomposé en deux sous-espaces orthogonaux : un sous-espace adversaire ( $S$ ) et un sous-espace sémantique sain ( $T$ ). Une matrice de projection apprenable $P_s$ est entraînée pour isoler les composantes adverses.
Minage par Prompt : Les perturbations adverses sont encodées via des prompts visuels apprenables ( $P$ ) plutôt que par la modification des pixels d'entrée. Cela préserve l'intégrité sémantique des échantillons originaux. L'objectif d'optimisation garantit que l'entrée augmentée par le prompt active les caractéristiques liées à la backdoor dans le modèle compromis tout en préservant les caractéristiques sémantiques saines dans le modèle purifié.

Étape 2 : Optimisation du Vecteur de Tâche Anti-Backdoor

Cette étape formule le problème de mitigation comme une optimisation de type Minimisation de la Netteté (Sharpness-Aware Minimization - SAM) au sein du cadre CTL.

Reformulation de l'Espace des Caractéristiques : L'objectif est de minimiser la netteté de la perte (courbure) le long du chemin d'interpolation des caractéristiques entre le modèle fusionné compromis et le modèle anti-backdoor.
Perturbation de l'Espace des Prompts : Les déviations de caractéristiques induites par la CTL sont mappées vers des perturbations de pire cas dans l'espace des prompts de faible dimension plutôt que dans l'espace des paramètres de haute dimension.
Accumulation de Gradient & Intégrale de Chemin de Perte : Pour garantir la robustesse tout au long du chemin d'interpolation complet (et pas seulement à un point unique), la méthode emploie un mécanisme d'accumulation de gradient pour approximer les gradients des modèles interpolés. Elle utilise également une procédure d'intégrale de chemin de perte, moyennant la perte sur la trajectoire d'interpolation pour garantir une suppression constante de la backdoor.

3. Contributions Clés

Cadre Anti-Backdoor dans l'Espace des Caractéristiques : Le papier propose une nouvelle perspective unifiée dans l'espace des caractéristiques pour la mitigation des backdoors sous le cadre de la CTL, soutenue par une analyse théorique (bornes de déviation) et une validation empirique. Cette approche surmonte les limites des interventions directes dans l'espace des paramètres.
Minimisation Linéaire du Chemin de Caractéristiques (LFPM) : Un mécanisme de défense en deux étapes qui atténue efficacement les effets de la backdoor tout en préservant les performances de la tâche saine. Il élimine le besoin de synthèse de déclencheurs dans l'espace d'entrée et évite l'interpolation explicite de l'espace des paramètres pendant l'entraînement, en utilisant à la place un mécanisme d'intégrale de chemin de perte.
Validation Empirique Extensive : Les auteurs démontrent que LFPM atteint systématiquement une forte robustesse contre les attaques par backdoor tant dans les contextes de Fine-Tuning Complet (Full Fine-Tuning) que de Fine-Tuning Efficace en Paramètres (PEFT/LoRA).

4. Résultats Expérimentaux

Les auteurs ont évalué LFPM sur 11 jeux de données en utilisant un backbone CLIP-ViT-B/32, en le comparant à des bases telles que IBVS (Arithmétique de Tâche), SAU (Unlearning Adversaire), SAM et PAM.

Performance de Défense : Sous l'attaque BadMerging (full fine-tuning), LFPM a obtenu le taux de succès d'attaque (ASR) le plus bas sur toutes les tâches (par exemple, un ASR(T) moyen de 0,49 % contre 64,18 % pour IBVS) tout en maintenant la précision saine (CA) la plus élevée. Sous les attaques LoBAM (PEFT/LoRA), LFPM a de même surpassé les bases, obtenant un ASR plus faible et une CA plus élevée que SAM et PAM.
Robustesse le long du Chemin d'Interpolation : Contra à les méthodes qui n'évaluent la robustesse qu'à un coefficient de fusion spécifique, LFPM a démontré une robustesse constante le long de tout le chemin d'interpolation des paramètres, comme en témoigne le Path-ASR (vulnérabilité cumulative de la backdoor) le plus bas.
Attaques Adaptatives : Même face à des adversaires adaptatifs tentant de coupler les caractéristiques saines et de backdoor ou d'imposer une cohérence d'interpolation, LFPM a maintenu un faible ASR (passant de seulement 0,49 % à 2,38 %), surpassant nettement les autres défenses.
Scalabilité et Généralité : LFPM a montré des performances constantes à travers différents algorithmes de fusion de modèles (Simple Average, Ties-Merging, Della-Merging) et des architectures plus larges (ViT-L/14).

5. Signification et Revendications

Le papier affirme que LFPM fournit une solution fondée sur des principes pour la vulnérabilité des backdoors dans le fusionnement de modèles en exploitant la Linéarité Inter-Tâches (CTL) des caractéristiques. En déplaçant l'optimisation de l'espace des paramètres vers l'espace des caractéristiques, la méthode parvient à démêler les comportements de la backdoor des fonctionnalités de tâche saine sans la dégradation sévère des performances observée dans les défenses existantes.

Les auteurs soulignent que leur approche offre un cadre général pour atténuer les attaques par backdoor tout en préservant les performances des tâches saines à travers différents réglages de fine-tuning (complet et PEFT). Ils notent que bien que la méthode introduise une certaine surcharge computationnelle par rapport aux méthodes légères basées sur SAM, elle offre un compromis nécessaire pour la robustesse dans les scénarios de fusion de modèles. Le travail vise à améliorer la fiabilité du fusionnement de modèles, de plus en plus adopté comme solution rentable pour le déploiement multi-tâches.

Limites et Travaux Futurs :
Les auteurs reconnaissent que, comme la plupart des méthodes défensives, LFPM peut faire face à de futures attaques adaptatives. Ils précisent que des recherches supplémentaires sont nécessaires pour évaluer l'efficacité à plus grande échelle et dans des scénarios réels plus diversifiés. Les travaux futurs se concentreront sur l'extension et la validation de LFPM à travers diverses tâches et scénarios pour renforcer sa généralisabilité.