Résumé Technique : Du Diagnostic Interne à l'Audit Externe

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) restent fondamentalement vulnérables aux attaques par porte dérobée (backdoor attacks), où des adversaires empoisonnent les données d'entraînement pour implanter des déclencheurs cachés qui détournent le comportement du modèle sur des entrées spécifiques tout en préservant les performances sur les données bénignes. Le paysage des menaces a évolué de motifs manifestes vers des stratégies dynamiques, de type "clean-label" et "clean-image" plus furtives, rendant la détection traditionnelle de plus en plus difficile.

Dans les scénarios de "Modèle en tant que Service" (Model-as-a-Service), les défenseurs manquent souvent d'accès aux données d'entraînement propres ou aux poids du modèle victime, ce qui nécessite une défense de test sans données (data-free test-time defense). La recherche actuelle est contrainte par le paradigme du diagnostic interne, qui souffre de deux vulnérabilités fondamentales :

1. Méthodes de Réparation de Modèle : Celles-ci inspectent les propriétés internes du modèle victime (ex: traces d'activation des neurones, Lipschitzianité des canaux). Elles échouent face aux attaques dynamiques avancées qui optimisent explicitement les déclencheurs pour supprimer ces anomalies internes.
2. Méthodes de Robustesse d'Entrée : Celles-ci reposent sur des perturbations d'entrée ou des vérifications de cohérence. Elles échouent face aux portes dérobées naturelles (ex: attaques "clean-image") où le déclencheur est une caractéristique sémantique robuste, indiscernable des caractéristiques bénignes par perturbation.

Le défi central consiste à développer une défense robuste à travers diverses modalités d'attaque sans dépendre des états internes du modèle compromis ou des hypothèses fragiles sur les entrées.

2. Méthodologie : PRISM

Les auteurs proposent PRISM (Prototype Refinement & Inspection via Statistical Monitoring), un changement de paradigme passant du diagnostic interne à l'Audit Sémantique Externe en Ligne. Cette approche découple la défense du modèle compromis en utilisant un modèle vision-langage (VLM) pré-entraîné et universel comme auditeur indépendant et "propre".

PRISM opère comme une enveloppe (wrapper) au moment du test autour du modèle victime suspect, utilisant une architecture à trois piliers :

A. Cadre d'Inférence à Double Flux

Pour chaque échantillon de test $x$ entrant, le système initie deux passages directs (forward passes) concomitants :

1. Flux Victime : Traite $x$ à travers le modèle potentiellement compromis $f_S$ pour obtenir les prédictions et les logits.
2. Flux Auditeur : Traite $x$ à travers un VLM universel, gelé et de confiance (ex: CLIP, Qwen-VL). Le VLM agit comme un "Enseignant Universel", fournissant un signal de vérification sémantique basé sur sa vaste connaissance du monde ouvert, qui est statistiquement indépendante de la distribution empoisonnée de la victime.

B. Enseignant Hybride VLM

Pour combler l'écart de domaine entre les VLM généraux et les tâches spécialisées en aval, PRISM emploie un mécanisme d'ancrage hybride :

• Ancres Textuelles Statiques : Fournissent une guidance sémantique de haut niveau via la similitude cosinus avec des étiquettes textuelles prédéfinies.
• Prototypes Visuels Dynamiques : Augmentent l'auditeur avec des centroïdes de classe ($C$) appris en ligne à partir du flux de test.
• Fusion : Les logits finaux du VLM ($S_{VLM}$) sont une fusion pondérée des similitudes textuelles et des prototypes :
  $$S_{VLM} = \lambda \cdot \text{Sim}(z_{img}, C) + (1 - \lambda) \cdot \text{Sim}(z_{img}, T)$$
  Cela permet à l'auditeur de s'adapter à la distribution de caractéristiques spécifique du flux de test sans nécessiter de données d'entraînement étiquetées.

C. Routeur Adaptatif via Surveillance Statistique

La logique de décision centrale détermine si l'on accepte la prédiction de la victime ou si l'on la rejette en faveur du VLM. Elle est régie par une métrique de divergence de marge de logit ($\Delta$) :
$$\Delta = \exp\left(S_{VLM}^{\hat{y}_S} - \max_{i \neq \hat{y}_S} S_{VLM}^i\right)$$
où $\hat{y}_S$ est la classe prédite par la victime. Un petit $\Delta$ indique un fort désaccord (attaque potentielle), tandis qu'un grand $\Delta$ indique un alignement.

Pour gérer la nature non gaussienne et asymétrique de la distribution de $\Delta$, PRISM utilise un Seuil Adaptatif dérivé de l'expansion de Cornish-Fisher :
$$\tau_k = \mu_k + \left(\zeta + \frac{\gamma_k}{6}(\zeta^2 - 1)\right) \cdot \sigma_k$$
où $\mu_k, \sigma_k, \gamma_k$ sont la moyenne mobile, l'écart-type et l'asymétrie (skewness) de la marge pour la classe $k$, et $\zeta$ est un coefficient de confiance de base.

D. Mécanisme de Mise à Jour en Ligne

PRISM emploie une Moyenne Mobile Cumulative (CMA) pour mettre à jour les moments statistiques et les prototypes visuels. Crucialement, les mises à jour se produisent uniquement lorsqu'un échantillon est certifié comme propre (c'est-à-dire $\Delta > \tau$). Ce mécanisme de mise à jour sélectif, combiné à l'inertie statistique de la CMA, assure la robustesse contre les changements de distribution et empêche les échantillons empoisonnés de corrompre l'état de la défense.

3. Contributions Clés

1. Nouveau Paradigme (Audit Sémantique Externe) : Le papier identifie les modes de défaillance du diagnostic interne et propose d'utiliser des VLM universels comme auditeurs externes indépendants, découplant efficacement la défense des modèles victimes compromis sans accéder aux poids ou aux données d'entraînement.
2. Cadre Adaptatif en Ligne (PRISM) : Un cadre de test qui transforme les VLM génériques en auditeurs efficaces via un Enseignant VLM Hybride (comblant l'écart de domaine) et un Routeur Adaptatif (évitant les seuils statiques via la surveillance statistique).
3. Généralisation et Robustesse Supérieures : PRISM atteint des performances de pointe sur 17 jeux de données et 11 types d'attaques, démontrant une robustesse unique contre les attaques de type "clean-image" et les attaques adaptatives avancées là où les paradigmes traditionnels échouent.

4. Résultats Expérimentaux

L'évaluation a été menée sur 17 jeux de données (incluant CIFAR-10, CIFAR-100, ImageNet, GTSRB et des jeux de données spécifiques au domaine) et 11 attaques par porte dérobée de pointe (Classique, Dynamique, Clean-Label et Clean-Image).

• Performance : PRISM parvient à réduire le Taux de Succès de l'Attaque (ASR) à < 1 % sur CIFAR-10 et reste systématiquement en dessous de 15 % pour les 11 types d'attaques, tout en améliorant ou en maintenant la Précision sur Données Propres (CA).
• Comparaison : Il surpasse les défenses existantes sans données (ex: CLP, ScaleUp, ZIP, Refine), qui échouent souvent totalement face aux attaques Clean-Image (FLIP, GCB) ou Dynamiques. Les bases VLM naïves atteignent un faible ASR mais souffrent de chutes catastrophiques de la CA (ex: >70 % sur GTSRB), tandis que PRISM comble cet écart.
• Efficacité : Sur un GPU NVIDIA A100, PRISM (utilisant CLIP) atteint une latence d'inférence de 12,5 ms par image, se classant parmi les meilleures défenses en termes d'efficacité.
• Robustesse :
  • Architectures VLM : PRISM maintient un faible ASR (<10 %) à travers les modèles d'embedding (CLIP, SigLIP) et les modèles génératifs (Qwen, LLaVA).
  • Échelle des Données : Il reste efficace sur des tailles de jeux de données variant de trois ordres de grandeur (200 à 10 000 images).
  • Attaques Adaptatives : PRISM résiste aux stratégies adaptatives en ligne (Flooding, Périodique, Mixte) où l'adversaire tente de manipuler le flux de test, maintenant un ASR < 20 %.
  • Compromission de l'Auditeur : Dans un scénario de "Chaîne de Confiance" où un auditeur spécialisé est doté d'une porte dérobée, un VLM généraliste, bien que plus faible mais propre, peut assainir le flux, rétablissant la sécurité.

5. Signification et Revendications

Le papier affirme que PRISM établit que le découplage de la défense par l'audit sémantique externe est non seulement faisable mais essentiel pour la sécurité des modèles de nouvelle génération.

• Changement de Paradigme : Il s'éloigne de l'hypothèse fragile selon laquelle les portes dérobées laissent des empreintes internes manifestes ou que les déclencheurs sont sensibles aux perturbations d'entrée. Au lieu de cela, il exploite l'indépendance statistique des modèles de fondation pour détecter les divergences sémantiques.
• Praticité : En opérant de manière "data-free" au moment du test sans modifier les poids du modèle, PRISM répond aux contraintes critiques des déploiements de type "Modèle en tant que Service" où les défenseurs n'ont pas accès aux données d'entraînement ou aux internes du modèle.
• Évolutivité : Le cadre est agnostique au modèle et peut être étendu à d'autres tâches (ex: légende d'images) en adaptant le filtrage par marge de logit à la confiance au niveau de la séquence, offrant une voie évolutive pour la surveillance de la sécurité de l'IA dans des domaines critiques comme la santé et la conduite autonome.

Les auteurs concluent que, bien que le paradigme repose sur l'indépendance statistique du VLM auditeur, il fournit un garde-fou robuste contre les menaces évolutives, y compris les attaques furtives de type clean-image et dynamiques, établissant un nouveau standard pour la défense agnostique des modèles.