🤖 AI

Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Cet article propose une nouvelle méthode de réglage fin adversarial pour CLIP qui reparamètre les sorties en tant que paramètres de concentration de Dirichlet afin de restaurer simultanément l'incertitude calibrée et de maintenir une précision zero-shot robuste, répondant ainsi au problème critique où les perturbations adverses suppriment typiquement l'incertitude et provoquent un excès de confiance.

Auteurs originaux : Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Menteur Trop Confiant

Imaginez que vous avez un bibliothécaire très intelligent et très cultivé (c'est CLIP, le modèle d'IA). Ce bibliothécaire a lu des millions de livres et peut regarder une image et deviner ce qu'elle représente sans jamais avoir été explicitement entraîné sur ces images spécifiques auparavant. C'est ce qu'on appelle l'apprentissage « zero-shot ».

Cependant, ce bibliothécaire a une faiblesse : les attaques adverses.
Considérez une attaque adverse comme une petite tache, presque invisible, sur une image. Pour un humain, l'image semble exactement la même. Mais pour le bibliothécaire, cette minuscule tache change complètement le sens de l'image.

L'article a découvert un schéma effrayant :

L'erreur : Quand le bibliothécaire voit une image tachée, il se trompe souvent de réponse.
Le danger : Pire encore, il donne la mauvaise réponse avec une confiance de 100 %. Il ne dit pas : « Hmm, je ne suis pas sûr. » Il dit : « Je suis absolument certain que c'est un panda », alors qu'il s'agit en réalité d'un chien.

Dans le monde réel, c'est comme un GPS qui vous dit avec assurance de foncer dans un ravin parce qu'un oiseau est passé devant l'objectif de la caméra. Le modèle n'est pas seulement dans l'erreur ; il est mal calibré. Il pense en savoir plus qu'il n'en sait réellement.

L'Ancienne Solution : L'approche à « Ancre Unique »

Des chercheurs précédents ont tenté de corriger cela en apprenant au bibliothécaire à regarder l'image tachée et à dire : « C'est un chien ». Ils faisaient cela en attirant strictement l'attention du bibliothécaire vers l'étiquette « Chien ».

L'article soutient que c'est comme apprendre à un étudiant à mémoriser le corrigé sans comprendre la relation entre les questions.

La faille : Cela force le modèle à avoir raison sur la réponse spécifique, mais cela ignore le contexte. Cela n'apprend pas au modèle à réaliser : « Attendez, cette image tachée ressemble un peu à un loup et un peu à un renard, je devrais donc être incertain. »
Le résultat : Le modèle devient robuste face à la tache, mais perd sa capacité à exprimer son doute. Il reste trop confiant, même lorsqu'il est confus.

La Nouvelle Solution : UCAT (L'approche de l'« Échelle de Preuves »)

Les auteurs proposent une nouvelle méthode appelée UCAT (Uncertainty-Calibrated Adversarial fine-Tuning). Voici comment elle fonctionne, en utilisant une métaphore :

1. La distribution de Dirichlet (L'« Échelle de Confiance »)
Au lieu de simplement choisir une réponse, la nouvelle méthode demande au bibliothécaire d'attribuer un « score de confiance » à chaque réponse possible simultanément.

Imaginez que le bibliothécaire possède un seau de sable (la preuve).
Pour une image claire d'un chien, il verse 90 % du sable dans le seau « Chien » et un tout petit peu dans les seaux « Loup » et « Chat ».
Pour une image tachée et confuse, un bibliothécaire intelligent devrait répartir le sable de manière plus uniforme ou admettre : « Je n'ai pas assez de sable pour être sûr. »

2. La correction : Aligner les seaux de sable
Le « ingrédient secret » de l'article est une astuce mathématique. Ils traitent la sortie du modèle non pas comme une simple supposition, mais comme une distribution de Dirichlet (une façon sophistiquée de décrire comment ce seau de sable est distribué).

Lorsque le modèle voit une image tachée (exemple adverse), l'ancienne méthode essaie simplement de forcer le sable dans le seau « Chien ».
UCAT fait quelque chose de différent : Il regarde la distribution du sable de l'image propre et de l'image tachée, et tente de les faire correspondre.

Si l'image propre a un seau « Chien » bien rempli, l'image tachée devrait aussi avoir un seau « Chien », mais avec moins de sable (une confiance moindre) parce que l'image est désordonnée.
Cela force le modèle à dire : « Je pense que c'est un chien, mais comme l'image est bizarre, je n'en suis sûr qu'à 60 %, pas à 99 %. »

Pourquoi cela importe

L'article montre qu'en apprenant au modèle à aligner ces « seaux de sable » (distributions) plutôt qu'en le forçant simplement à choisir une réponse unique :

Il reste intelligent : Il continue de deviner correctement la plupart du temps.
Il reste humble : Lorsqu'il est attaqué ou confus, il admet son incertitude. Il cesse d'être un « menteur trop confiant ».
Il gère l'ambiguïté : Si une image peut représenter deux choses (comme une image à étiquettes multiples), le modèle comprend cette nuance au lieu de forcer un choix unique et rigide.

L'essentiel à retenir

Les auteurs ont découvert que les modèles d'IA actuels sont comme des étudiants trop sûrs d'eux qui répondent au hasard quand l'examen est difficile. Leur nouvelle méthode, UCAT, apprend au modèle à mesurer sa propre « preuve ». Si la preuve est fragile (à cause d'une attaque), le modèle diminue son score de confiance. Cela rend l'IA plus sûre et plus fiable, non pas seulement parce qu'elle devine juste, mais parce qu'elle sait quand elle ne sait pas.

Ils ont testé cela sur 16 ensembles de données d'images différents et ont constaté que leur méthode permettait à l'IA de bien mieux gérer ces images « tachées » et délicates, tout en maintenant une précision élevée.

Résumé Technique : Calibrer l'Incertitude pour le CLIP Adversaire Zero-Shot

1. Énoncé du Problème

Le pré-entraînement contrastif de langage et d'image (CLIP) s'est imposé comme un modèle fondamental pour la reconnaissance zero-shot, en exploitant un espace de plongement partagé pour faire correspondre les caractéristiques d'images avec des invites textuelles sans entraînement spécifique à la tâche. Cependant, CLIP reste hautement vulnérable aux attaques adverses, où des perturbations imperceptibles au niveau des pixels provoquent des erreurs de classification confiantes.

Les travaux antérieurs sur la robustesse adversaire zero-shot (ZSAR) se sont principalement concentrés sur l'alignement des caractéristiques d'images adverses avec des prototypes textuels de vérité terrain (alignement à ancrage unique) pour améliorer la précision. Les auteurs identifient un écart de fiabilité critique et négligé : les perturbations adverses dans CLIP ne dégradent pas seulement la précision, mais elles suppriment systématiquement l'incertitude prédictive.

Contrairement à l'attente selon laquelle l'incertitude devrait augmenter lorsque les entrées s'éloignent de la distribution d'entraînement ou deviennent plus difficiles, les modèles CLIP standards présentent une sur-confiance sur les exemples adverses. Cela conduit à un mauvais étalonnage sévère où le modèle est fallacieusement confiant dans ses prédictions erronées. Les méthodes existantes, qui se contentent souvent d'aligner les logits prédits ou se concentrent sur la discrimination de classe unique, ne parviennent pas à préserver la géométrie sémantique relative entre les classes ou l'amplitude de l'évidence prédictive, négligeant ainsi la structure d'incertitude sous-jacente essentielle pour une reconnaissance robuste en vocabulaire ouvert.

2. Méthodologie

Les auteurs proposent l'Uncertainty-Calibrated Adversarial Fine-Tuning (UCAT), un cadre conçu pour restaurer une incertitude calibrée tout en maintenant la robustesse adversaire. La méthodologie se compose de trois composantes clés :

A. Reformulation de Dirichlet des Logits de CLIP
Les auteurs reparamètrent les logits zero-shot standards de CLIP comme des paramètres de concentration ( $\alpha$ ) d'une distribution de Dirichlet.

Mapping : Étant donné les logits de CLIP $\ell$ , les paramètres de concentration sont définis par $\alpha_k(x) = \exp(h(\ell_k))$ , où $h(\ell) = (\tau \ell + 1) / \tau'$ . Ici, $\tau$ est la température apprenable, et $\tau'$ est un coefficient de calibration.
Justification théorique : Cette reformulation garantit que $\alpha_k \ge 1$ , satisfaisant les conditions de validité pour l'évidence de Dirichlet. Crucialement, lorsque $\tau' = \tau$ , l'espérance de la distribution de Dirichlet résultante retrouve exactement la règle prédictive softmax originale de CLIP, garantissant que la méthode est une interprétation probabiliste fidèle plutôt qu'une modification ad hoc.
Décomposition de l'incertitude : Ce paramétrage permet une décomposition en forme fermée de l'incertitude prédictive en deux composantes sans échantillonnage :
- Incertitude Aléatorique (AU) : Capture l'ambiguïté inhérente aux données (ex: chevauchement sémantique entre "loup" et "chien") via l'entropie de la distribution de Dirichlet.
- Incertitude Épistémique (EU) : Capture l'incertitude due à une preuve insuffisante ou à un décalage de distribution, inversement proportionnelle à la force totale de l'évidence ( $\alpha_0 = \sum \alpha_k$ ).

B. Objectif d'Alignement Distributionnel
Au lieu d'ancrer les caractéristiques adverses à un prototype textuel unique, UCAT aligne l'ensemble de la distribution prédictive d'un échantillon adverse ( $x_a$ ) avec celle de son homologue propre ( $x$ ).

Fonction de perte : L'objectif combine une perte d'entropie croisée standard guidée par le texte ( $L_{ce}$ ) avec un terme de régularisation ( $L_{ucr}$ ) défini comme la divergence de Kullback-Leibler (KL) inverse entre les distributions de Dirichlet :
$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$
Raisonnement : Les auteurs choisissent la direction de la KL inverse car elle est "recherche de mode" (mode-seeking). Contrairement à la KL directe, qui peut aplatir l'évidence, la KL inverse préserve à la fois la structure sémantique relative (sémantique inter-classes) et la force absolue de l'évidence. Cela empêche le modèle de s'effondrer en erreurs de confiance fallacieuse en garantissant que si l'échantillon propre a une faible évidence (haute incertitude), l'échantillon adverse n'est pas forcé d'avoir une haute évidence.

C. Pipeline d'Entraînement
Le cadre affine l'encodeur d'image de CLIP tout en gardant l'encodeur de texte gelé. Les paires propres et adverses (générées via $\ell_\infty$ -PGD) sont traitées pour calculer la perte jointe $L = L_{ce} + \lambda L_{ucr}$ , où $\lambda$ équilibre la supervision discriminative et la calibration de l'incertitude.

3. Principales Contributions

Formulation basée sur Dirichlet : Le papier fournit une méthode théoriquement fondée et en forme fermée pour interpréter les logits de l'apprentissage contrastif comme une évidence de Dirichlet, permettant une décomposition efficace de l'incertitude en composantes aléatoriques et épistémiques.
Cadre UCAT : Une nouvelle méthode de fine-tuning adversaire qui régularise l'ensemble des distributions de Dirichlet. Cette approche préserve conjointement les relations sémantiques inter-classes et calibre la force de l'évidence, traitant le problème de mauvais étalonnage où les entrées adverses induisent une sur-confiance.
Validation Empirique Extensive : La méthode est validée sur 16 benchmarks à étiquette unique et sur le jeu de données multi-étiquettes MS-COCO. Elle démontre des améliorations significatives de la calibration de l'incertitude (restaurant l'ordre attendu de l'incertitude : propre < adversaire) tout en atteignant une robustesse adversaire compétitive et en préservant la précision sur les données propres.

4. Résultats Expérimentaux

Calibration de l'Incertitude : Les expériences montrent que le modèle CLIP vanilla présente une incertitude prédictive plus faible sur les entrées adverses que sur les entrées propres (signe de mauvais étalonnage). UCAT restaure un ordre cohérent où l'incertitude augmente avec la difficulté de l'entrée, reflétant fidèlement le décalage de distribution.
Robustesse : Sur 16 jeux de données à étiquette unique (incluant CIFAR-10/100, ImageNet, et des jeux de données de précision fine), UCAT atteint des performances de pointe ou de second rang en termes de moyenne harmonique de la précision propre et adversaire sous diverses attaques (PGD, CW, AutoAttack).
Robustesse Multi-Étiquette : Sur le jeu de données MS-COCO, UCAT atteint les meilleurs scores de précision, de rappel et de F1 pour le top-3 sous les attaques CW, indiquant une stabilité supérieure dans les contextes multi-étiquettes ambigus où la préservation de l'ordre sémantique relatif est critique.
Généralisation : La méthode se généralise efficacement à travers différents backbones CLIP (B/16, B/32) et d'autres modèles VLM contrastifs (SLIP), suggérant que l'approche n'est pas liée à une architecture spécifique.
Études d'Ablation : Les auteurs confirment que la direction de la KL inverse et la formulation de Dirichlet (par opposition à un simple alignement softmax) sont critiques pour la performance. La méthode reste robuste à travers différentes intensités de régularisation ( $\lambda$ ) et coefficients de calibration ( $\tau'$ ).

5. Signification et Revendications

Le papier affirme combler un écart de fiabilité critique dans les modèles de vision-langage en démontrant que la robustesse ne concerne pas seulement la précision, mais aussi une incertitude calibrée. En révélant que les attaques adverses suppriment l'incertitude dans CLIP, les auteurs soutiennent que les méthodes antérieures se concentrant uniquement sur l'alignement des logits sont insuffisantes.

La portée de ce travail réside dans :

Insight Théorique : Fournir une correspondance fondée sur des principes entre les logits de l'apprentissage contrastif et l'apprentissage profond évidentiel (distributions de Dirichlet), offrant une nouvelle perspective sur la modélisation de l'incertitude dans les contextes de vocabulaire ouvert.
Fiabilité Pratique : Offrir une méthode qui garantit que les modèles ne deviennent pas sur-confiants lorsqu'ils sont attaqués, ce qui est essentiel pour le déploiement des VLM dans des scénarios critiques ou en monde ouvert.
Scalabilité : Démontrer que la calibration de l'incertitude peut être réalisée par fine-tuning sans nécessiter de ré-entraînement complet ou de changements architecturaux complexes, rendant l'approche applicable aux modèles de fondation existants.

Les auteurs maintiennent un ton modeste concernant le déploiement en conditions réelles, notant que bien que l'approche améliore la compréhension du comportement du modèle sous des perturbations adverses, toute application pratique nécessiterait une évaluation des risques approfondie et des garde-fous supplémentaires. Le travail se positionne comme une avancée méthodologique dans la modélisation de l'incertitude et l'évaluation de la robustesse pour les cadres d'apprentissage contrastif.