Résumé Technique : ∆Energy : Optimiser le Changement d'Énergie lors de l'Alignement Vision-Langage Améliore à la fois la Détection OOD et la Généralisation OOD

1. Énoncé du Problème

Les modèles vision-langage (VLM), tels que CLIP, ont démontré un succès remarquable dans l'adaptation aux tâches en aval. Cependant, lorsqu'ils sont déployés dans des scénarios réels, ils font face à deux types distincts de défis liés aux données hors distribution (OOD) :

1. Décalages de Covariables (OOD à ensemble fermé) : Données où les étiquettes de classe restent identiques à la distribution d'entraînement, mais où la distribution des données change (par exemple, changements de style, décalages environnementaux).
2. Décalages Sémantiques (OOD à ensemble ouvert) : Données contenant des classes entièrement invisibles lors de l'entraînement.

La littérature existante traite souvent ces problèmes de manière isolée. Les méthodes se concentrant sur la robustesse aux décalages de covariables échouent généralement à détecter efficacement les décalages sémantiques en ensemble ouvert, tandis que les méthodes de détection OOD peinent souvent à maintenir des performances de généralisation sur des données décalées par covariables. De plus, les tentatives récentes pour gérer les deux (OOD à spectre complet) nécessitent souvent des ressources computationnelles importantes ou reposent sur des ensembles restreints de fonctions post-hoc. Le défi central réside dans le développement d'un cadre unifié qui améliore simultanément la capacité d'un VLM à généraliser aux données décalées par covariables tout en détectant efficacement les classes sémantiques invisibles.

2. Méthodologie

L'article propose une approche novatrice centrée sur l'observation que ré-aligner les modalités vision-langage en perturbant la similarité cosinus maximale induit un changement substantiel et discriminatif dans le score d'énergie.

2.1 ∆Energy : Un Nouveau Score OOD

Les auteurs introduisent ∆Energy, un score de détection OOD post-hoc basé sur le changement d'énergie résultant de la modification de l'alignement vision-langage.

• Mécanisme : Pour une image d'entrée, la méthode identifie les $c$ invites textuelles (prompts) les plus élevées en termes de similarité cosinus. Elle « ré-aligne » ensuite les modalités en tronquant (mettant à zéro) ces similarités maximales.
• Calcul : Le score est défini comme la différence entre le score d'énergie avant ré-alignement ($E_0$) et après ré-alignement ($E_1$) :
  $$\Delta \text{Energy}(x_i) = E_1(x_i) - E_0(x_i)$$
• Insight Théorique : L'analyse théorique (Théorème 3.2) démontre que pour les données In-Distribution (ID), le changement d'énergie est significativement plus important que pour les données OOD en ensemble ouvert. Cela s'explique par le fait que les données ID dépendent fortement des caractéristiques textuelles correspondant le mieux ; leur suppression provoque un décalage énergétique drastique. En revanche, les données OOD, qui manquent d'un alignement fort avec une classe spécifique, présentent un changement d'énergie plus faible.
• Avantage : L'article prouve que ∆Energy amplifie la séparation entre les échantillons ID et OOD plus efficacement que la méthode de Correspondance de Concept Maximale (MCM), conduisant à un taux de faux positifs (FPR) plus faible.

2.2 EBM : Maximisation de la Bornes basée sur ∆Energy

Pour traiter la généralisation OOD (décalages de covariables) tout en maintenant les capacités de détection, les auteurs proposent EBM (Maximisation de la Bornes basée sur l'Énergie) durant la phase de fine-tuning.

• Mécanisme : Lors de l'adaptation few-shot, la méthode applique une opération de masquage sur les caractéristiques de l'image. Plus précisément, elle conserve uniquement les $p\%$ supérieurs des éléments du produit élément par élément entre la caractéristique de l'image et la caractéristique textuelle de rang 1, en annulant le reste.
• Objectif : Le modèle est entraîné pour minimiser la perte $L_{\Delta E}$, qui représente la différence d'énergie entre les caractéristiques originales et masquées :
  $$L_{\Delta E} = \frac{1}{N} \sum_{i=1}^{N} [E_2(x_i) - E_0(x_i)]$$
  où $E_2$ est l'énergie de la caractéristique masquée.
• Garantie Théorique : Les auteurs prouvent (Théorème 3.4) que la minimisation de $L_{\Delta E}$ augmente la borne inférieure de ∆Energy pour les classes à ensemble fermé. De plus, le Théorème 3.5 établit que cette optimisation conduit à des Hessiennes cohérentes avec le domaine entre les domaines des caractéristiques originales et masquées. Cette cohérence sert d'indicateur fort pour la généralisation OOD, bornant théoriquement l'écart de performance entre les domaines source et cible.

2.3 Cadre Unifié

L'objectif d'optimisation final combine la perte d'entropie croisée standard avec la perte EBM :
$$L_{EBM} = L_{CE} + \lambda_0 L_{\Delta E}$$
Ce cadre permet l'optimisation simultanée de la généralisation OOD (via EBM) et de la détection OOD (via le score ∆Energy résultant).

3. Contributions Clés

1. Nouveau Score OOD (∆Energy) : L'article introduit une méthode de détection OOD zero-shot qui mesure le changement d'énergie lors du ré-alignement des modalités vision-langage. Elle surpasse théoriquement et empiriquement les méthodes existantes telles que MCM, Energy et ReAct, en particulier dans les scénarios de détection OOD « difficiles ».
2. Cadre de Fine-Tuning Unifié (EBM) : Les auteurs développent un paradigme de fine-tuning qui améliore simultanément la généralisation OOD et la détection OOD. En minimisant le changement d'énergie induit par le masquage des caractéristiques, la méthode induit des Hessiennes cohérentes avec le domaine, reliant théoriquement le processus d'optimisation à une généralisation améliorée sous décalages de covariables.
3. Analyse Théorique : Le travail fournit des preuves théoriques rigoureuses démontrant que ∆Energy offre une meilleure séparabilité que MCM et que la perte EBM conduit à des Hessiennes cohérentes avec le domaine, bornant ainsi l'écart de généralisation OOD.
4. Évaluation Complète : La méthode est évaluée sur des benchmarks exigeants incluant ImageNet-1k (avec diverses splits), PACS et VLCS, couvrant à la fois les décalages de covariables et les décalages sémantiques.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences extensives sur les ensembles de données ImageNet-1k, PACS et VLCS en utilisant CLIP (ViT-B/16) comme backbone.

• Performance de Détection OOD :

  • Sur le benchmark ImageNet-1k (Configuration-I), ∆Energy a atteint un AUROC de 87,10 %, surpassant la deuxième meilleure méthode (MCM à 85,81 %) et dépassant significativement la méthode Energy standard.
  • Dans la distinction entre OOD à ensemble fermé (décalage de covariables) et OOD à ensemble ouvert (décalage sémantique), ∆Energy a atteint un AUROC de 78,68 %, surpassant les concurrents d'une marge de 10 % à 25 % dans divers scénarios.
  • La méthode a montré des performances supérieures dans les splits de détection OOD « difficiles » où les données ID et OOD sont étroitement distribuées.

• Performance de Généralisation OOD :

  • Dans le cadre de fine-tuning few-shot (Configuration-I et Configuration-II), la méthode EBM a atteint les meilleures performances globales tant en précision OOD qu'en métriques de détection OOD.
  • Spécifiquement, EBM a amélioré la précision OOD sur les données OOD à ensemble fermé de 0,45 % et l'AUROC de plus de 5 % par rapport à la méthode concurrente CRoFT.
  • Sur l'ensemble de données VLCS, EBM a montré des améliorations significatives par rapport à des méthodes comme CRoFT et GalLoP, qui souffrent souvent d'oubli des connaissances générales lors de l'adaptation à des domaines spécifiques.

• Efficacité :

  • La détection ∆Energy en zero-shot ne nécessite aucun entraînement supplémentaire et possède des temps d'inférence comparables à MCM (18 s contre 17 s).
  • Le processus de fine-tuning EBM est computationnellement efficace, nécessitant un temps et une mémoire GPU similaires à CoOp (18 min, ~7,7 Go) et nettement moins que GalLoP (140 min, ~47 Go).

5. Signification et Revendications

L'article revendique que ∆Energy et EBM fournissent une solution unifiée au compromis entre détection OOD et généralisation OOD dans les VLM.

• Fiabilité : Les auteurs affirment que ∆Energy offre une approche plus fiable pour la détection OOD que les méthodes précédentes basées sur l'énergie ou le softmax, en particulier dans des scénarios exigeants où les décalages de distribution sont subtils.
• Fondement Théorique : La signification du travail réside dans sa démonstration théorique que l'optimisation du changement d'énergie (via EBM) aide non seulement à la détection, mais améliore également structurellement la robustesse du modèle face aux décalages de domaine en alignant les Hessiennes du risque empirique à travers les domaines.
• Impact Pratique : En permettant à un seul cadre de fine-tuning de gérer à la fois les décalages de covariables (généralisation) et les décalages sémantiques (détection), la méthode comble une lacune critique dans le déploiement des VLM pour des applications réelles où les deux types de décalages de distribution sont inévitables.

Les auteurs concluent que leur méthode surpasse les approches récentes de l'état de l'art d'une marge significative (10 % à 25 % en AUROC) sur des benchmarks exigeants, validant l'efficacité de l'exploitation du changement d'énergie lors du ré-alignement vision-langage.