Résumé Technique : Fusion Minimale de Tippett des Modèles de Diffusion dans l'Espace de Représentation pour la Détection Hors Distribution Multi-Encodeur

Énoncé du Problème

La détection hors distribution (OOD) vise à identifier si un échantillon de test provient du même processus que les données d'entraînement (in-distribution, ID). Bien que les modèles génératifs profonds, en particulier les modèles de diffusion, aient montré des promesses en estimation de densité, leur fonctionnement direct dans l'espace des pixels est coûteux en calcul et produit souvent des scores OOD peu fiables. À l'inverse, les modèles de diffusion dans l'espace de représentation (RDM) opérant sur des caractéristiques compressées issues d'encodeurs préentraînés offrent une alternative gérable. Cependant, un défi fondamental persiste : différents encodeurs préentraînés (par exemple, CLIP, DINOv2, ResNet-50) capturent des aspects distincts de la structure de l'image (alignement global, sémantique fine, texture) et sont donc sensibles à différents types de décalages de distribution (changements de domaine global, divergence sémantique, corruptions de covariables). Aucun encodeur unique ne domine sur tous les types de décalages. Le problème central abordé est de savoir comment combiner efficacement plusieurs encodeurs spécialisés pour détecter des échantillons OOD lorsque le type spécifique de décalage de distribution est inconnu au moment du test, sans recourir à des étiquettes OOD pour l'étalonnage.

Méthodologie : EncMin2L

L'article propose EncMin2L, un cadre qui fusionne des modèles de diffusion dans l'espace de représentation par encodeur en utilisant une porte minimale à deux niveaux, fondée sur des statistiques.

1. Diagnostics de Spécialisation des Encodeurs

Avant l'entraînement, les auteurs introduisent deux diagnostics calculés entièrement à partir de données ID pour caractériser la sensibilité des encodeurs :

• $\eta^2$ (Test F conditionnel à la classe) : Mesure la fraction de la variance du log-vraisemblance expliquée par l'identité de la classe. Un $\eta^2$ élevé indique une sensibilité aux décalages sémantiques fins (par exemple, CIFAR-100), tandis qu'un $\eta^2$ faible suggère une sensibilité aux décalages de domaine globaux (par exemple, SVHN).
• $\Delta\mu$ (Décalage du log-vraisemblance sous corruptions synthétiques) : Quantifie le changement du log-vraisemblance moyen lorsque les images ID sont soumises à des corruptions synthétiques (par exemple, flou gaussien, bruit). Un grand $\Delta\mu$ prédit une forte sensibilité aux décalages de covariables (par exemple, CIFAR-10C).
• Corrélation inter-encodeur ($\rho$) : Les corrélations de rang de Spearman entre les log-vraisemblances des encodeurs sont utilisées pour filtrer la redondance. Une faible corrélation implique une information complémentaire.

2. Architecture de Porte Minimale à Deux Niveaux

Le mécanisme de fusion, EncMin2L, fonctionne sans étiquettes OOD et se compose de deux niveaux d'agrégation statistique :

• Niveau 1 (Porte Minimale au sein de l'Encodeur) : Pour chaque encodeur $k$, deux « fourches » sont utilisées : une fourche normalisée (normalisée par score Z) et une fourche non normalisée. Chaque fourche est modélisée par un réseau de score VP-SDE (Équation Différentielle Stochastique à Préservation de Variance) indépendant. Les log-vraisemblances sont transformées en valeurs p via la fonction de répartition empirique (CDF) des échantillons de validation ID. Une opération de minimum ($\min(\cdot)$) sur les deux fourches les réduit en un seul score par encodeur.

  • Étalonnage : Puisque le minimum de deux variables uniformes suit une distribution Beta(1, 2), une seconde réaffectation par CDF empirique est appliquée pour restaurer l'uniformité, garantissant que le score est valide pour le niveau suivant.

• Niveau 2 (Porte Minimale Inter-Encodeur) : Les scores étalonnés de tous les $K$ encodeurs sont agrégés en utilisant le test du minimum de p-valeur de Tippett. Le score OOD final $s(x)$ est le minimum de tous les scores par encodeur : $s(x) = \min_k \hat{e}_k(x)$.

  • Règle de Décision : Un échantillon est signalé comme OOD si $s(x) < \tau$, où $\tau$ est un seuil étalonné sur des données ID retenues pour contrôler le taux de faux positifs (FPR).

Cette approche garantit que pour tout point de test donné, le système se fie à l'encodeur spécifique (et à la fourche) qui déclenche l'alarme la plus forte, s'adaptant à l'entrée sans connaissance préalable du type de décalage.

Contributions Clés

1. Diagnostics de Données ID pour la Sélection d'Encodeur : L'article démontre que la spécialisation des encodeurs peut être quantifiée strictement à partir de données ID en utilisant $\eta^2$ et $\Delta\mu$. Ces métriques prédisent avec succès quel encodeur fonctionnera le mieux sur des benchmarks OOD spécifiques (décalages sémantiques vs covariables) sans observer aucun échantillon OOD.
2. Cadre EncMin2L : Une stratégie de fusion novatrice et agnostique à l'encodeur qui combine les vraisemblances de diffusion par encodeur via une porte minimale à deux niveaux. Elle évite les pièges des modèles monolithiques multi-encodeurs (qui nécessitent significativement plus de paramètres et échouent souvent à capturer les géométries individuelles des encodeurs) en agrégeant statistiquement des détecteurs spécialisés.
3. Étalonnage Statistique : La méthode fournit une procédure de test multiple théoriquement valide. En mappant les scores vers des valeurs p et en appliquant le test de Tippett, le cadre assure la stabilité de l'étalonnage et permet un ajustement direct du seuil basé sur les niveaux de FPR souhaités sans réentraînement.

Résultats Expérimentaux

Le cadre a été évalué sur quatre benchmarks OOD représentant des types de décalages distincts :

• SVHN : Décalage de domaine global.
• CIFAR-100 : Décalage sémantique fin.
• CIFAR-10C : Décalage de covariables (corruptions).
• DTD/CelebA : Décalages de domaine de texture et de visage (Far-OOD).

Performance :

• EncMin2L a atteint $\ge 0,94$ AUROC sur les quatre types de décalages simultanément lorsque CIFAR-10 était la distribution ID.
• Il a surpassé les bases de référence monolithiques multi-encodeurs de l'état de l'art et les détecteurs à encodeur unique.
• Efficacité : EncMin2L a obtenu ces résultats avec 2,3 fois moins de paramètres que la base de référence monolithique la plus performante (qui nécessitait une dimension cachée beaucoup plus grande pour égaler la performance).
• Ablation : Des expériences de type « leave-one-out » ont confirmé que la suppression d'un encodeur spécifique (par exemple, CLIP) entraînait une baisse significative des performances sur le type de décalage prédit par son profil diagnostique (par exemple, SVHN), validant l'hypothèse de spécialisation.

Comparaisons :

• Vs. Diffusion dans l'Espace des Pixels : EncMin2L a nettement surpassé les méthodes dans l'espace des pixels (par exemple, DiffPath, LMD, Projection Regret) sur les décalages sémantiques (CIFAR-100), où les méthodes dans l'espace des pixels ont échoué à capturer les structures de densité conditionnelles à la classe.
• Vs. Méthodes dans l'Espace des Caractéristiques : Bien que les méthodes k-NN sur des encodeurs spécifiques aient bien performé sur certains décalages, elles manquaient de robustesse pour gérer tous les types de décalages simultanément. EncMin2L a fourni une solution unifiée.
• Vs. Méthodes Basées sur le Classifieur : EncMin2L a surpassé les scores MSP, Mahalanobis et Énergie, en particulier dans les scénarios où les frontières de classe étaient ambiguës ou où la distribution ID était complexe (par exemple, CIFAR-100).

Importance et Revendications

L'article revendique que EncMin2L représente une avancée significative dans la détection OOD en :

1. Résolvant le Problème du « Décalage Inconnu » : Il fournit un mécanisme pour détecter des échantillons OOD sur un spectre complet de décalages de distribution sans avoir besoin de connaître le type de décalage à l'avance ni de disposer de données OOD pour l'entraînement.
2. Exploitant la Diversité des Encodeurs : Il formalise l'observation que différents encodeurs possèdent des forces complémentaires. Au lieu de forcer un modèle unique à apprendre toutes les caractéristiques, il agrège des modèles spécialisés, atteignant une précision plus élevée avec un coût computationnel inférieur.
3. Outil de Conception Pratique : Le pipeline diagnostique ($\eta^2$, $\Delta\mu$) permet aux praticiens de sélectionner et de combiner des encodeurs lors de la phase de conception uniquement sur la base de données ID, rendant le cadre adaptable à divers scénarios de déploiement sans nécessiter d'exemples OOD.

Les auteurs soulignent que la méthode repose sur la validité statistique du test de Tippett et les propriétés de la diffusion dans l'espace de représentation, offrant un signal robuste et stable en étalonnage qui s'adapte aux caractéristiques distributionnelles spécifiques de l'entrée.