Résumé Technique : Géométrie sur Densité : Détection Hors Distribution (OOD) Transversale en Few-Shot

Énoncé du Problème

La détection hors distribution (OOD) est cruciale pour le déploiement sécurisé de l'apprentissage automatique dans des scénarios à haut risque (par exemple, conduite autonome, diagnostic médical), exigeant que les modèles reconnaissent les entrées qui s'écartent de leur distribution d'entraînement. Les méthodes existantes de détection OOD relèvent généralement de trois catégories : les approches basées sur le classifieur, sur la densité et sur la distance. Cependant, ces méthodes souffrent de deux limitations principales :

1. Spécificité du Domaine : Elles sont étroitement couplées à la distribution d'entraînement spécifique. Déployer un détecteur sur un nouveau domaine nécessite de collecter des données in-distribution (ID) à grande échelle (souvent 50k–200k échantillons) et de réentraîner un modèle dédié.
2. Dépendance à l'Estimation de Densité : La plupart des méthodes tentent de modéliser la densité de probabilité $p(x)$ des données ID. L'article soutient que cette dépendance aux statistiques distributionnelles limite la généralisation transversale, car les estimations de densité sont hautement sensibles aux décalages de domaine.

Les auteurs posent le défi de la Détection OOD Transversale en Few-Shot : un modèle pré-entraîné unique peut-il effectuer une détection OOD sur des paires de tâches ID-OOD arbitraires et nouvelles en utilisant uniquement une poignée d'échantillons ID non étiquetés (par exemple, ~100) au moment de l'inférence, sans aucun entraînement ou ajustement fin supplémentaire ?

Méthodologie : UFCOD

Les auteurs proposent UFCOD (Unified Few-shot Cross-domain OOD Detection), un cadre sans entraînement qui déplace le paradigme de l'estimation de densité vers l'analyse information-géométrique des trajectoires de diffusion.

1. Insight Central : La Diffusion comme Extracteur de Caractéristiques Universel

Au lieu d'entraîner un nouveau détecteur pour chaque domaine, UFCOD exploite un modèle de diffusion pré-entraîné unique (entraîné sur un jeu de données source, par exemple CelebA) comme extracteur de caractéristiques universel. L'insight théorique clé est que la prédiction de bruit $\epsilon_\theta(x_t, t)$ dans un modèle de diffusion est directement proportionnelle à la fonction de score (le gradient de la densité logarithmique, $\nabla \log p(x_t)$).

• Pour les échantillons ID, la fonction de score apprise fournit une guidance précise, résultant en des trajectoires lisses et à faible énergie.
• Pour les échantillons OOD, la fonction de score est peu fiable, provoquant des oscillations du processus de débruitage et une énergie élevée.

2. Extraction de Caractéristiques Basée sur l'Énergie

La méthode extrait un vecteur de caractéristiques compact à deux dimensions de la trajectoire de diffusion d'une image d'entrée $x$ :

• Énergie du Chemin ($f_1$) : La magnitude quadratique cumulative des prédictions de bruit le long de la trajectoire. Elle mesure la magnitude intégrée de la fonction de score.
  $$f_1 = \sum_{t,c,h,w} \epsilon_{t,c,h,w}^2$$
• Énergie de la Dynamique ($f_2$) : Le taux de changement quadratique cumulé (dérivée temporelle) des prédictions de bruit. Elle mesure la régularité de la trajectoire dans l'espace des scores.
  $$f_2 = \sum_{t,c,h,w} (\Delta \epsilon_{t,c,h,w})^2$$

Ces deux caractéristiques forment une norme de Sobolev discrète de la fonction de score, capturant à la fois la magnitude et la régularité. Les auteurs soutiennent que les statistiques d'ordre deux (énergie) sont optimales pour la détection en few-shot car les moments d'ordre un ont des espérances proches de zéro pour le bruit gaussien, tandis que les moments d'ordre supérieur sont trop sensibles aux valeurs aberrantes.

3. Construction de Référence en Few-Shot

Pour effectuer la détection avec des données limitées, UFCOD construit un ensemble de référence à partir d'un petit nombre d'échantillons ID (par exemple, 100).

• Sélection par Localisation des Installations (Facility Location) : Au lieu d'un échantillonnage aléatoire, la méthode utilise l'objectif de localisation des installations pour sélectionner des échantillons qui minimisent collectivement la distance maximale vers n'importe quel point ID dans l'espace de caractéristiques 2D. Cela garantit que l'ensemble de référence représente fidèlement la structure centrale de la distribution ID plutôt que de sélectionner des valeurs aberrantes aux frontières.
• Justification Théorique : En réduisant l'espace de caractéristiques de l'espace de pixels de haute dimension ($d \approx 3072$) à un espace d'énergie 2D, la complexité d'échantillonnage requise pour caractériser la distribution chute de $O(1/\epsilon^d)$ à $O(1/\epsilon^2)$, permettant une détection efficace avec ~100 échantillons.

4. Notation OOD via Transport Optimal

Le score OOD est calculé comme la distance de Wasserstein-1 régularisée par l'entropie entre les caractéristiques d'un échantillon de test et l'ensemble de référence. Cela est mis en œuvre comme une distance de minimum souple :
$$s_T(f) = -T \log \sum_{i=1}^m \exp\left(-\frac{\|f - f_i\|^2}{T}\right)$$
où $T$ est un paramètre de température (fixé à 0,5). Cette approche offre une robustesse au bruit dans l'ensemble de référence en répartissant la masse sur plusieurs voisins plutôt que de s'appuyer sur un seul voisin le plus proche. Enfin, un calibrage par score Z est appliqué pour normaliser les scores à travers différents domaines, permettant un seuil de décision unifié.

Contributions Clés

1. Cadre Information-Géométrique : L'article établit un lien théorique entre la détection OOD basée sur la diffusion et la géométrie de l'information. Il définit l'Énergie du Chemin et l'Énergie de la Dynamique comme une norme de Sobolev discrète et prouve via la borne de Cramér-Rao que les statistiques d'ordre deux sont optimales pour la détection en few-shot.
2. Détection Transversale Sans Entraînement : UFCOD démontre qu'un modèle de diffusion pré-entraîné unique peut servir d'extracteur de caractéristiques universel pour la détection OOD à travers des domaines sémantiquement non liés (par exemple, visages, chiffres, textures) sans réentraînement ni ajustement fin.
3. Efficacité Échantillonnaire : La méthode atteint des performances élevées en utilisant uniquement ~100 échantillons ID par tâche. L'analyse théorique montre que cela réduit les exigences en échantillons d'un facteur $\sim 500$ par rapport aux méthodes utilisant des données complètes.

Résultats Expérimentaux

Les auteurs ont évalué UFCOD sur 12 paires de benchmarks ID-OOD impliquant CIFAR-10, SVHN, CelebA, CIFAR-100 et Textures.

• Performance : En utilisant uniquement 80–150 échantillons ID, UFCOD a atteint un AUROC moyen de 93,7 %. Cette performance est compétitive, et souvent supérieure, par rapport aux références de l'état de l'art (par exemple, IGEBM, VAEBM, DiffPath) qui sont entraînées sur 50k–163k échantillons.
• Généralisation Transversale : Un modèle entraîné uniquement sur CelebA a détecté avec succès des échantillons OOD dans CIFAR-10 et SVHN avec une grande précision, alors que les méthodes de référence entraînées sur un domaine ont échoué significativement lorsqu'appliquées à un autre (par exemple, une baisse de performance de 91,5 % pour la référence DoS dans certaines configurations transversales).
• Études d'Ablation :
  • Sélection de Caractéristiques : Les caractéristiques d'énergie d'ordre deux (2D) ont surpassé les ensembles de caractéristiques 6D et les moments d'ordre un/trois.
  • Sélection de Coeur d'Ensemble (Coreset) : La sélection par localisation des installations a surpassé l'échantillonnage aléatoire et K-Center Greedy, confirmant que la représentativité est plus critique que la diversité dans le régime few-shot.
  • Notation : La notation de proximité pondérée souple avec $T=0,5$ a surpassé les méthodes de notation non pondérées et basées sur la densité.

Signification et Revendications

L'article revendique que la limitation de la détection OOD actuelle réside dans sa dépendance à la modélisation de statistiques de densité spécifiques au domaine. En déplaçant l'attention vers les propriétés géométriques des trajectoires de diffusion (spécifiquement la fiabilité et la régularité de la fonction de score), les auteurs démontrent que la détection OOD peut être découplée de l'entraînement spécifique au domaine.

La signification de ce travail est triple :

1. Déploiement Pratique : Elle permet la détection OOD dans des scénarios où la collecte de jeux de données ID à grande échelle est irréalisable, ne nécessitant qu'un petit nombre d'échantillons pour l'étalonnage.
2. Insight Théorique : Elle fournit une explication principielle de la raison pour laquelle les modèles de diffusion généralisent bien à travers les domaines pour la détection d'anomalies, l'attribuant à la structure géométrique de la fonction de score plutôt qu'à l'estimation de densité.
3. Efficacité : Elle réalise une amélioration d'environ $\sim 500\times$ en efficacité échantillonnaire, rendant la détection OOD haute performance accessible pour des environnements de déploiement contraints en ressources ou en évolution rapide.

Les auteurs reconnaissent les limites, notant que la méthode lutte avec la détection Near-OOD (par exemple, CIFAR-10 vs CIFAR-100) où les distinctions sémantiques sont subtiles, car les caractéristiques d'énergie capturent des différences distributionnelles grossières plutôt que des frontières de catégories fines.