🤖 machine learning

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

Ce papier présente JEPA guidance, un cadre d'échantillonnage par diffusion qui exploite des modèles du monde à architecture prédictive d'incorporation conjointe (JEPA) pour définir et générer des échantillons minoritaires fondés sur la rareté sémantique du monde réel plutôt que sur des densités spécifiques au modèle, améliorant ainsi la fidélité et la validité des instances générées de faible densité dans diverses tâches de génération.

Auteurs originaux : Sol Park, Soobin Um

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sol Park, Soobin Um

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Chambre d'Écho » de l'Art IA

Imaginez que vous demandiez à un artiste IA de dessiner une image d'un « animal rare ». La plupart des modèles IA actuels sont comme des chambres d'écho. Ils ont été entraînés sur des millions de photos provenant d'Internet. S'ils voient 1 000 photos d'un chien sur un fond blanc, ils pensent que c'est la façon « normale » dont un chien ressemble. Si vous demandez un chien « rare », l'IA pourrait simplement dessiner un chien avec une couleur étrange ou une pose bizarre, mais c'est toujours juste un chien sur un fond blanc.

Le papier soutient que les méthodes actuelles de l'IA pour trouver des choses « rares » sont limitées car elles ne recherchent que des choses qui sont rares à l'intérieur de la propre mémoire de l'IA. Elles ne comprennent pas ce qui est réellement rare dans le monde réel. Par exemple, un « avion furtif » est véritablement rare dans le monde réel, mais si l'IA n'en a jamais vu, elle ne saura pas le dessiner comme « rare ». Elle pourrait simplement dessiner un chien très flou à la place.

La Solution : Un Nouveau Guide (JEPA)

Les auteurs proposent une nouvelle façon d'enseigner à l'IA ce que « rare » signifie vraiment. Ils introduisent un nouveau guide appelé JEPA (Joint-Embedding Predictive Architecture).

Imaginez le processus de dessin de l'IA (Diffusion) comme un randonneur essayant de trouver une grotte cachée dans une vaste chaîne de montagnes brumeuse.

L'Ancienne Façon : Le randonneur n'a qu'une carte de la zone qu'il vient de parcourir (les données d'entraînement). Il cherche une grotte qui est cachée par rapport au chemin qu'il vient de prendre. Il pourrait trouver un petit trou dans un rocher familier, mais il manque le système de grottes massif et unique qui existe ailleurs dans le monde.
La Nouvelle Façon (Guidage JEPA) : Le randonneur reçoit maintenant une vue satellite de la planète entière (le « Prior Mondial »). Cette vue satellite a été construite par un observateur ultra-intelligent (JEPA) qui a vu des milliards d'images et comprend la véritable géographie du monde. Ce guide dit au randonneur : « Ne cherche pas un trou dans le rocher sur lequel tu es debout. Cherche l'endroit où le terrain est vraiment unique et intact, comme un avion furtif dans un ciel rempli d'oiseaux. »

Comment Cela Fonctionne : La Chasse aux « Faibles Densités »

Dans le monde de l'IA, les zones « denses » sont là où la plupart des choses vivent (comme une place de ville bondée). Les zones de « faible densité » sont les endroits vides et calmes (comme un désert ou une base secrète).

L'Objectif : Le papier veut que l'IA génère des images à partir de ces zones de « faible densité » qui sont véritablement rares dans le monde réel, et non pas seulement rares dans l'ensemble d'entraînement de l'IA.
L'Astuce : L'IA utilise le guide JEPA pour vérifier son travail pendant qu'elle dessine. À chaque étape du processus de dessin, elle demande au guide JEPA : « Cette image est-elle courante ou rare dans le monde réel ? »
Le Guidage : Si l'image devient trop « courante » (comme un chien standard), le guide pousse le dessin vers la direction « rare » (comme un chien avec des ailes ou un avion furtif). Il oriente l'IA loin de la place de ville bondée vers les coins calmes et uniques du monde.

Rendre Cela Rapide : Le « Raccourci »

Calculer cette « rareté du monde réel » est généralement très lent et lourd, comme essayer de compter chaque grain de sable sur une plage pour en trouver un spécifique. Le papier introduit un raccourci mathématique (en utilisant quelque chose appelé SVD Randomisée et le Théorème de l'Enveloppe).

Imaginez que vous devez peser un énorme rocher. Au lieu de soulever le tout, vous prenez quelques mesures intelligentes de sa surface et utilisez une formule pour estimer le poids avec une précision incroyable. Cela permet à l'IA d'utiliser le guide « Prior Mondial » sans ralentir trop le processus de dessin.

Les Résultats : Meilleur, Plus Étrange et Plus Réel

Le papier a testé cela sur plusieurs tâches :

Dessiner des visages : Au lieu de simplement créer des visages qui ont l'air bizarres, il a généré des visages qui étaient véritablement uniques (par exemple, des traits spécifiques et rares) plutôt que simplement désordonnés.
Dessiner des animaux : Il a généré avec succès des choses comme des « avions furtifs » ou des « autruches », qui sont rares dans le monde réel, alors que d'autres méthodes ne faisaient que créer des chiens à l'air bizarre.
Texte vers Image : Lorsqu'on lui demandait de dessiner des scènes spécifiques, il créait des images qui étaient à la fois fidèles au texte et étonnamment uniques, évitant l'aspect « moyenne ennuyeuse ».

Pourquoi Cela Compte

Les auteurs montrent qu'en utilisant un « Prior Mondial » (JEPA) au lieu de simplement la « Mémoire de l'IA » (Prior Génératif), nous pouvons créer un art IA qui semble plus surprenant et authentique. C'est la différence entre une IA qui ne connaît que ce qu'elle a déjà vu, et une IA qui comprend la réalité plus large et plus étrange du monde.

En bref : Ce papier apprend à l'IA à arrêter de chercher des choses rares dans son propre jardin et à commencer à explorer le monde entier pour trouver des images véritablement uniques et intéressantes.

Énoncé du problème

L'échantillonnage de minorité vise à générer des instances de faible densité sur une variété de données, ce qui est crucial pour des applications telles que le diagnostic médical, la détection d'anomalies et l'IA créative. Cependant, les approches existantes définissent la « minorité » par rapport au prior génératif appris par le modèle lui-même (c'est-à-dire la distribution des données d'entraînement). Cela crée une limitation fondamentale : les échantillons identifiés comme « rares » sont souvent de simples artefacts de l'ensemble d'entraînement spécifique ou des biais inductifs du modèle, plutôt que des instances véritablement atypiques dans le monde réel. Par exemple, un modèle entraîné sur des ensembles de données standards pourrait considérer un chien sur un fond blanc comme « rare » simplement parce qu'il est sous-représenté dans les données d'entraînement, alors qu'un avion furtif pourrait être véritablement rare dans le monde réel mais ne pas être capturé comme tel si le prior du modèle est étroit. L'article soutient que les méthodes actuelles échouent à s'aligner sur les priors du monde réel, qui sont nécessaires pour capturer la véritable rareté sémantique.

Méthodologie : Guidance JEPA

Les auteurs proposent la Guidance JEPA, un cadre qui déplace l'échantillonnage de minorité d'une perspective centrée sur le générateur vers une perspective centrée sur le monde. Cela est réalisé en guidant les modèles de diffusion à l'aide de la densité implicite d'une architecture d'embedding prédictif conjoint (JEPA), une classe de modèles du monde (par exemple, DINOv2) connue pour encoder des représentations larges et riches sémantiquement.

Mécanisme central :

Définition centrée sur le monde : Au lieu de minimiser la probabilité sous la densité du modèle de diffusion $p_\theta(x)$ , la méthode cherche à minimiser la probabilité sous la densité induite par le JEPA $p_\phi(x)$ . Les échantillons de minorité sont définis comme ceux résidant dans des régions de faible densité de l'espace de représentation du JEPA.
JEPA-SCORE : La méthode utilise le JEPA-SCORE, une mesure de densité dérivée du Jacobien d'un encodeur JEPA préentraîné $f_\phi$ . Plus précisément, il s'agit de la somme des logarithmes des valeurs singulières du Jacobien $J_f(x)$ . Des valeurs de JEPA-SCORE plus faibles indiquent une densité plus faible (atypicité plus élevée) dans le prior du monde.
Approximation par SVD randomisée : Le calcul complet du Jacobien et de sa décomposition en valeurs singulières (SVD) à chaque étape de diffusion est prohibitif en termes de calcul. Les auteurs emploient la SVD randomisée pour approximer efficacement les $k$ premières valeurs singulières du Jacobien compressé. Ils fournissent une borne supérieure théorique sur l'erreur d'approximation, la décomposant en erreur d'estimation de la SVD randomisée et erreur de troncature.
Théorème de l'enveloppe pour l'efficacité : Pour éviter la rétropropagation à travers la boucle d'optimisation interne de la SVD randomisée (qui dépend de l'entrée $x_t$ ), les auteurs invoquent le Théorème de l'enveloppe. Cela leur permet de traiter la matrice de projection optimale $Q^*$ comme une constante lors du calcul du gradient, réduisant considérablement l'utilisation de la mémoire et la surcharge de calcul tout en préservant des gradients d'ordre correct.
Guidance différée : Pour combler l'écart de domaine entre les latents intermédiaires bruyants du modèle de diffusion et les entrées propres attendues par l'encodeur JEPA, les auteurs introduisent la guidance différée. La guidance JEPA n'est appliquée qu'après un pas de temps intermédiaire $\tau T$ (par exemple, $t=0.8T$ ), garantissant que les estimations débruitées $\hat{x}_{0|t}$ sont suffisamment claires pour que l'encodeur JEPA puisse évaluer efficacement. Cela permet également à la méthode de s'étendre à la génération conditionnelle (par exemple, texte vers image), car la condition est établie tôt dans le processus avant le début de la guidance centrée sur le monde.

Contributions clés

Échantillonnage de minorité centré sur le monde : Un changement de paradigme redéfinissant les échantillons de minorité sur la base de priors du monde réel (via des JEPAs) plutôt que sur les priors étroits du modèle génératif.
Cadre de guidance JEPA : Une méthode d'échantillonnage de diffusion fondée sur des principes qui oriente les trajectoires vers des régions de faible densité sous des priors induits par JEPA.
Calcul efficace : Le développement de stratégies d'approximation fondées sur des principes (SVD randomisée) et l'application du Théorème de l'enveloppe pour rendre la guidance JEPA praticable en termes de calcul, accompagnée de bornes d'erreur théoriques.
Intégration sans entraînement : L'approche est entièrement sans entraînement, ne nécessitant que des modèles de diffusion et de JEPA préentraînés, et peut être intégrée au moment de l'inférence sans modifier les modèles sous-jacents.

Résultats expérimentaux

Les auteurs ont évalué la guidance JEPA sur des tâches de génération non conditionnelle, conditionnée par la classe et de texte vers image (en utilisant CelebA, ImageNet, Stable Diffusion 1.5 et SDXL-Lightning).

Atypicité : La guidance JEPA atteint systématiquement le JEPA-SCORE le plus faible (indiquant une atypicité plus élevée sous les priors du monde) par rapport aux bases de référence telles que Sehwag et al. (2022), MG, SGMS et MinorityPrompt.
Fidélité et validité : Malgré la ciblage de régions rares, la méthode maintient une haute fidélité. Dans les tâches de texte vers image, elle obtient des scores d'alignement texte compétitifs (CLIPScore, PickScore, ImageReward) tout en générant des échantillons sémantiquement distincts (par exemple, du personnel militaire âgé, des joueurs de baseball afro-américains) que d'autres méthodes échouent à produire.
Comparaison qualitative : Les visualisations montrent que les méthodes centrées sur le générateur produisent souvent des échantillons avec des contextes atypiques (par exemple, un aigle près d'une grue), tandis que la guidance JEPA produit des échantillons avec des sémantiques ou des comportements atypiques (par exemple, des aigles en accouplement, des formes animales inhabituelles), s'alignant mieux sur la rareté du monde réel.
Utilité en aval : Dans une tâche d'augmentation de données pour l'entraînement d'un classifieur, l'augmentation avec des échantillons de minorité guidés par JEPA a produit des performances supérieures ou comparables à d'autres méthodes utilisant moins d'échantillons, suggérant que ces échantillons fournissent des signaux d'entraînement plus informatifs.

Signification et affirmations

L'article affirme que la guidance JEPA offre une solution robuste à la limitation des échantillonneurs de minorité existants, qui sont piégés dans la propre distribution du modèle génératif. En tirant parti des modèles du monde (JEPAs), la méthode génère des échantillons qui sont véritablement rares dans le monde réel, et non pas simplement rares par rapport à un ensemble de données spécifique.

Les auteurs soulignent que cette approche :

Découple la notion de minorité du prior génératif.
Comble le fossé entre la modélisation générative et la modélisation du monde, un composant clé dans la poursuite de l'intelligence artificielle générale.
Fournit un outil pratique et sans entraînement pour des applications nécessitant des données diverses et atypiques, telles que les tests de robustesse, l'amélioration de l'équité et la génération de contenu créatif.

Les auteurs reconnaissent également une préoccupation potentielle de double usage : inverser la direction de la guidance pourrait renforcer les biais existants dans les priors du monde, et ils encouragent une utilisation responsable. Ils notent que, bien que la méthode introduise une surcharge de calcul par rapport aux échantillonneurs standards, elle reste plus rapide que certaines bases de référence complexes (comme MinorityPrompt) et offre un compromis raisonnable pour le gain significatif en atypicité centrée sur le monde.