Résumé technique : Score de Vendi Conditionnel

Énoncé du problème

Les modèles d'IA générative, en particulier ceux guidés par des invites textuelles (par exemple, les LLM, le texte-vers-image et le texte-vers-vidéo), sont principalement évalués pour leur fidélité (alignement avec l'invite) et leur qualité. Bien que la diversité soit une métrique critique pour les modèles génératifs inconditionnels, les mesures de diversité existantes telles que le score de Vendi et l'entropie de noyau de Rényi (RKE) sont mal adaptées aux systèmes guidés par des invites.

Les mesures actuelles traitent toute la variabilité d'un ensemble d'échantillons générés comme une source unique. Elles ne parviennent pas à distinguer :

1. La diversité induite par l'invite : La variabilité découlant des différences entre les invites d'entrée (par exemple, générer un « chien » versus un « chat »).
2. La diversité induite par le modèle : La variabilité découlant de la stochasticité interne du modèle lorsqu'il reçoit des invites similaires ou identiques (par exemple, générer différentes races de chiens pour la même invite « chien »).

Cette confusion biaise les comparaisons de diversité. Un modèle peut paraître divers simplement parce qu'il a été testé sur une large gamme d'invites, masquant ainsi un manque de variabilité interne, ou inversement. Le papier traite la nécessité d'une évaluation de la diversité sensible aux invites qui isole la variabilité induite par le modèle.

Méthodologie

Les auteurs proposent le Vendi-Conditionnel et le RKE-Conditionnel, des scores de diversité dérivés de l'entropie conditionnelle de matrices de noyaux semi-définies positives (PSD) :

Cadre théorique

L'approche étend les définitions information-théoriques de Vendi (entropie de von Neumann) et de la RKE (entropie de Rényi d'ordre 2) au contexte conditionnel. Étant donné un ensemble de paires invite-sortie $\{(t_i, x_i)\}_{i=1}^n$, où $T$ représente les invites et $X$ les sorties :

• Matrices de noyaux : La méthode construit des matrices de noyaux normalisées $K_X$ (pour les sorties) et $K_T$ (pour les invites).
• Entropie conditionnelle : Elle définit l'entropie conditionnelle de la sortie par rapport au noyau de l'invite en utilisant le produit de Hadamard (élément par élément) :
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  où $H(\cdot)$ désigne l'entropie matricielle (von Neumann pour Vendi, Rényi d'ordre 2 pour RKE).
• Décomposition : Le score de diversité total se décompose en :
  $$\text{Vendi}(X) = \text{Vendi-Conditionnel}(X|T) \times \text{Vendi-Information}(X; T)$$
  Ici, le Vendi-Conditionnel isole la diversité des sorties étant donné les invites (induite par le modèle), tandis que le Vendi-Information capture l'information mutuelle entre les invites et les sorties.

Scalabilité et convergence

• RKE-Conditionnel : Les auteurs prouvent que le Conditional-RKE bénéficie d'un taux de convergence de $O(1/\sqrt{n})$ et est efficace sur le plan computationnel ($O(n^2)$) car il repose sur les normes de Frobenius, évitant ainsi la décomposition en valeurs propres complète. Il ne souffre pas de dépendance à la dimension.
• Vendi-Conditionnel : L'estimation directe du Vendi-Conditionnel souffre de la « malédiction de la dimensionnalité », avec un taux de convergence dépendant du produit des dimensions de caractéristiques des noyaux texte et image ($d_X d_T$). Pour y remédier, les auteurs introduisent une approximation par troncature du spectre. En ne conservant que les $t$ premières valeurs propres et en renormalisant, ils obtiennent un estimateur scalable avec un taux de convergence de $\tilde{O}(\sqrt{t/n})$, indépendant des dimensions de caractéristiques.

Application : Guidage

Le papier étend ces métriques au guidage dans les modèles de diffusion. En maximisant le score de Vendi-Conditionnel tronqué pendant le processus d'échantillonnage (via l'ascension de gradient dans l'espace latent), le modèle est encouragé à générer des sorties qui sont diverses par rapport à la distribution des invites, plutôt que simplement diverses dans l'espace ambiant.

Principales contributions

1. Métriques sensibles aux invites : Introduction du Vendi-Conditionnel et du RKE-Conditionnel comme les premiers scores de diversité spécifiquement conçus pour démêler la variabilité induite par le modèle de la variabilité induite par l'invite.
2. Garanties théoriques : Établissement de bornes de convergence en échantillon fini pour les deux scores. Notamment, la preuve pour le Conditional-RKE démontre une convergence indépendante de la dimension, tandis que le Vendi-Conditionnel tronqué offre une alternative scalable pour les plongements (embeddings) de haute dimension.
3. Méthode de troncature : Une adaptation novatrice de la troncature du spectre propre au contexte conditionnel, permettant une estimation cohérente pour les tâches génératives à grande échelle où les tailles d'échantillons sont limitées par rapport aux dimensions de plongement.
4. Validation empirique : Évaluation complète sur quatre domaines :
   • Texte-vers-image : Modèles incluant Stable Diffusion XL, Flux et PixArt.
   • Texte-vers-vidéo : Modèles incluant VideoCrafter, Show-1 et Open-Sora.
   • Légendage d'image : Modèles incluant BLIP-2, GIT et GPT-4o-mini.
   • LLM : Modèles incluant Llama 2 et Gemma.
5. Mécanisme de guidage : Démonstration que le guidage par Vendi-Conditionnel peut améliorer la diversité des échantillons dans les modèles de diffusion tout en maintenant l'alignement avec l'invite (fidélité).

Résultats

• Récupération de la vérité terrain : Dans des expériences contrôlées où l'ordre de diversité de vérité terrain était connu (par exemple, en faisant varier le nombre de types d'animaux spécifiés dans les invites), les scores conditionnels ont réussi à récupérer les classements prévus. Les scores inconditionnels (Vendi/RKE standard) n'ont pas réussi à distinguer la diversité pilotée par l'invite de celle pilotée par le modèle.
• Convergence : Des expériences sur les données MS-COCO ont montré que le Conditional-RKE et le Vendi-Conditionnel tronqué convergent avec des tailles d'échantillons modérées (environ 15 000 échantillons), alors que le Vendi-Conditionnel non tronqué n'a pas réussi à converger dans des limites de calcul raisonnables.
• Comparaison de modèles : Les scores ont révélé que différents modèles présentent des niveaux de diversité intrinsèque variés. Par exemple, dans le texte-vers-vidéo, Open-Sora a démontré une diversité conditionnelle plus élevée que VideoCrafter. Dans les LLM, l'augmentation du paramètre de température est corrélée à une augmentation des scores de Vendi-Conditionnel et de RKE, reflétant une plus grande diversité de sortie.
• Efficacité du guidage : L'application du guidage Vendi-Conditionnel à Stable Diffusion XL et PixArt a entraîné une plus grande diversité d'échantillons (mesurée par le Vendi et la similitude par lot/in-batch) et un meilleur alignement avec les catégories d'invites par rapport au guidage Vendi standard, sans dégrader l'alignement texte-image (CLIPScore).

Signification et affirmations

Le papier affirme que le Vendi-Conditionnel et le RKE-Conditionnel constituent une évolution nécessaire de l'évaluation des modèles génératifs. En isolant la diversité induite par le modèle, ces métriques permettent aux chercheurs et praticiens de :

• Évaluer avec précision la variabilité intrinsèque d'un modèle génératif, indépendamment de la distribution des invites utilisée pour les tests.
• Identifier si la « diversité » d'un modèle est simplement le résultat d'une large couverture d'invites ou d'une véritable capacité de génération stochastique.
• Guider les processus génératifs vers des sorties plus diverses qui respectent le contexte de l'invite, s'attaquant ainsi au problème de l'effondrement de mode (mode collapse) ou de la sur-détermination souvent observés dans les modèles de diffusion à haute fidélité.

Les auteurs positionnent ces scores comme un outil fondamental pour la prochaine génération d'IA générative conditionnée par des invites, offrant une approche rigoureuse et information-théorique à un problème auparavant traité uniquement par des méthodes heuristiques ou inconditionnelles.