PromptSplit: Revealing Prompt-Level Disagreement in Generative Models

Résumé Technique : PromptSplit

Énoncé du Problème

Les modèles d'IA générative guidés par des prompts (couvrant la vision et le langage) se sont multipliés, pourtant les méthodes systématiques pour comparer leurs comportements par rapport à des prompts spécifiques restent limitées. Les métriques d'évaluation existantes, telles que FID, Inception Score et CLIP-Score, fournissent des indicateurs de qualité agrégés qui compressent le comportement du modèle en de simples valeurs scalaires. Ces métriques occultent souvent les divergences dépendantes du prompt. Par exemple, deux modèles peuvent générer des images de haute qualité pour un prompt donné mais diverger considérablement dans le contenu ou le style de la sortie en fonction de catégories de prompts spécifiques (par exemple, un modèle générant systématiquement des figures masculines tandis qu'un autre génère des figures féminines pour le prompt « une personne »). Les méthodes actuelles de comparaison spectrale et distributionnelle opèrent généralement dans un cadre sans prompt, marginalisant les prompts et échouant à isoler les catégories d'entrées spécifiques responsables de la divergence de comportement.

Méthodologie

Les auteurs proposent PromptSplit, un cadre spectral non supervisé et sensible aux prompts, conçu pour détecter et analyser le désaccord dépendant du prompt entre deux modèles génératifs.

1. Représentation Conjointe Prompt-Sortie

PromptSplit construit une représentation conjointe en formant des embeddings de produits tensoriels des caractéristiques du prompt ($\phi_T$) et des caractéristiques de sortie ($\phi_X$ ou $\phi_Y$). Pour un prompt $t$ et une sortie $x$, la caractéristique conjointe est définie comme :
$$\phi^\otimes(t, x) = \phi_T(t) \otimes \phi_X(x)$$
Cela induit un noyau de produit $k^\otimes([t, x], [t', x']) = k_T(t, t') \cdot k_X(x, x')$, capturant les interactions multiplicatives entre les espaces d'entrée et de sortie.

2. Différence de Covariance de Noyau

Pour deux jeux de données $D_X$ (provenant du modèle $X$) et $D_Y$ (provenant du modèle $Y$), la méthode calcule les opérateurs de covariance de noyau conjoints empiriques $\hat{C}_{T \otimes X}$ et $\hat{C}_{T \otimes Y}$. Le cœur de l'analyse est l'opérateur de différence de covariance :
$$\hat{\Lambda}_{X,Y|T} = \hat{C}_{T \otimes X} - \eta \hat{C}_{T \otimes Y}$$
où $\eta$ est un hyperparamètre. Les vecteurs propres principaux de cet opérateur révèlent les directions dans l'espace conjoint où les deux modèles présentent les différences de comportement les plus significatives.

3. Astuce du Noyau (Kernel Trick) et Analyse Spectrale

La décomposition en valeurs propres directe de l'opérateur de covariance de haute dimension est informatiquement irréalisable. Les auteurs appliquent l'astuce du noyau pour formuler une matrice de noyau par blocs $K_{X,\eta Y|T}$ de taille $(n+m) \times (n+m)$, qui partage les mêmes valeurs propres non nulles que l'opérateur de haute dimension. Les vecteurs propres de cette matrice de blocs correspondent aux modes de désaccord dans l'espace conjoint.

4. Projection Aléatoire Scalable

Pour gérer des jeux de données à grande échelle (où $n, m$ dépassent des dizaines de milliers), PromptSplit emploie une approximation par projection aléatoire. Les caractéristiques tensorielles conjointes sont projetées vers une dimension inférieure $r$ à l'aide de matrices aléatoires gaussiennes. Cela réduit la complexité computationnelle de la décomposition spectrale de $O((n+m)^3)$ à $O((n+m)r^2 + r^3)$.

• Garantie Théorique : L'article prouve que l'écart attendu de l'estimation de l'espace propre par rapport au résultat de pleine dimension est borné par $O(1/r^2)$, garantissant que l'approximation préserve les directions de désaccord avec une haute probabilité.

Principales Contributions

1. Formulation de Comparaison au Niveau du Prompt : Ce travail formule la comparaison de modèles comme un problème spectral conjoint prompt-sortie, allant au-delà des métriques agrégées pour identifier les catégories de prompts spécifiques qui causent des divergences de comportement des modèles.
2. Cadre PromptSplit : Introduction d'un cadre basé sur les noyaux qui couple les prompts et les sorties via des embeddings de produits tensoriels pour analyser l'eigenspectre des différences de covariance de noyau conjoint.
3. Approximation Scalable : Développement d'une méthode de projection aléatoire qui permet l'analyse de grands jeux de données avec une borne d'erreur théorique de $O(1/r^2)$, rendant la méthode pratique pour l'évaluation de modèles génératifs réels.
4. Interprétabilité : La méthode fournit des « modes » de désaccord interprétables, liant explicitement des clusters de prompts spécifiques à la nature de la divergence de sortie.

Résultats Expérimentaux

Les auteurs ont évalué PromptSplit dans des contextes de texte-vers-image (T2I) et de texte-vers-texte (LLM) :

• Validation Synthétique : Dans des environnements contrôlés (par exemple, MNIST-M avec des mésaccords connus entre prompts de couleur et de niveaux de gris), PromptSplit a identifié avec succès les catégories de prompts de vérité terrain responsables du désaccord.
• Modèles Texte-vers-Image : Les comparaisons entre Stable Diffusion XL, PixArt-Σ et Kandinsky ont révélé des divergences dépendantes du prompt en termes de style, de composition et d'alignement. Par exemple, la méthode a identifié des prompts basés sur des professions spécifiques (ex: « infirmière », « charpentier ») où les modèles produisaient des représentations visuelles significativement différentes.
• Grands Modèles de Langage (LLM) : Les comparaisons entre Qwen 3 et Gemma 3 sur le jeu de données NQ-Open ont identifié des clusters distincts de questions (concernant par exemple les présidents américains ou des acteurs) où les modèles généraient des réponses divergentes.
• Application de Guidage : Les auteurs ont démontré l'utilisation de PromptSplit pour guider le processus de diffusion latente, alignant avec succès la distribution des images générées avec un jeu de données de référence (par exemple, des styles de peinture spécifiques) en incorporant le gradient de désaccord dans le processus d'échantillonnage.

Signification et Revendications

L'article affirme que PromptSplit offre un outil principled et interprétable pour détecter où et comment les modèles génératifs sont en désaccord, comblant ainsi une lacune laissée par les métriques de qualité agrégées. En modélisant explicitement l'espace conjoint prompt-sortie, il isole les catégories d'entrées spécifiques qui pilotent les différences de comportement.

Les auteurs positionnent PromptSplit comme une méthode spectrale de second ordre basée sur l'embedding. Ils notent modestement que, bien que la conception permette la scalabilité et l'interprétabilité, elle ne vise pas à caractériser tous les aspects d'ordre supérieur du comportement génératif conditionnel. Ce travail est présenté comme une étape vers une évaluation plus granulaire et conditionnée par le prompt de l'écosystème croissant des modèles d'IA générative. L'implémentation est rendue publique pour faciliter la recherche ultérieure dans ce domaine.