Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

Résumé Technique : « Ni Trop Génératif, Ni Trop Discriminatif : Le Point Doux de l'Alignement Humain »

Énoncé du Problème
Un débat central en vision par ordinateur concerne la question de savoir si les représentations visuelles de type humain sont mieux expliquées par l'apprentissage discriminatif (la cartographie des entrées vers les étiquettes) ou par l'apprentissage génératif (l'inférence des entrées à partir d'un modèle du monde interne). Les comparaisons existantes entre ces paradigmes sont faussées par des différences simultanées dans l'architecture, l'échelle du modèle et les données d'entraînement. Par conséquent, il reste unclear si les différences observées dans l'alignement humain proviennent de l'objectif d'apprentissage lui-même ou de propriétés corrélées du modèle. L'article postule que la dichotomie entre les objectifs génératifs et discriminatifs pourrait être le mauvais axe pour comprendre la vision alignée sur l'humain, suggérant plutôt que l'équilibre optimal se situe quelque part entre les deux.

Méthodologie
Pour isoler l'effet de l'objectif d'apprentissage, les auteurs emploient des Modèles Basés sur l'Énergie Conjoints (JEMs). Les JEMs définissent une fonction d'énergie unique sur les paires entrée-étiquette, $E_\theta(x, y)$, permettant à un seul réseau de soutenir simultanément la prédiction discriminative ($p(y|x)$) et la modélisation de densité générative ($p(x)$).

• Interpolation : Les auteurs introduisent un coefficient de mélange $\alpha \in [0, 1]$ pour contrôler l'objectif d'entraînement. La fonction de perte est une interpolation entre la vraisemblance logarithmique discriminative ($L_D$) et la vraisemblance logarithmique générative ($L_G$) :
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  Ici, $\alpha=0$ correspond à un entraînement purement discriminatif, et $\alpha=1$ à un entraînement purement génératif. Le rapport des normes de gradient garantit que les deux termes contribuent à une échelle comparable.
• Architecture et Entraînement : Les expériences utilisent une architecture Wide ResNet. Pour les expériences à l'échelle d'ImageNet, l'entraînement se déroule dans l'espace latent d'un AutoencodeurKL pré-entraîné pour rendre l'entraînement hybride computationnellement réalisable. Les modèles sont entraînés sur tout le continuum de $\alpha$ (11 modèles de 0,0 à 1,0 par pas de 0,1).
• Évaluation : Les modèles résultants sont évalués sur six benchmarks distincts d'alignement humain couvrant la perception de bas niveau, la perception de niveau intermédiaire, l'incertitude, la robustesse, le conflit d'indices et l'attribution de caractéristiques diagnostiques. Ceux-ci incluent :
  1. Similarité Perceptive (BAPPS) : Tâches 2AFC et JND.
  2. Perception du Brillant : Corrélation avec les jugements humains sur des surfaces synthétiques.
  3. Incertitude de Réponse (CIFAR-10H) : Entropie croisée entre les distributions de réponse du modèle et de l'humain.
  4. Robustesse (OOD) : Cohérence des erreurs avec les humains sous des décalages de distribution.
  5. Conflit d'Indices Forme–Texture : Biais en faveur de la forme par rapport à la texture dans des images conflictuelles.
  6. Caractéristiques Diagnostiques (ClickMe) : Alignement des cartes d'attribution du modèle avec l'attention visuelle humaine.

Résultats Clés
Sur l'ensemble des six benchmarks, l'alignement humain est systématiquement maximisé à des valeurs intermédiaires de $\alpha$, plutôt qu'aux extrêmes ($\alpha=0$ ou $\alpha=1$).

• Similarité Perceptive : Les modèles hybrides ($\alpha \approx 0,6$) obtiennent les meilleurs scores 2AFC tout en égalant les bases discriminatives sur les tâches JND, surpassant à la fois les modèles purement génératifs et purement discriminatifs.
• Perception du Brillant : Alors que des travaux antérieurs suggéraient que les modèles génératifs (PixelVAE) surpassaient les modèles discriminatifs (ResNet), les expériences contrôlées JEM montrent que le JEM purement discriminatif surpasse déjà le JEM purement génératif. L'alignement optimal se produit à $\alpha \approx 0,5$, surpassant à la fois les bases PixelVAE et ResNet.
• Incertitude de Réponse : Les modèles hybrides ($\alpha \approx 0,8$) reproduisent le mieux la distribution complète des réponses humaines, équilibrant la structure catégorielle avec la sensibilité à l'ambiguïté.
• Biais Forme–Texture : Le biais en faveur de la forme augmente de manière monotone avec $\alpha$. Les modèles hybrides atteignent un biais en faveur de la forme proche de 0,7, nettement supérieur aux bases discriminatives standard (par exemple, ResNet-50) et approchant les niveaux des grands modèles génératifs.
• Caractéristiques Diagnostiques : L'alignement avec les cartes de saillance humaine atteint un pic à $\alpha \approx 0,3$. Les modèles purement génératifs perdent leur sélectivité, tandis que les modèles purement discriminatifs produisent des cartes d'attribution diffuses.
• Raffinement au Moment du Test : Les auteurs démontrent que l'application de la Dynamique de Langevin par Gradient Stochastique (SGLD) pour raffiner les entrées au moment du test amplifie les réponses cohérentes avec la forme dans les modèles hybrides et génératifs sans réentraînement, révélant le paysage énergétique favorable à la forme induit par l'objectif génératif.

Signification et Revendications
L'article revendique de reconfigurer le débat génératif–discriminatif. Les résultats suggèrent que la dichotomie n'est pas le cadre correct pour comprendre la vision alignée sur l'humain. Au lieu de cela, les représentations de type humain émergent du équilibre des deux objectifs :

• L'apprentissage discriminatif fournit la structure catégorielle nécessaire.
• L'apprentissage génératif fournit la sensibilité à la distribution d'entrée et la cohérence globale (par exemple, la forme).

Les auteurs soutiennent que l'alignement humain n'est pas une propriété scalaire unique, mais une famille de contraintes où l'équilibre optimal entre la modélisation du monde générative et l'étiquetage discriminatif varie selon la tâche (par exemple, les caractéristiques diagnostiques favorisent un régime plus discriminatif, tandis que l'incertitude de réponse favorise un régime plus génératif). L'étude conclut que l'IA alignée sur l'humain nécessite de dépasser la question « quel objectif est le meilleur ? » pour comprendre « comment ces objectifs doivent-ils être équilibrés ? ».

Limites
Les auteurs reconnaissent que l'entraînement basé sur l'énergie reste computationnellement exigeant et nécessite une stabilisation soigneuse. Le $\alpha$ optimal varie selon les benchmarks, indiquant que l'alignement humain est multidimensionnel. De plus, bien que les objectifs hybrides améliorent l'alignement avec la perception humaine et l'incertitude, ils ne garantissent pas intrinsèquement l'équité, la sécurité ou la robustesse, car ils peuvent également reproduire les erreurs et les biais humains.