Résumé technique : Créativité conceptuelle comme méta-apprentissage

Définition du problème

L'article aborde le défi fondamental de la définition et de la modélisation computationnelle de la créativité conceptuelle. Alors que les systèmes existants excellent à récupérer des concepts familiers ou à en apprendre de nouveaux à partir de quelques exemples (via le méta-apprentissage, les représentations prototypiques ou l'apprentissage en contexte), l'acte de créer un nouveau concept reste insaisissable.

Les auteurs soutiennent que toute nouveauté n'est pas créative. Le bruit pur est mathématiquement distinct mais perceptuellement non structuré, tandis que les motifs familiers (par exemple, une ligne simple) sont compréhensibles mais manquent de nouveauté. La véritable créativité, selon l'article, réside à la « frontière de la compréhension » : des stimuli qui sont étrangers aux représentations actuelles d'un observateur mais mémorables (rapidement apprenables) après quelques expositions. Le problème central consiste à formaliser un cadre computationnel générant de tels stimuli — des artefacts initialement surprenants mais rapidement assimilables — sans recourir à un conditionnement linguistique explicite ni au réentraînement du modèle génératif de base.

Méthodologie : Le cadre Créateur-Évaluateur

Les auteurs proposent un cadre de méta-apprentissage Créateur-Évaluateur, formalisé comme un problème d'optimisation bi-niveau.

1. L'observateur comme système adaptatif

L'observateur est modélisé comme un système prédictif composé de :

• Poids lents ($\theta$) : Paramètres fixes détenant les connaissances préalables de l'observateur.
• Poids rapides ($\phi$) : Paramètres adaptés durant une boucle interne pour s'ajuster à un stimulus spécifique.
• Évaluateur ($A$) : Une instance spécifique de cet observateur qui, en plus de prédire, rend compte de ses progrès d'apprentissage.

2. L'optimisation bi-niveau

Le cadre implique deux agents interagissant :

• Le Créateur ($C$) : Un modèle génératif (par exemple, Diffusion) produisant un concept candidat $c$.
• L'Évaluateur ($A$) : S'adapte à $c$ via une optimisation en boucle interne.

Le processus :

1. Boucle interne (Adaptation de l'Évaluateur) : Étant donné un candidat $c$ provenant de $C$, l'Évaluateur minimise une perte de prédiction $\mathcal{L}_A(\phi, \theta; c)$ sur $T$ étapes, mettant à jour ses poids rapides de $\phi_0$ à $\phi_T$.
2. Calcul de la récompense : La récompense $R$ est le progrès d'apprentissage, défini comme la réduction de l'erreur de prédiction :
   $$R = \mathcal{L}_A(\phi_0, \theta; c) - \mathcal{L}_A(\phi_T, \theta; c)$$
   Cela mesure dans quelle mesure le modèle de l'observateur s'est amélioré après s'être adapté au nouveau concept.
3. Boucle externe (Optimisation du Créateur) : Le Créateur optimise ses paramètres (ou variables latentes) pour maximiser cette récompense. L'objectif est de trouver $c$ qui est initialement difficile à prédire (perte initiale élevée) mais devient facile à prédire après adaptation (perte finale faible).

3. Instances

Le cadre est mis en œuvre dans deux configurations :

• MNIST (Évaluateur Autoencodeur) :
  • Créateur : DDPM préentraîné.
  • Évaluateur : Un encodeur figé et un décodeur léger. La boucle interne affine le décodeur sur l'image candidate unique.
  • Façonnage de la récompense : Pour empêcher le système de favoriser les entrées à fort bruit (qui ont une perte initiale élevée mais peuvent ne pas être apprenables), l'amélioration brute est multipliée par deux portes gaussiennes :
    • Porte de complexité ($g_0$) : Contraint la perte initiale à une plage « apprenable mais étrangère ».
    • Porte de succès ($g_T$) : Garantit que la perte finale est faible (le décodeur s'adapte effectivement à l'entrée).
• Images naturelles (Évaluateur CLIP) :
  • Créateur : Stable Diffusion v1.5.
  • Évaluateur : Un modèle vision-langage CLIP figé. La boucle interne adapte un Adaptateur à faible rang (LoRA) sur la couche de projection de texte pour maximiser la similarité cosinus entre l'image générée et l'embedding de texte.
  • Mécanisme : La variable apprenable est l'embedding de texte lui-même. Le méta-gradient met à jour l'embedding pour maximiser l'amélioration de similarité ($\Delta \text{sim}$) réalisée par l'adaptateur LoRA.

Contributions clés

1. Définition formelle de la créativité : L'article opérationnalise la créativité comme la production de stimuli « étrangers mais mémorables », déplaçant l'accent de la simple nouveauté vers l'apprenabilité bornée.
2. Méta-apprentissage Créateur-Évaluateur : Un cadre d'optimisation bi-niveau novateur où le générateur est guidé par le progrès d'apprentissage d'un observateur adaptatif, plutôt que par un discriminateur statique ou une fonction de récompense fixe.
3. Façonnage de la récompense pour l'apprenabilité : L'introduction de mécanismes de contrôle (portes de complexité et de succès) pour garantir que les concepts générés se situent à la frontière de la compréhension, évitant à la fois la familiarité triviale et le bruit non structuré.
4. Génération conceptuelle zero-shot : Démonstration qu'un modèle de diffusion figé peut générer des concepts nouveaux et des variations stylistiques sans affiner les poids du modèle, uniquement en optimisant l'embedding du prompt d'entrée via des méta-gradients.

Résultats expérimentaux

Expériences MNIST

• Validation du signal : La récompense façonnée distingue avec succès les concepts structurés et nouveaux (par exemple, caractères grecs/coréens) des mélanges de bruit. Les mélanges de bruit ont une perte initiale élevée mais ne montrent pas d'amélioration significative (faible progrès d'apprentissage), tandis que les concepts nouveaux structurés montrent une forte baisse de perte.
• Comparaison avec les bases de référence :
  • DDPM Vanilla : Produit des chiffres familiers.
  • Perturbation de bruit : Reste près de l'origine (familière) ou échoue à apprendre.
  • Guidage répulsif : Augmente l'étrangeté mais échoue à produire une structure apprenable (reste sur la diagonale où $L_T \approx L_0$).
  • Créateur-Évaluateur : Génère avec succès des glyphes cohérents, de type trait, qui sont étrangers (forte $L_0$) mais rapidement apprenables (faible $L_T$), occupant la région en bas à droite du plan $(L_0, L_T)$.

Expériences sur images naturelles

• Innovation stylistique : En utilisant Stable Diffusion et l'Évaluateur CLIP, le système génère des images qui s'écartent considérablement du sens littéral du prompt tout en conservant une cohérence sémantique. Les exemples incluent un « lion » rendu comme des feuilles d'automne ou un « cheeseburger » comme un paysage de coucher de soleil.
• Compromis capacité vs fidélité :
  • À mesure que le rang LoRA ($r$) augmente, la récompense en boucle interne ($\Delta \text{sim}$) augmente, indiquant un progrès d'apprentissage plus fort.
  • Cependant, des rangs plus élevés entraînent une baisse de la « fidélité conceptuelle » (similitude avec le prompt original) et un taux de réussite plus faible aux vérifications de pertinence par VLM.
  • Des rangs plus faibles agissent comme une contrainte, maintenant les sorties près de la classe du prompt ; des rangs plus élevés permettent au système d'explorer des régions hors classe, stylistiquement dramatiques.
• Vérification de la nouveauté : Les échantillons générés sont significativement plus éloignés (médiane 5x) de tout échantillon produit par Stable Diffusion vanilla (même avec 1000 tirages) dans l'espace d'embedding, confirmant que le méta-gradient découvre des régions de l'espace de sortie inaccessibles par l'échantillonnage standard.

Importance et affirmations

L'article affirme que ce cadre fournit une prise computationnelle sur la créativité conceptuelle en la reliant à la capacité adaptative de l'observateur.

• Créativité relative à l'observateur : Les auteurs soulignent que la créativité n'est pas une propriété intrinsèque du stimulus mais est relative aux représentations actuelles de l'observateur et à sa capacité à les mettre à jour.
• Au-delà de la déviation : Contrairement aux méthodes précédentes qui encouragent la déviation par rapport aux distributions d'entraînement (ce qui peut mener à l'incohérence), cette approche optimise la nouveauté structurée. L'exigence d'une apprenabilité rapide agit comme une contrainte principielle qui filtre le bruit.
• Définition opérationnelle : Ce travail soutient le point de vue que les machines peuvent créer si la créativité est définie par son effet sur un observateur (améliorant son modèle prédictif) plutôt que par l'expérience phénoménologique du créateur.
• Limites : Les auteurs notent modestement que le cadre actuel aborde la valeur perceptive (esthétique/apprenabilité) mais pas la valeur fonctionnelle. L'Évaluateur est sans mémoire entre les créations, manquant de la mémoire dépendante du contexte que possèdent les humains. Le critère est présenté comme nécessaire mais non suffisant pour une créativité de niveau humain.

L'article conclut que la structure Créateur-Évaluateur est un paradigme généralisable qui peut s'étendre au-delà de la diffusion d'images vers le langage, la musique et la conception interactive, à condition qu'un générateur puisse être associé à un prédicteur adaptatif.