🤖 AI

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

Cet article examine si les grands modèles vision-langage peuvent reproduire la découverte créative ouverte observée dans les expériences Picbreeder menées par des humains, en constatant que, bien que les modèles vision-langage produisent des résultats distincts, l'intégration de mécanismes tels que le bruit exploratoire, la diversité comportementale et la mémoire est nécessaire pour mieux comprendre et potentiellement combler l'écart en matière de capacité générative.

Auteurs originaux : Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une galerie d'art numérique appelée Picbreeder. Pendant des années, de vrais humains ont visité cette galerie pour jouer à un jeu d'« art évolutif ». Ils commencent par un blob flou et aléatoire de pixels. Ils choisissent celui qu'ils préfèrent, demandent à l'ordinateur d'apporter de légères modifications aléatoires (comme une mutation génétique), puis sélectionnent la meilleure nouvelle version. Ils répètent ce processus encore et encore, créant un arbre généalogique d'images. Avec le temps, les humains ont découvert qu'ils pouvaient faire évoluer ces blobs en objets reconnaissables comme des voitures, des visages ou des champignons, découvrant souvent ces formes par hasard plutôt que par planification.

La grande question que pose cet article est la suivante : Un IA peut-elle le faire seule ?

Les chercheurs ont remplacé les joueurs humains par des Modèles Vision-Langage de Grande Taille (VLM) — des IA super-intelligentes capables de voir des images et de comprendre le langage. Ils voulaient voir si ces IA pouvaient reproduire la capacité humaine à découvrir de manière « ouverte » de nouvelles choses intéressantes sans objectif spécifique en tête.

Voici ce qu'ils ont découvert, expliqué par de simples analogies :

1. Le Déroulement : La Classe d'Art de l'IA

Imaginez les agents IA comme des élèves dans une classe d'art.

La Toile : Au lieu de peinture, ils font évoluer de minuscules réseaux de neurones (recettes mathématiques) qui génèrent des images.
Le Professeur : L'IA se voit dire : « Regarde ces images, choisis celles que tu aimes, et crée-en de nouvelles basées sur elles. »
L'Objectif : Il n'y a pas de « bonne » réponse. Le but est simplement de continuer à créer de nouvelles choses intéressantes indéfiniment.

2. Le Problème : L'IA Se Coince dans une Ornière

Lorsque les chercheurs ont laissé l'IA jouer seule sans astuces particulières, elle s'est comportée un peu comme un élève qui s'ennuie et commence à dessiner la même chose encore et encore.

Le Piège du « Renard » : Au lieu de découvrir une grande variété d'animaux, l'IA restait coincée dans une boucle, créant des dizaines de versions légèrement différentes d'une même forme ressemblant à un renard ou à un os de poisson. Elle manquait de la capacité humaine à faire un « bond audacieux » vers une idée complètement nouvelle.
Le Problème de Mémoire : Les humains se souviennent de ce qu'ils ont vu auparavant et tentent d'éviter de se répéter. L'IA, en revanche, avait du mal avec la mémoire.
- Si l'IA n'avait aucune mémoire de ses mouvements passés, elle se contentait de spammer la même image à répétition.
- Si l'IA avait trop de mémoire (en lisant toute son histoire), elle était submergée et confuse, produisant souvent un bruit statique désordonné au lieu d'images claires.
- Le Juste Milieu : L'IA fonctionnait mieux lorsqu'elle se souvenait uniquement de la tout dernière chose qu'elle avait faite. Cela suffisait pour l'empêcher de se répéter immédiatement, mais pas au point de la rendre confuse.

3. Les Solutions : Comment Rendre l'IA Plus Créative

Les chercheurs ont essayé trois principaux « ingrédients » pour voir s'ils pouvaient stimuler davantage la créativité, de la même manière qu'un professeur pourrait essayer de motiver un élève.

A. Ajouter un peu de « Chaos » (Bruit Exploratoire)
Imaginez un élève trop parfait dans le respect des règles. Parfois, il faut lui dire : « Hé, choisis juste une couleur au hasard pour une fois ! »

Les chercheurs ont ajouté une petite quantité d'aléatoire aux choix de l'IA. Au lieu de toujours choisir l'image « meilleure », l'IA choisissait occasionnellement une image au hasard juste pour voir ce qui se passait.
Résultat : Cela a aidé l'IA à échapper au « piège du renard » et à trouver des formes plus diversifiées. Cependant, s'ils ajoutaient trop de chaos, l'IA se mettait simplement à générer du bruit inutile. Un peu d'aléatoire était la clé pour trouver de nouveaux chemins.

B. Donner des « Personnalités » à l'IA
Imaginez une salle de classe avec 1 000 élèves, mais au lieu qu'ils soient tous identiques, vous donnez à chacun un trait de personnalité unique. L'un est obsédé par « l'odeur de la fumée de feu de camp », un autre est « à la recherche du son visuel d'une sirène », et un troisième est « ennuyé et veut enfreindre les règles ».

Les chercheurs ont créé 1 000 agents IA différents, chacun avec une invite de personnalité unique et excentrique.
Résultat : Cela a créé beaucoup de diversité. Parce que chaque agent cherchait quelque chose de différent, la galerie s'est remplie d'une immense variété d'images.
Le Bémol : Bien que la galerie fût diversifiée, elle s'est aussi remplie d'images « adversaires » — des motifs étranges, psychédéliques et bruyants ressemblant à de la neige télévisuelle. Ce sont des images qui satisfaisaient les personnalités étranges et abstraites des agents, mais qui ne ressemblaient à rien de réel. C'était comme avoir un élève qui décidait que « la mauvaise réception télévisuelle » était la forme d'art la plus belle.

4. Le Verdict : Les Humains Ont Toujours l'Avantage

L'article conclut que, bien que l'IA puisse jouer à ce jeu, elle ne correspond pas encore tout à fait à la version humaine.

Galerie Humaine : Pleine d'objets raffinés et reconnaissables (voitures, visages, outils) qui semblent significatifs et évolués.
Galerie IA : Pleine de motifs intéressants, mais souvent coincée dans des boucles, ou remplie de bruit statique abstrait. L'IA peine à faire les « grands bonds » de créativité que les humains font naturellement.

L'Enseignement :
Les chercheurs n'ont pas seulement construit un meilleur bot artistique ; ils ont créé un laboratoire pour comprendre pourquoi les humains sont si bons dans la découverte ouverte. Ils ont découvert que pour rendre une IA véritablement créative, il faut un équilibre délicat :

Assez de mémoire pour éviter de se répéter.
Assez d'aléatoire pour essayer de nouvelles choses.
Un groupe diversifié de « personnalités » pour explorer différents coins de l'espace créatif.

Mais même avec ces ingrédients, l'IA produit encore beaucoup de « bruit » et n'a pas tout à fait maîtrisé l'art de trouver des objets significatifs et reconnaissables par elle-même. L'article suggère que nous cherchons encore les « ingrédients » secrets qui rendent la créativité humaine si spéciale.

Résumé technique : À la recherche des ingrédients de l'ouverture infinie : Reproduction de Picbreeder avec des modèles vision-langage de grande envergure

Énoncé du problème

L'article aborde le défi de réaliser une ouverture infinie artificielle : la capacité d'un système autonome à générer un approvisionnement apparemment illimité d'artefacts nouveaux et significatifs sans intervention humaine ni objectifs d'optimisation prédéfinis. Alors que l'apprentissage automatique repose fortement sur des jeux de données statiques, qui deviennent un goulot d'étranglement, les systèmes à ouverture infinie promettent une génération continue de nouveauté. Cependant, une ouverture infinie entièrement automatisée demeure un « défi majeur ».

Les auteurs postulent que Picbreeder, un système historique avec boucle humaine où les utilisateurs faisaient évoluer collaborativement des images via des réseaux de neurones (CPPN), sert d'exemple canonique de découverte à ouverture infinie. La question de recherche centrale est de savoir si les modèles vision-langage de grande envergure (VLM) peuvent reproduire le comportement à ouverture infinie des utilisateurs humains dans cet environnement, et le cas échéant, quels ingrédients de conception (mémoire, exploration, diversité) sont nécessaires pour le faciliter.

Méthodologie

Les auteurs ont mis en œuvre une recréation entièrement artificielle de Picbreeder, remplaçant les utilisateurs humains par des VLM de pointe.

Architecture du système

Moteur sous-jacent : Le système utilise NEAT (NeuroEvolution of Augmenting Topologies) pour faire évoluer des CPPN (Compositional Pattern Producing Networks). Chaque CPPN prend des coordonnées $(x, y, r)$ en entrée et produit une teinte, une saturation et une luminosité en sortie, générant des images de $128 \times 128$ pixels.
Boucle d'agent : Une « session » consiste en un agent se ramifiant à partir d'une image existante ou démarrant à partir d'une population aléatoire. L'agent sélectionne des parents parmi une population de 15 images, applique des mutations (et des croisements), et fait évoluer la population pendant 20 générations. À la génération finale, l'agent sélectionne une image à publier dans un archive partagé et lui attribue un titre.
Interface d'agent : Les agents reçoivent un échantillon de l'archive (catégorisé par les mieux notés, les meilleurs nouveaux, les plus ramifiés, les plus récents et aléatoires) et sont invités à sélectionner des parents, à basculer entre les modes couleur/structure, et à ajuster la force des mutations. Ils doivent fournir une justification pour leurs décisions.

Interventions expérimentales

Pour identifier les « ingrédients » de l'ouverture infinie, les auteurs ont fait varier trois paramètres clés :

Mémoire (Longueur de contexte, $CL$) : Le nombre d'étapes d'interaction précédentes incluses dans la fenêtre de contexte de l'agent.
- $CL=0$ : Seule la population actuelle est visible.
- $CL=1$ (Par défaut) : Actuelle et un tour précédent.
- $CL=20$ (Complet) : L'historique complet de la session est visible, y compris une invite spécifique demandant à l'agent de justifier la nouveauté par rapport à l'archive.
Exploration (Bruit de sélection, $\epsilon$ ) : Une stratégie $\epsilon$ -gloutonne où, avec une probabilité $\epsilon$ , la sélection de l'agent est remplacée par une action aléatoire (sélection de parent aléatoire, paramètres de mutation aléatoires, ou basculement du mode couleur).
Diversité multi-agents ( $N_A$ ) : Le nombre de « personnalités » distinctes attribuées aux agents. Les traits de personnalité (par exemple, « Vous recherchez l'équivalent visuel d'une sirène hurlante ») ont été générés par un LLM et ajoutés au début de l'invite système pour simuler des styles de jeu diversifiés.

Métriques d'évaluation

Les auteurs ont développé des métriques pour quantifier le « facteur X » de l'archive humaine :

Rappel sémantique : La capacité à redécouvrir des objets connus (basés sur le jeu de données THINGS) en mesurant la distance cosinus minimale entre les images de l'archive et les embeddings de classe dans un espace texte-vision conjoint (SigLIP2-B).
Nouveauté visuelle et sémantique : Mesurée via le rayon de couverture $k$ dans les espaces d'embedding (SigLIP-2-B-alignet pour les images, gemini-embedding-001 pour les légendes). Cela quantifie la façon dont bien l'archive couvre l'espace des formes possibles.
Équilibre de l'arbre phylogénétique ( $J_1$ ) : Une mesure de la diversité de la lignée évolutive, évaluant si les agents se ramifient à partir d'une grande variété d'ancêtres ou répétitivement à partir des mêmes quelques images.

Résultats clés

1. Compromis entre exploration et qualité

Bruit ( $\epsilon$ ) : L'introduction de petites quantités de bruit exploratoire ( $\epsilon \approx 0,25$ ) a augmenté la diversité de l'archive (couverture visuelle/sémantique) et empêché l'effondrement des modes. Cependant, des niveaux de bruit plus élevés ( $\epsilon \ge 0,5$ ) ont dégradé la lisibilité et le rappel sémantique des images.
Observation : Bien que le bruit ait augmenté la diversité phylogénétique (les agents se sont ramifiés à partir de sources plus variées), il n'a pas nécessairement augmenté la diversité génétique d'une manière qui ait conduit à une variation à long terme plus profonde et significative. Les VLM ont fait preuve d'un « favoritisme obstiné », sélectionnant systématiquement des formes spécifiques même à partir d'ensembles bruyants.

2. Le rôle de la mémoire (Longueur de contexte)

$CL=0$ : Les agents ont souffert d'un effondrement de mode sévère, publiant des duplicatas et des variations quasi identiques, entraînant un faible rappel sémantique.
$CL=1$ : Étonnamment efficace. Un seul pas de contexte a suffi pour prévenir la répétition immédiate et a produit les scores de rappel sémantique les plus élevés.
$CL > 1$ : L'augmentation de la longueur de contexte a généralement dégradé les performances. $CL=2$ et $CL=10$ ont conduit à des « comportements pathologiques », y compris une surcharge d'information, des images plus désordonnées et des boucles d'autosycophancie où les agents renforçaient leurs propres biais.
$CL=20$ : Bien que les métriques de diversité aient atteint leur pic (probablement dû à l'invite explicite de nouveauté), le rappel sémantique est resté inférieur à celui de $CL=1$, et les images étaient souvent abstraites ou bruyantes.

3. Dynamiques multi-agents

Diversité : L'augmentation du nombre d'agents ( $N_A$ ) a considérablement amélioré la couverture visuelle et sémantique ainsi que l'équilibre de l'arbre.
Artéfacts adversariaux : À des nombres d'agents élevés ( $N_A = 1\,000$ ), l'archive était remplie de motifs « psychédéliques » haute fréquence, ininterprétables. Ces images agissaient comme des hubs adversariaux, satisfaisant simultanément les préférences conflictuelles et abstraites de nombreux agents différents. Bien que ces images aient obtenu des scores de couverture sémantique élevés, elles étaient qualitativement non descriptives et bruyantes.

4. Comparaison avec la base de référence humaine

L'archive humaine historique dominait la plupart des métriques, en particulier le rappel sémantique et le raffinement des images. Les humains ont démontré une capacité à effectuer des « bonds audacieux » dans l'espace sémantique (par exemple, passer d'un visage à une voiture), tandis que les VLM avaient tendance à faire des étapes plus petites et incrémentielles (par exemple, visage $\to$ œil $\to$ grenouille $\to$ voiture).

Signification et affirmations

L'article affirme que l'ouverture infinie entièrement automatisée n'a pas encore été réalisée par les VLM, même avec des modèles de pointe. Cependant, l'étude fournit un cadre pour comprendre les conditions nécessaires :

Une mémoire minimale est optimale : Contrairement à l'intuition selon laquelle plus d'historique aide au raisonnement, les auteurs ont constaté qu'un contexte excessif conduit à des comportements pathologiques et à un effondrement de mode. Un contexte minimal ($CL=1$) était suffisant pour des performances optimales.
L'exploration est une arme à double tranchant : Bien que nécessaire pour échapper aux optima locaux, trop de bruit dégrade la qualité des artefacts.
Diversité sans cohésion : Les systèmes multi-agents augmentent la couverture de l'espace de recherche mais peuvent conduire à la propagation d'images « adversariales » qui satisfont de nombreux agents mais manquent de signification sémantique.
Le fossé du « facteur X » : Les auteurs concluent que les VLM manquent actuellement de l'« audace et du discernement » des utilisateurs humains. Bien qu'ils puissent être guidés pour produire des artefacts diversifiés, ils peinent à générer les « pierres de passage » de nouveauté de haute qualité et sémantiquement cohérente qui caractérisent la recherche à ouverture infinie pilotée par l'humain.

Ce travail suggère que pour atteindre une ouverture infinie de niveau humain, les systèmes futurs devront peut-être combiner ces interventions avec soin et intégrer potentiellement des études utilisateurs pour calibrer les métriques, plutôt que de se fier uniquement à l'optimisation automatisée. Le code est mis à disposition pour faciliter la recherche ultérieure sur les « ingrédients » de l'ouverture infinie.