🤖 AI

In Search of the Ingredients of Open-Endedness: Replicating Picbreeder with Large Vision-Language Models

Diese Arbeit untersucht, ob große Vision-Sprach-Modelle die offenen, kreativen Entdeckungen replizieren können, die in von Menschen gesteuerten Picbreeder-Experimenten beobachtet wurden, und stellt fest, dass VLMs zwar unterschiedliche Ausgaben erzeugen, jedoch Mechanismen wie exploratives Rauschen, Verhaltensvielfalt und Gedächtnis integriert werden müssen, um die Lücke in der generativen Kapazität besser zu verstehen und potenziell zu überbrücken.

Ursprüngliche Autoren: Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sam Earle, Kay Arulkumaran, Andrew Dai, Akarsh Kumar, Julian Togelius, Sebastian Risi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine digitale Kunstgalerie namens Picbreeder vor. Seit Jahren besuchen echte Menschen diese Galerie, um ein Spiel namens „evolutionäre Kunst" zu spielen. Sie beginnen mit einem zufälligen, verschwommenen Pixelhaufen. Sie wählen den aus, der ihnen am besten gefällt, bitten den Computer, leichte, zufällige Änderungen daran vorzunehmen (wie eine genetische Mutation), und wählen dann die beste neue Version aus. Sie wiederholen diesen Prozess immer wieder und erstellen so einen Stammbaum von Bildern. Im Laufe der Zeit stellten die Menschen fest, dass sie diese Klumpen in erkennbare Dinge wie Autos, Gesichter oder Pilze entwickeln konnten, wobei sie diese Formen oft eher zufällig entdeckten als durch gezielte Planung.

Die große Frage, die diese Arbeit stellt, lautet: Kann eine KI dies allein bewerkstelligen?

Die Forscher ersetzten die menschlichen Spieler durch Large Vision-Language Models (VLMs) – hochintelligente KIs, die Bilder sehen und Sprache verstehen können. Sie wollten herausfinden, ob diese KIs die menschliche Fähigkeit nachahmen können, „offen" neue, interessante Dinge ohne ein spezifisches Ziel zu entdecken.

Hier ist das Ergebnis, erklärt durch einfache Analogien:

1. Das Setup: Der KI-Kunstunterricht

Stellen Sie sich die KI-Agenten als Schüler in einem Kunstunterricht vor.

Die Leinwand: Anstelle von Farbe entwickeln sie winzige neuronale Netze (mathematische Rezepte), die Bilder generieren.
Der Lehrer: Die KI erhält den Auftrag: „Schauen Sie sich diese Bilder an, wählen Sie die aus, die Ihnen gefallen, und erstellen Sie neue auf deren Basis."
Das Ziel: Es gibt keine „richtige" Antwort. Das Ziel ist es einfach, für immer neue, interessante Dinge zu schaffen.

2. Das Problem: Die KI gerät in eine Sackgasse

Wenn die Forscher die KI allein spielen ließen, ohne besondere Tricks, verhielt sie sich ein wenig wie ein Schüler, der sich langweilt und anfängt, immer wieder dasselbe zu zeichnen.

Die „Fuchs"-Falle: Anstatt eine Vielzahl von Tieren zu entdecken, geriet die KI in eine Schleife und schuf Dutzende leicht unterschiedlicher Versionen desselben fuchsähnlichen oder fischgrätenähnlichen Musters. Es fehlte ihr die menschliche Fähigkeit, einen „mutigen Sprung" zu einer völlig neuen Idee zu wagen.
Das Speicherproblem: Menschen erinnern sich an das, was sie zuvor gesehen haben, und versuchen, sich nicht zu wiederholen. Die KI hingegen hatte Schwierigkeiten mit dem Gedächtnis.
- Wenn die KI kein Gedächtnis für ihre vergangenen Schritte hatte, spammte sie einfach dasselbe Bild immer wieder aus.
- Wenn die KI zu viel Gedächtnis hatte (ihre gesamte Geschichte las), wurde sie überwältigt und verwirrt und produzierte oft statisches Rauschen statt klarer Bilder.
- Der Sweet Spot: Die KI funktionierte am besten, wenn sie sich nur an das sehr letzte erinnerte, was sie getan hatte. Das war ausreichend, um zu verhindern, dass sie sich sofort wiederholte, aber nicht so viel, dass sie verwirrt wurde.

3. Die Lösungen: Wie man die KI kreativer macht

Die Forscher versuchten drei Hauptzutaten, um zu sehen, ob sie mehr Kreativität entfachen konnten, ähnlich wie ein Lehrer versuchen könnte, einen Schüler zu motivieren.

A. Ein wenig „Chaos" hinzufügen (exploratives Rauschen)
Stellen Sie sich einen Schüler vor, der zu perfekt darin ist, Regeln zu befolgen. Manchmal muss man ihm sagen: „Hey, wähle einfach einmal eine zufällige Farbe!"

Die Forscher fügten ihren Entscheidungen eine kleine Menge an Zufälligkeit hinzu. Anstatt immer das „beste" Bild auszuwählen, wählte die KI gelegentlich einfach ein zufälliges Bild aus, um zu sehen, was passiert.
Ergebnis: Dies half der KI, der „Fuchs-Falle" zu entkommen und vielfältigere Formen zu finden. Wenn sie jedoch zu viel Chaos hinzufügten, begann die KI einfach, Müll-Rauschen zu generieren. Ein wenig Zufälligkeit war der Schlüssel, um neue Wege zu finden.

B. Der KI „Persönlichkeiten" geben
Stellen Sie sich einen Klassenraum mit 1.000 Schülern vor, aber anstatt dass sie alle gleich sind, geben Sie jedem eine einzigartige Persönlichkeitsmerkmale. Einer ist besessen vom „Geruch von Lagerfeuerrauch", ein anderer „sucht nach dem visuellen Klang einer Sirene" und ein weiterer ist „langweilt und will die Regeln brechen".

Die Forscher erstellten 1.000 verschiedene KI-Agenten, jeder mit einem einzigartigen, skurrilen Persönlichkeits-Prompt.
Ergebnis: Dies schuf eine große Vielfalt. Da jeder Agent nach etwas anderem suchte, füllte sich die Galerie mit einer riesigen Vielfalt an Bildern.
Der Haken: Obwohl die Galerie vielfältig war, füllte sie sich auch mit „adversarialen" Bildern – seltsamen, psychedelischen, verrauschten Mustern, die wie TV-Statisch aussahen. Dies waren Bilder, die die seltsamen, abstrakten Persönlichkeiten der Agenten befriedigten, aber wie nichts Reales aussahen. Es war, als hätte ein Schüler beschlossen, dass „schlechter TV-Empfang" die schönste Kunstform sei.

4. Das Urteil: Menschen haben immer noch den Vorteil

Die Arbeit kommt zu dem Schluss, dass die KI zwar dieses Spiel spielen kann, aber noch nicht ganz das menschliche Niveau erreicht.

Menschliche Galerie: Voll von verfeinerten, erkennbaren Objekten (Autos, Gesichter, Werkzeuge), die sinnvoll und entwickelt wirken.
KI-Galerie: Voll von interessanten Mustern, aber oft in Schleifen steckend oder gefüllt mit verrauschtem, abstraktem Statisch. Die KI hat Schwierigkeiten, die „großen Sprünge" in der Kreativität zu machen, die Menschen natürlich gelingen.

Das Fazit:
Die Forscher bauten nicht nur einen besseren Kunstbot; sie bauten ein Labor, um zu verstehen, warum Menschen so gut in der offenen Entdeckung sind. Sie stellten fest, dass man für eine wirklich kreative KI ein sensibles Gleichgewicht benötigt:

Genau genug Gedächtnis, um sich nicht zu wiederholen.
Genau genug Zufälligkeit, um neue Dinge auszuprobieren.
Eine diverse Gruppe von „Persönlichkeiten", um verschiedene Ecken des kreativen Raums zu erkunden.

Aber selbst mit diesen Zutaten produziert die KI noch viel „Rauschen" und hat die Kunst, sinnvolle, erkennbare Objekte allein zu finden, noch nicht ganz gemeistert. Die Arbeit legt nahe, dass wir immer noch nach den geheimen „Zutaten" suchen, die menschliche Kreativität so besonders machen.

Technische Zusammenfassung: Auf der Suche nach den Zutaten der Offenheit: Picbreeder mit Large Vision-Language-Modellen replizieren

Problemstellung

Die Arbeit behandelt die Herausforderung, künstliche Offenheit zu erreichen: die Fähigkeit eines autonomen Systems, ohne menschliches Eingreifen oder vordefinierte Optimierungsziele eine scheinbar endlose Fülle neuer und bedeutungsvoller Artefakte zu generieren. Während maschinelles Lernen stark auf statische Datensätze angewiesen ist, die zunehmend zu einem Engpass werden, versprechen offene Systeme eine kontinuierliche Generierung von Neuheit. Dennoch bleibt vollständig automatisierte Offenheit eine „große Herausforderung".

Die Autoren gehen davon aus, dass Picbreeder, ein historisches System mit menschlicher Beteiligung, bei dem Nutzer gemeinsam Bilder über neuronale Netze (CPPNs) evolvierten, als kanonisches Beispiel für offene Entdeckung dient. Die zentrale Forschungsfrage lautet, ob Large Vision-Language-Modelle (VLMs) das offene Verhalten menschlicher Nutzer in dieser Umgebung replizieren können und, falls ja, welche Gestaltungsbestandteile (Speicher, Exploration, Diversität) erforderlich sind, um dies zu ermöglichen.

Methodik

Die Autoren realisierten eine vollständig künstliche Nachbildung von Picbreeder, bei der menschliche Nutzer durch fortschrittliche VLMs ersetzt wurden.

Systemarchitektur

Basis-Engine: Das System verwendet NEAT (NeuroEvolution of Augmenting Topologies), um CPPNs (Compositional Pattern Producing Networks) zu evolvierten. Jedes CPPN nimmt $(x, y, r)$ -Koordinaten als Eingabe und gibt Farbton, Sättigung und Helligkeit aus, wodurch $128 \times 128$ -Bilder generiert werden.
Agenten-Schleife: Eine „Sitzung" besteht darin, dass ein Agent von einem bestehenden Bild abzweigt oder mit einer zufälligen Population startet. Der Agent wählt Eltern aus einer Population von 15 Bildern aus, führt Mutationen (und Crossover) durch und evolviert die Population über 20 Generationen. In der letzten Generation wählt der Agent ein Bild aus, veröffentlicht es in einem gemeinsamen Archiv und gibt ihm einen Titel.
Agenten-Schnittstelle: Agenten erhalten eine Stichprobe des Archivs (kategorisiert nach am besten bewerteten, besten neuen, am häufigsten verzweigten, neuesten und zufälligen Bildern) und werden aufgefordert, Eltern auszuwählen, Farb- oder Strukturmodi umzuschalten und die Mutationsstärke anzupassen. Sie müssen eine Begründung für ihre Entscheidungen liefern.

Experimentelle Eingriffe

Um die „Zutaten" der Offenheit zu identifizieren, variierten die Autoren drei Schlüsselparameter:

Speicher (Kontextlänge, $CL$): Die Anzahl der vorherigen Interaktionsschritte, die im Kontextfenster des Agenten enthalten sind.
- $CL=0$: Nur die aktuelle Population ist sichtbar.
- $CL=1$ (Standard): Aktuelle und ein vorheriger Schritt.
- $CL=20$ (Voll): Der gesamte Sitzungsverlauf ist sichtbar, einschließlich einer spezifischen Aufforderung, den Agenten zu bitten, die Neuheit im Verhältnis zum Archiv zu rechtfertigen.
Exploration (Selektionsrauschen, $\epsilon$ ): Eine $\epsilon$ -gierige Strategie, bei der mit Wahrscheinlichkeit $\epsilon$ die Auswahl des Agenten durch eine zufällige Aktion ersetzt wird (zufällige Elternauswahl, zufällige Mutationseinstellungen oder Umschalten des Farbmodus).
Multi-Agenten-Diversität ( $N_A$ ): Die Anzahl der verschiedenen „Persönlichkeiten", die den Agenten zugewiesen werden. Persönlichkeitsmerkmale (z. B. „Sie suchen nach dem visuellen Äquivalent einer heulenden Sirene") wurden von einem LLM generiert und dem Systemprompt vorangestellt, um diverse Spielweisen zu simulieren.

Evaluierungsmetriken

Die Autoren entwickelten Metriken, um den „X-Faktor" des menschlichen Archivs zu quantifizieren:

Semantische Recall-Fähigkeit: Die Fähigkeit, bekannte Objekte (basierend auf dem THINGS-Datensatz) wiederzuentdecken, indem der minimale kosinische Abstand zwischen Archivbildern und Klassen-Embeddings in einem gemeinsamen Text-Bild-Raum (SigLIP2-B) gemessen wird.
Visuelle und semantische Neuheit: Gemessen über den $k$ -Überdeckungsradius in Embedding-Räumen (SigLIP-2-B-alignet für Bilder, gemini-embedding-001 für Bildunterschriften). Dies quantifiziert, wie gut das Archiv den Raum möglicher Formen abdeckt.
Phylogenetischer Baum-Balance-Wert ( $J_1$ ): Ein Maß für die Diversität der evolutionären Linie, das bewertet, ob Agenten von einer Vielzahl verschiedener Vorfahren abzweigen oder wiederholt von denselben wenigen Bildern.

Hauptergebnisse

1. Trade-off zwischen Exploration und Qualität

Rauschen ( $\epsilon$ ): Die Einführung kleiner Mengen an explorativem Rauschen ( $\epsilon \approx 0.25$ ) erhöhte die Diversität des Archivs (visuelle/semantische Abdeckung) und verhinderte einen Modus-Kollaps. Höhere Rauschpegel ( $\epsilon \ge 0.5$ ) verschlechterten jedoch die Lesbarkeit und die semantische Recall-Fähigkeit der Bilder.
Beobachtung: Während Rauschen die phylogenetische Diversität erhöhte (Agenten zweigten von vielfältigeren Quellen ab), führte dies nicht unbedingt zu einer genetischen Diversität, die tiefgreifende, bedeutungsvolle langfristige Variationen zur Folge hatte. VLMs zeigten eine „sture Bevorzugung" und wählten konsistent bestimmte Formen aus, selbst aus verrauschten Mengen.

2. Die Rolle des Speichers (Kontextlänge)

$CL=0$: Agenten litten unter schwerem Modus-Kollaps, veröffentlichten Duplikate und nahezu identische Variationen, was zu einer niedrigen semantischen Recall-Fähigkeit führte.
$CL=1$: Überraschend effektiv. Ein einziger Kontextschritt reichte aus, um unmittelbare Wiederholungen zu verhindern und erzielte die höchsten Werte für semantische Recall-Fähigkeit.
$CL > 1$: Eine Erhöhung der Kontextlänge verschlechterte die Leistung im Allgemeinen. $CL=2$ und $CL=10$ führten zu „pathologischem Verhalten", einschließlich Informationsüberlastung, unordentlicheren Bildern und auto-sycophantischen Schleifen, in denen Agenten ihre eigenen Vorurteile verstärkten.
$CL=20$: Während die Diversitätsmetriken ihren Höhepunkt erreichten (wahrscheinlich aufgrund der expliziten Aufforderung zur Neuheit), blieb die semantische Recall-Fähigkeit niedriger als bei $CL=1$, und die Bilder waren oft abstrakt oder verrauscht.

3. Multi-Agenten-Dynamik

Diversität: Eine Erhöhung der Anzahl der Agenten ( $N_A$ ) verbesserte die visuelle und semantische Abdeckung sowie die Baum-Balance erheblich.
Adversarielle Artefakte: Bei hohen Agentenzahlen ( $N_A = 1.000$ ) war das Archiv voller hochfrequenter, nicht interpretierbarer, „psychedelischer" Muster. Diese Bilder fungierten als adversarielle Knotenpunkte, die die widersprüchlichen, abstrakten Präferenzen vieler verschiedener Agenten gleichzeitig erfüllten. Obwohl diese Bilder hohe Werte für die semantische Abdeckung erzielten, waren sie qualitativ unbestimmt und verrauscht.

4. Vergleich mit der menschlichen Basislinie

Das historische menschliche Archiv dominierte die meisten Metriken, insbesondere bei der semantischen Recall-Fähigkeit und der Verfeinerung der Bilder. Menschen zeigten eine Fähigkeit zu „kühnen Sprüngen" im semantischen Raum (z. B. von einem Gesicht zu einem Auto), während VLMs dazu neigten, kleinere, inkrementelle Schritte zu machen (z. B. Gesicht $\to$ Auge $\to$ Frosch $\to$ Auto).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass vollständig automatisierte Offenheit von VLMs, selbst mit state-of-the-art-Modellen, noch nicht erreicht wurde. Die Studie liefert jedoch einen Rahmen für das Verständnis der notwendigen Bedingungen:

Minimaler Speicher ist optimal: Entgegen der Intuition, dass mehr Geschichte das reasoning unterstützt, führten übermäßige Kontexte zu pathologischem Verhalten und Modus-Kollaps. Ein minimaler Kontext ($CL=1$) reichte für optimale Leistung aus.
Exploration ist ein zweischneidiges Schwert: Obwohl notwendig, um lokale Optima zu verlassen, verschlechtert zu viel Rauschen die Qualität der Artefakte.
Diversität ohne Kohäsion: Multi-Agenten-Systeme erhöhen die Abdeckung des Suchraums, können jedoch zur Verbreitung „adversarieller" Bilder führen, die viele Agenten befriedigen, aber keine semantische Bedeutung haben.
Die „X-Faktor"-Lücke: Die Autoren kommen zu dem Schluss, dass VLMs derzeit die „Kühnheit und Unterscheidungskraft" menschlicher Nutzer vermissen. Zwar können sie dazu gebracht werden, diverse Artefakte zu produzieren, doch haben sie Schwierigkeiten, die „Trittsteine" hochwertiger, semantisch kohärenter Neuheit zu generieren, die eine vom Menschen gesteuerte offene Suche charakterisieren.

Die Arbeit legt nahe, dass für die Erreichung einer menschlichen Offenheit zukünftige Systeme diese Eingriffe sorgfältig kombinieren und möglicherweise Nutzerstudien zur Kalibrierung der Metriken einbeziehen müssen, anstatt sich ausschließlich auf automatisierte Optimierung zu verlassen. Der Code wird bereitgestellt, um weitere Forschung zu den „Zutaten" der Offenheit zu erleichtern.