Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Spieldesigner zu sein. Sie möchten, dass er unterhaltsame, spielbare Level baut, aber Sie möchten auch, dass er versteht, wie Sie denken. Dies ist die Welt der prozeduralen Inhaltsgenerierung (Procedural Content Generation), in der Computer automatisch Spielwelten erschaffen, anstatt dass Menschen jede einzelne Wand und jeden Monster manuell zeichnen. Lange Zeit waren diese Roboter wie strenge Mathematikschüler: Sie konnten eine Liste von Zahlen perfekt befolgen (wie „platziere 50 Wände hier“), aber sie konnten keine vage Idee wie „mache es gruselig“ oder „zeichne einen Pfad, der wie eine Schlange aussieht“ verstehen. Zudem neigten sie dazu, Level zu bauen, die sich kalt und roboterhaft anfühlten, denen der unordentliche, kreative Schwung eines menschlichen Designers fehlte. Die große Frage in diesem Bereich ist: Wie bringen wir einer KI nicht nur bei, Regeln zu befolgen, sondern wie ein menschlicher Partner zu denken und zu erschaffen?

Dieses Paper stellt ein neues System namens VIPCGRL (Vision-Instruction PCGRL) vor, das versucht, dies zu lösen, indem es der KI eine „gemeinsame Sprache“ für verschiedene Arten von Anweisungen gibt. Stellen Sie sich vor, man bringt einem Roboter bei, drei Dialekte gleichzeitig zu sprechen: Text (Wörter), Levels (die eigentliche Spielkarte) und Skizzen (grobe Zeichnungen). Die Forscher bauten einen speziellen „Übersetzer“, der alle drei in denselben geheimen Code umwandelt. Dies ermöglicht es Ihnen, der KI zu sagen: „Mache einen schmalen Pfad“ – sei es durch Worte, durch eine schnelle Skizze oder indem Sie ihr eine fertige Karte zeigen – und die KI versteht sie alle als dieselbe Idee.

Aber die wahre Magie liegt nicht nur im Verstehen, sondern im Stil. Die Autoren stellten fest, dass die Ergebnisse oft wenig mit dem Ähnlich wie etwas aussehen, das ein Mensch erschaffen würde, selbst wenn die KI Anweisungen folgt. Um dies zu beheben, gaben sie der KI eine neue Art von Lehrerbewertung. Anstatt nur zu prüfen, ob das Level spielbar ist, erhält die KI Bonuspunkte, wenn ihre Kreation ähnlich aussieht und sich ähnlich anfühlt wie Levels, die von echten menschlichen Designern erstellt wurden. Sie testeten dies in einer 2D-Spielumgebung mit 5.000 von Menschen entworfenen Levels und 2.500 von der KI generierten Levels. Die Ergebnisse legen nahe, dass diese neue Methode die Levels der KI wesentlich „menschlicher“ macht und sie leichter mit Skizzen oder Zeichnungen steuerbar macht, ohne die Fähigkeit zu verlieren, spezifische Regeln zu befolgen. Es ist ein Schritt in Richtung einer Zukunft, in der Sie und eine KI gemeinsam Spiele erschaffen können, wobei die KI Ihre groben Skizzen und kreativen Vibes genauso gut versteht wie Ihre getippten Befehle.

Das Problem: Roboter, die Sie nicht „verstehen“

Stellen Sie sich vor, Sie spielen ein Videospiel und möchten das Level ändern. Sie könnten sagen: „Ich möchte einen langen, gewundenen Pfad mit ein paar Monstern, die in den Ecken lauern.“ Eine traditionelle Spiel-KI könnte zwar „langer Pfad“ und „Monster“ hören, aber sie könnte einen Pfad bauen, der technisch gesehen zwar lang, aber langweilig und gerade ist, oder Monster an Stellen platzieren, die keinen Sinn ergeben. Sie folgt der Mathematik, verpasst aber die Seele des Designs.

Aktuelle Werkzeuge zur Generierung von Spiellevels (genannt PCGRL) sind großartig darin, strengen Zahlen zu folgen. Wenn Sie sagen „mache die Karte 16x16 Kacheln groß“, tun sie das perfekt. Aber sie haben Schwierigkeiten mit zwei Dingen:

1. Eingeschränkte Eingabe: Sie verstehen meist nur Zahlen oder sehr spezifische Texte. Sie können eine grobe Zeichnung, die Sie auf eine Serviette gekritzelt haben, nicht wirklich „sehen“.
2. Robotischer Stil: Selbst wenn sie die Regeln befolgen, sehen die Levels, die sie bauen, oft so aus, als wären sie von einer Maschine gemacht worden – zu perfekt, zu symmetrisch oder einfach ohne den kreativen „Schwung“ eines menschlichen Designers.

Die Forscher wollten eine KI bauen, die eher wie ein kreativer Partner als wie ein Taschenrechner agiert. Sie wollten eine KI, die eine Textbeschreibung, eine grobe Skizze oder sogar eine unvollständige Level-Karte nehmen kann und daraus ein neues Level erstellt, das sich anfühlt, als wäre es von einem Menschen entworfen worden.

Die Lösung: Ein universeller Übersetzer für das Spieldesign

Das Team entwickelte VIPCGRL, was für Vision-Instruction Procedural Content Generation via Reinforcement Learning steht. Der Kern der Idee ist, der KI beizubringen, drei verschiedene Sprachen gleichzeitig zu sprechen: Text, Level-Karten und Skizzen.

Um dies zu erreichen, bauten sie einen „Shared Latent Space“ (gemeinsamen latenten Raum). Stellen Sie sich eine riesige, unsichtbare Bibliothek vor, in der jede Idee als ein einzigartiger Zahlencode gespeichert ist.

• Wenn Sie „ein schmaler Pfad“ schreiben, wandelt die KI diesen Text in einen Code um.
• Wenn Sie einen schmalen Pfad auf einem Blatt Papier zeichnen, wandelt die KI diese Skizze in einen Code um.
• Wenn Sie eine Karte mit einem schmalen Pfad zeigen, wandelt die KI diese Karte in einen Code um.

Die Magie besteht darin, dass die KI darauf trainiert wird, dass der Code für „schmaler Pfad“ fast identisch ist, egal ob er aus einem Wort, einer Zeichnung oder einer Karte stammt. Dies geschieht durch eine Technik namens Quadruple Contrastive Learning. Es ist wie ein Spiel des „Findens von passenden Paaren“. Die KI betrachtet eine Textanweisung, eine Level-Karte, eine Skizze und den Stil des Erstellers (Mensch vs. KI). Sie lernt, Dinge, die ähnlich sind, in ihrem Gedächtnis näher zusammenzuziehen und Dinge, die unterschiedlich sind, weiter voneinander zu entfernen.

Wenn Sie der KI zum Beispiel einen Text mit „schmaler Pfad“ und eine Skizze eines schmalen Pfades zeigen, lernt sie, dass diese beiden Codes in derselben Nachbarschaft liegen. Zeigen Sie ihr jedoch eine Skizze eines „weiten, offenen Feldes“, lernt sie, dass dieser Code in einer völlig anderen Nachbarschaft gehört. Entscheidend ist auch, dass sie lernt, zwischen einem „Human Style“-Code und einem „AI Style“-Code zu unterscheiden, damit sie weiß, worauf sie abzielen muss.

Das Geheimrezept: Die „Menschlichkeits-Belohnung“

Ein Übersetzer allein reicht nicht aus; die KI muss immer noch wissen, was sie bauen soll. Beim Standardtraining erhält eine KI eine Belohnung (einen Punkt) nur dann, wenn sie die Regeln befolgt (z. B. „Ist der Pfad lang genug?“).

Die Forscher fügten eine neue Regel hinzu: Die Human-Likeness Reward (Menschlichkeits-Belohnung).
Jedes Mal, wenn die KI ein Level baut, vergleichen sie es mit einer Bibliothek von von Menschen gemachten Levels. Sie nutzen das gemeinsame Code-System, um zu messen, wie „nah“ das Level der KI an einem menschlichen Level liegt.

• Wenn die KI ein Level baut, das so aussieht und sich so anfühlt, als hätte ein Mensch es entworfen, erhält sie einen Bonuspunkt.
• Wenn sie etwas baut, das robotisch wirkt, erhält sie weniger Punkte.

Dies ermutigt die KI, nicht nur die Regeln zu befolgen, sondern auch den Stil menschlicher Designer zu kopieren. Es ist wie ein Schüler, der nicht nur die Matheaufgabe korrekt löst, sondern die Lösung auch in der ordentlichen, kreativen Handschrift schreibt, die der Lehrer liebt.

Was sie herausfanden: Besser, menschlicher und flexibler

Das Team testete ihr System bei einer 2D-Spiellevel-Generierungsaufgabe. Sie verglichen VIPCGRL mit älteren Methoden, die nur Text oder Zahlen verwendeten.

1. Es klingt wie ein Mensch (Menschlichkeit):
Als sie maßen, wie sehr die generierten Levels den von Menschen gemachten ähnelten, schnitt VIPCGRL signifikant besser ab.

• In einem Test namens TPKL-Div (der kleine, lokale Muster prüft, wie z. B. die Anordnung von Kacheln) war VIPCGRL viel näher an menschlichen Designs als die alten Methoden.
• In einem Test namens ViT-Sim (der den großflächigen Look prüft) verbesserte es sich ebenfalls.
• Am wichtigsten war: Als echte Menschen die Levels spielten und bewerteten, bevorzugten sie die VIPCGRL-Levels. Die Menschen bewerteten die „Menschlichkeit“ von VIPCGRL mit 4,25 von 7, verglichen mit 2,90 für die bisher beste Methode. Der Unterschied war statistisch signifikant, was bedeutet, dass es kein Zufall war.

2. Es versteht Skizzen und Karten (Multi-Modal Control):
Die KI wurde hauptsächlich mit Textanweisungen trainiert, aber dank der gemeinsamen Sprache konnte sie während des Tests auch Skizzen und Level-Karten als Eingabe verwenden.

• Obwohl die KI nie speziell auf Skizzen trainiert wurde, konnte sie Levels basierend auf einer Zeichnung generieren.
• Die Steuerbarkeit (wie gut die Anweisung befolgt wurde) war bei Skizzen etwas geringer als bei Text, aber sie war immer noch viel besser als reines Raten.
• Dies beweist, dass die „gemeinsame Bibliothek“ funktioniert: Die KI kann eine Zeichnung in denselben Code wie eine Textanweisung übersetzen und das richtige Level bauen.

3. Der Kompromiss:
Es gab einen kleinen Preis. Wenn die Forscher die „Menschlichkeits-Belohnung“ erhöhten (also die KI dazu brachten, härter daran zu arbeiten, menschlich auszusehen), wurde die KI etwas weniger perfekt darin, die strengen numerischen Regeln zu befolgen (wie etwa die exakte Anzahl an Monstern zu treffen). Die Autoren merken jedoch an, dass dieser Kompromiss sehr gering war. Die KI blieb sehr gut in ihrer Aufgabe, während sie gleichzeitig viel kreativer und menschlicher wurde.

Was dies für die Zukunft bedeutet

Das Paper legt nahe, dass wir, indem wir der KI beibringen, mehrere Wege der Instruktion zu verstehen (Text, Zeichnungen, Karten) und sie dafür belohnen, den menschlichen Stil zu kopieren, Werkzeuge schaffen können, die für Spieldesigner viel besser geeignet sind. Anstatt nur ein Taschenrechner zu sein, der Befehle ausführt, wird die KI ein kreativer Partner, der Ihren „Vibe“ versteht.

Die Forscher geben zu, dass es Grenzen gibt. Ihre „Skizzen“ wurden computergeneriert aus Karten, nicht aus echten handgezeichneten Kritzeleien von Künstlern. Sie merken auch an, dass das System in zwei Schritten trainiert wird (zuerst das Erlernen der Sprache, dann das Erlernen des Bauens), was es etwas langsamer machen könnte, sich an neue, ungewöhnliche Situationen anzupassen. Aber die Ergebnisse zeigen einen klaren Weg auf: Wenn wir wollen, dass KI uns beim Erschaffen hilft, müssen wir ihr beibringen, wie ein Mensch zu denken und zu fühlen, nicht nur wie ein Roboter.