StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley
StarDojo ist ein neuartiger Benchmark, der auf dem Spiel Stardew Valley basiert und offene, agentische multimodale LLMs in komplexen Produktions- und Lebenssimulationen durch 1.000 kuratierte Aufgaben evaluiert, wobei aufgezeigt wird, dass selbst hochmoderne Modelle wie GPT-4.1 erheblich mit visuellem Verständnis, logischem Denken und Manipulationen auf niedriger Ebene kämpfen und dabei nur eine Erfolgsquote von 12,7 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein erfülltes menschliches Leben zu führen. Nicht nur, wie man eine Frage beantwortet oder ein Gedicht schreibt, sondern wie man aufwacht, zur Arbeit geht, Freunde findet, ein Budget verwaltet und mit unerwarteten Regenschauern umgeht – und das alles gleichzeitig.
Genau das versuchen die Autoren dieser Arbeit, StarDojo, zu erreichen. Sie haben einen Testplatz unter Verwendung des beliebten Videospiels Stardew Valley geschaffen, um zu sehen, ob KI-Agenten (Künstliche Intelligenz) die unordentliche, komplizierte Realität von „Produktion und Leben“ bewältigen können.
Hier ist eine Aufschlüsselung ihrer Arbeit unter Verwendung einfacher Analogien:
1. Das Problem: Die „Zwei-Spur-Lücke“
Denken Sie an aktuelle KI-Benchmarks wie eine Fahrprüfung, bei der man nur ein Auto geradeaus parken muss (Produktion) oder einen Test, bei dem man nur mit einem Beifahrer plaudern muss (soziale Interaktion).
- Die Realität: Im echten Leben kann man nicht einfach nur parken und plaudern. Man muss zum Supermarkt fahren (Produktion), Lebensmittel kaufen und dann mit dem Kassierer sprechen (sozial), während man gleichzeitig Zeit und Geld verwaltet.
- Die Lücke: Bestehende Tests prüfen nicht, ob eine KI beides gleichzeitig kann. Sie sind meistens zu simpel oder zu sehr auf nur eine Sache fokussiert.
2. Die Lösung: StarDojo (Die „Lebenssimulator“-Prüfung)
Die Autoren haben StarDojo erschaffen, einen neuen Benchmark basierend auf dem Spiel Stardew Valley.
- Das Spiel: Stellen Sie sich einen gemütlichen Bauernhof vor, auf dem Sie Pflanzen anbauen, Steine im Minenbau abbauen, Slimes in einer Höhle bekämpfen und mit Dorfbewohnern Zeit verbringen.
- Der Clou: Sie haben dieses Spiel in eine strenge Prüfung für KI verwandelt. Anstatt eines Menschen, der spielt, lassen sie KI-Agenten versuchen, spezifische Aufgaben zu erfüllen.
- Die Aufgaben: Sie haben 1.000 verschiedene Herausforderungen erstellt, die von „einfach“ (wie eine Pflanze gießen) bis „schwer“ (wie die Planung einer kompletten Farm-Saison, während man gleichzeitig eine Beziehung zu einem Nachbarn aufbaut und Monster bekämpft) reichen.
- Die „Lite“-Version: Um das Testen zu erleichtern, haben sie auch einen kleineren Satz von 100 repräsentativen Aufgaben (StarDojo-Lite) ausgewählt, die die Grundlagen abdecken.
3. Wie sie die KI mit dem Spiel verbunden haben
Normalerweise benötigt man eine Tastatur und eine Maus, um ein Videospiel zu steuern. Aber man kann nicht einfach eine Tastatur in ein Robotergehirn einstecken.
- Die Brücke: Die Autoren haben einen speziellen „Übersetzer“ (genannt StarDojoMod) gebaut, der es der KI ermöglicht, direkt mit der Engine des Spiels zu kommunizieren.
- Die Analogie: Anstatt dass die KI den Bildschirm „sieht“ und Tasten wie ein Mensch „drückt“, ist es so, als hätte die KI eine direkte Telefonleitung zur internen Computerstruktur des Spiels. Sie kann fragen: „Wie hoch ist mein Energieniveau?“ oder sagen: „Bewege mich nach links“, und das Spiel erledigt dies sofort. Dies ermöglicht es ihnen, viele Spiele gleichzeitig laufen zu lassen, um die KI schnell zu testen.
4. Die Ergebnisse: Die KI hat Schwierigkeiten, „erwachsen zu werden“
Die Autoren haben die klügsten verfügbaren KI-Modelle (wie GPT-4.1, Claude und Gemini) in dieser Prüfung getestet. Die Ergebnisse waren ernüchternd:
- Die Punktzahl: Selbst die besten KIs haben nur etwa 12,7 % der Aufgaben richtig gelöst.
- Die einfachen Dinge: Die KI war ganz gut in einfachen, kurzen Aufgaben (wie ein Werkzeug aufzuheben, wenn es bereits in der Hand gehalten wurde).
- Die schweren Dinge: Die KI versagte völlig bei allem, was einen langen Plan oder das Bewegen durch die Karte erforderte. Wenn eine Aufgabe mehr als ein paar Schritte dauerte, verirrte sich die KI oder vergaß, was sie gerade tat.
5. Warum ist die KI gescheitert? (Die „vier blinden Flecken“)
Die Autoren analysierten die Fehler und fanden vier Hauptgründe, warum die KI diesen „Lebenssimulator“ nicht bewältigen konnte:
- Visuelle Blindheit (42 % der Fehler): Die KI sah auf den Spielbildschirm und konnte nicht unterscheiden, was was war. Sie könnte denken, ein Stein sei ein Baum, oder sie sieht nicht, dass eine Tür direkt vor ihr steht. Es ist, als würde man versuchen, sich in einem Raum zu bewegen, während man eine beschlagene Brille trägt.
- Logik-Verwirrung (21 %): Selbst wenn die KI über die richtigen Informationen verfügte (wie eine Textliste, die besagt: „Du bist in der Nähe der Scheune“), ignorierte sie den Text und verließ sich auf ihre verschwommene Sicht, was zu Verwirrung führte.
- Kurze Aufmerksamkeitsspanne (21 %): Die KI konnte nicht vorausplanen. Sie vergaß vielleicht, dass sie die Pflanzen gießen muss, bevor sie sie ernten kann, oder sie wechselte mitten in einer Aufgabe das Ziel.
- Ungeschickte Hände (16 %): Die KI wusste zwar, was zu tun war, aber sie scheiterte am Wie. Sie versuchte vielleicht, ein Werkzeug in die falsche Richtung zu benutzen oder griff das falsche Objekt aus ihrem Inventar.
6. Das Fazit
Die Arbeit kommt zu dem Schluss, dass KI zwar großartig darin ist, Fragen zu beantworten oder Code zu schreiben, aber derzeit sehr schlecht im „embodied living“ (verkörperten Leben) ist. Sie hat Schwierigkeiten, Sehen, Denken, Planen und Handeln in einer dynamischen Welt zu kombinieren, in der die Zeit vergeht und sich Dinge ändern.
StarDojo ist nun ein offenes Werkzeug für Forscher. Es ist wie ein „Fitnessstudio“, in dem KI trainieren kann, um besser in der komplexen, unordentlichen und schönen Herausforderung des simulierten Lebens zu werden. Die Arbeit verspricht nicht, dass KI morgen Farmen leiten wird; sie zeigt uns lediglich genau auf, wo die KI stolpert, damit wir ihr beim Lernen helfen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.