Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
Dieses Paper führt MissionBench ein, einen Benchmark zur Evaluierung der Zero-Shot-Mission-Level-Fähigkeiten von multimodalen großen Sprachmodellen in Luftumgebungen in 3D, wobei aufgezeigt wird, dass die Skalierung zwar die Leistung verbessert, aktuelle Modelle jedoch bei komplexen, langfristigen (long-horizon) verkörperten Aufgaben, die mehrstufige Planung und adaptives Denken erfordern, immer noch signifikant hinter Menschen zurückbleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten gerade einem brandneuen, superintelligenten Roboter eine Karte und eine Mission übergeben: „Finde das rote Auto und nenne mir sein Kennzeichen.“ Sie erwarten, dass der Roboter losrast, die Szene scannt und mit der Antwort zurückkommt. Aber hier ist der Haken: Dieser Roboter ist noch nie zuvor einer Drohne geflogen. Er wurde nicht beigebracht, wie man schwebt, wie man einem Baum ausweicht oder wie man ein Schild aus der Vogelperspektive liest. Er weiß nur, wie man spricht und Bilder betrachtet, weil er mit dem gesamten Internet trainiert wurde. Dies ist die Welt der Multimodalen Großen Sprachmodelle (MLLMs) – KI-Gehirne, die Bilder sehen und Texte lesen können und nun gefragt werden, physische Maschinen zu steuern. Die große Frage, die sich Wissenschaftler stellen, lautet: Können diese universellen „schlauen Gehirne“ lernen, eine Drohne zu fliegen und eine komplexe Mission zu lösen, indem sie lediglich einen einzigen Satz lesen, ohne jegliches spezielles Training? Es ist, als würde man einer Person, die jedes Buch in einer Bibliothek gelesen hat, plötzlich befehlen, ein Raumschiff zu einem bestimmten Asteroiden zu steuern, nur weil sie eine Geschichte darüber gelesen hat.
In dieser Arbeit haben die Forscher beschlossen, diese KI-Gehirne dem ultimativen Test zu unterziehen. Sie bauten eine Videospielwelt namens MissionBench, die im Grunde ein riesiger, hochtechnologischer Spielplatz für Drohnen ist. In diesem Spielplatz gibt es 120 verschiedene Missionen, die von „Patrouilliere dieses Viertels“ bis hin zu „Inspiziere ein brennendes Schiff“ oder „Wirf ein Paket auf ein Zelt“ reichen. Der Clou dabei? Die KI-Agenten (die Drohnenpiloten) erhalten nur eine Textanweisung und eine Kameraansicht aus der Perspektive der Drohne. Sie müssen selbst herausfinden, wohin sie fliegen müssen, wie sie abbiegen müssen, wie schnell sie fliegen müssen und was sie zurückmelden sollen. Es ist ein geschlossener Kreislauf: Die KI bewegt sich, die Welt verändert sich, die KI sieht die neue Ansicht und muss entscheiden, was als Nächstes zu tun ist.
Die Ergebnisse waren eine Mischung aus „Wow“ und „Ups“. Die Forscher testeten 22 verschiedene KI-Modelle, von Open-Source-Modellen bis hin zu den mächtigsten kommerziellen Giganten. Die am besten performende KI schaffte es weniger als 35 % der Missionen. Um dies einzuordnen: Ein menschlicher Pilot, der dasselbe Spiel mit denselben begrenzten Steuerelementen spielt, war in 70 % der Fälle erfolgreich, und mit vollständiger Tastatursteuerung erreichten Menschen 84,4 %. Während die KI also nicht schlecht ist, tut sie sich immer noch schwer, mit einem Menschen Schritt zu halten. Die Arbeit legt nahe, dass es hilft, die KI einfach nur „größer“ zu machen (mehr Daten und Parameter hinzuzufügen); die größten Modelle schnitten signifikant besser ab als die kleineren, was darauf hindeutet, dass die reine Größe ihnen eine gewisse „verkörperte“ Intuition verleiht. Dennoch kommt selbst die klügste KI ins Straucheln. Sie prallt oft gegen Dinge, fliegt im Kreis oder gibt zu früh auf, indem sie denkt, sie sei fertig, obwohl sie sich eigentlich noch meilenweit vom Ziel entfernt hat.
Die Studie untersuchte auch, warum die KI scheitert. Es stellt sich heraus, dass die Fähigkeit, ein Objekt in einem einzelnen Bild zu erkennen (wie etwa ein Auto in einem Foto zu finden), nicht garantiert, dass die KI die Drohne zu diesem Auto fliegen kann. Die KI muss viel mehr als nur „sehen“; sie muss einen Pfad planen, ihre Höhe anpassen, das Ziel im Blick behalten und sich anpassen, wenn Dinge schiefgehen. Die Forscher fanden heraus, dass die KI oft unter „Drift und Oszillation“ leidet – sie steckt fest und fliegt wie ein verwirrter Nachtfalter hin und her – oder unter „vorzeitiger Beendigung“, wobei sie den Sieg nach nur wenigen Sekunden erklärt, weil sie müde oder verwirrt ist.
Letztendlich legt diese Arbeit nahe, dass allgemeine KI zwar besser darin wird, Drohnen ohne spezielles Training zu steuern, aber noch nicht bereit für die reale Welt ist. Die Lücke zwischen dem, was die KI kann, und dem, was ein Mensch kann, ist immer noch riesig. Die Autoren warnen davor, dass diese Modelle zwar leistungsfähiger werden könnten, wenn sie größer und intelligenter werden, aber auch Risiken bergen, wenn sie zu früh eingesetzt werden. Für den Moment dient MissionBench als Realitätscheck: Ein Gehirn zu haben, das alles über die Welt weiß, bedeutet nicht automatisch, dass man weiß, wie man eine Drohne durch sie hindurchsteuert. Der Weg vom „Lesen über das Fliegen“ zum „tatsächlichen Fliegen“ ist noch ein langer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.