iOSWorld: A Benchmark for Personally Intelligent Phone Agents
Dieses Paper stellt iOSWorld vor, den ersten interaktiven nativen iOS-Simulator-Benchmark mit 26 miteinander vernetzten Apps und einer persistenten Benutzeridentität zur Evaluierung persönlich intelligenter Telefon-Agenten, wobei aufgezeigt wird, dass privilegierter Vision+-XML-Zugriff die Leistung von Frontier-Modellen zwar signifikant steigert, aktuelle Agenten jedoch weiterhin Schwierigkeiten mit komplexen Multi-App- und Personalisierungsaufgaben haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen digitalen Assistenten, der in Ihrem Telefon lebt. Momentan sind die meisten dieser Assistenten wie amnesische Touristen. Sie können einer einzelnen Anweisung perfekt folgen – wie „schalte die Taschenlampe ein“ – aber wenn Sie sie bitten würden: „Plane meine Woche basierend auf meinen üblichen Gewohnheiten, meinem Kontostand und meinen Textnachrichten“, verlieren sie den Faden. Sie wissen nicht, wer Sie sind, sie erinnern sich nicht an Ihre Geschichte und sie können die Verbindungen zwischen Ihren verschiedenen Apps nicht herstellen.
Das Paper „iOSWorld“ führt eine neue Methode ein, um zu testen, ob ein Telefon-Assistent tatsächlich klug genug ist, Ihr persönlicher Helfer zu sein. Hier ist die Aufschlüsselung in einfachen Worten:
1. Das Problem: Das „leere Blatt“ vs. das „echte Leben“
Aktuelle Tests für Telefon-Assistenten sind so, als würde man jemandem ein leeres Notizbuch geben und ihn bitten, eine Geschichte zu schreiben. Er kann einen Satz schreiben, aber er hat keine Hintergrundgeschichte.
- Die Realität: Ihr Telefon ist voll von den Daten eines ganzen Lebens: Ihre Banktransaktionen, Ihre Reisepläne, die Namen Ihrer Freunde und Ihre Lieblingsrestaurants. Ein wirklich nützlicher Assistent muss all das wissen.
- Die Lücke: Niemand hatte bisher eine Möglichkeit zu testen, ob eine KI tatsächlich in diesem chaotischen, vernetzten echten Leben navigieren kann. Die meisten Tests betrachteten nur isolierte Aufgaben auf Android-Handys und ignorierten die einzigartige Art und Weise, wie iPhones (iOS) funktionieren.
2. Die Lösung: Der Bau von „iOSWorld“
Die Forscher haben ein riesiges, interaktives Videospiel gebaut, das ein echtes iPhone nachahmt.
- Der Charakter: Sie erschufen eine fiktive Person namens Jordan Avery, einen 31-jährigen, der in San Francisco lebt.
- Die Welt: Sie bauten 26 maßgeschneiderte Apps für Jordan (wie ein gefälschtes Uber, eine gefälschte Bank, eine gefälschte E-Mail und eine gefälschte Essensliefer-App).
- Die Magie: Diese Apps sind alle miteinander verbunden. Wenn Jordan auf der App „QuickBite“ einen Burrito bestellt, zeigt die App „MyBank“ automatisch eine Abbuchung an, und die App „Mail“ erhält einen Beleg. Wenn Jordan auf „SkyTrip“ einen Flug bucht, findet sich in der App „Notes“ eine Erinnerung dafür.
- Das Ziel: Sie gaben der KI 133 verschiedene Missionen. Einige waren einfach (bestelle einen Kaffee), aber viele waren komplex (prüfe deinen Kontostand, finde den Beleg für diesen Kaffee und sage deinem Chef basierend auf deinem Kalender Bescheid, dass du dich verspätest).
3. Der Test: Zwei Wege, das Telefon zu betrachten
Um zu sehen, wie klug die KI wirklich ist, testeten sie sie in zwei verschiedenen „Modi“, als würde man einem Menschen einen Test mit oder ohne Spickzettel geben:
Modus A: Nur Visuell (Der „blinde“ Test)
Die KI sieht nur Screenshots des Bildschirms, genau wie ein Mensch es tun würde. Sie muss erraten, wo sich Schaltflächen befinden, und durch das Betrachten der Bilder herausfinden, was passiert.- Analogie: Wie der Versuch, ein Puzzle zu lösen, indem man nur ein unscharfes Foto davon betrachtet.
Modus B: Visuell + XML (Der „Super-Sicht“-Test)
Die KI sieht die Screenshots plus eine versteckte Textliste (einen sogenannten Accessibility Tree), die ihr genau sagt, wie jede Schaltfläche heißt und wo sie sich befindet.- Analogie: Wie der Blick auf das Puzzle mit einem leuchtenden Textmarker, der auf jedes Teil zeigt und sagt: „Dies ist das Himmelsteil, dies ist das Baumteil.“
4. Die Ergebnisse: Wer hat den Test bestanden?
Sie testeten die klügsten verfügbaren KI-Modelle („Frontier Models“) und ein Open-Source-Modell.
- Die gute Nachricht: Wenn die KI über „Super-Sicht“ (Visuell + XML) verfügte, wurden die klügsten Modelle viel besser. Sie konnten die Apps endlich korrekt navigieren. Ein Modell (Opus) steigerte sich von einer Erfolgsquote von 26 % auf 52 % bei den Aufgaben.
- Die schlechte Nachricht: Selbst mit dem besten Setup hatten die KIs mit den schwierigsten Aufgaben zu kämpfen.
- Aufgaben in einer einzelnen App: Hier waren sie sehr gut (82 % Erfolg).
- Aufgaben über mehrere Apps hinweg: Hier taten sie sich schwer (37 % Erfolg). Das Verknüpfen der Punkte zwischen 3 oder 4 verschiedenen Apps war zu schwierig.
- Gedächtnis-Aufgaben: Hier waren sie okay (54 % Erfolg), vergaßen aber oft Details.
- Das „Problem kleiner Modelle“: Kleinere, günstigere KI-Modelle wurden durch die „Super-Sicht“-Daten sogar schlechter. Es war, als würde man einem Schüler zu viele Informationen geben; sie wurden überfordert und verwirrt.
5. Warum sind sie gescheitert?
Die Forscher fanden drei Hauptgründe, warum die KI stecken blieb:
- Zeitüberschreitung: Der KI wurden 50 Schritte gegeben, um eine Aufgabe zu erledigen. Bei komplexen Jobs verbrauchte sie alle 50 Schritte nur damit, herauszufinden, wohin sie klicken muss, und blieb keine Zeit mehr, um die Aufgabe abzuschließen.
- Sich verlaufen: Die KI öffnete die falsche App oder geriet in eine Schleife, in der sie immer wieder dieselbe Schaltfläche anklickte.
- Das „Koordinaten-Problem“: Im Modus „Nur Visuell“ tippte die KI oft an der falschen Stelle auf dem Bildschirm, als würde man versuchen, einen Ball im Dunkeln zu fangen.
Das Faz-it
iOSWorld ist das erste Mal, dass wir Telefon-Assistenten in einer realistischen, vernetzten Umgebung getestet haben, die das digitale Leben eines echten Menschen nachahmt.
Das Paper kommt zu dem Schluss, dass KIs zwar immer besser darin werden, einen Bildschirm anzusehen und Schaltflächen anzuklicken, aber noch nicht klug genug sind, um ein wahrhaft „persönlich intelligenter“ Assistent zu sein, der Ihre Geschichte, Ihr Geld und Ihre Beziehungen über verschiedene Apps hinweg versteht. Die KI muss erst besser im Planen, Erinnern und im Verknüpfen von Informationen werden, bevor sie einen menschlichen Assistenten wirklich ersetzen kann.
Die gute Nachricht? Die Forscher haben ihren gesamten Code und das „Spiel“ kostenlos zur Verfügung gestellt, damit andere Wissenschaftler diesen neuen Spielplatz nutzen können, um bessere Assistenten zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.