Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
Qwen-UI-Agent ist ein realitätszentrierter Foundation-GUI-Agent, der Mobile-, Computer-, Web- und DeepSearch-Umgebungen mit einem hybriden Aktionsraum und einem AutoResearch-ähnlichen Daten-Flywheel vereint, um eine State-of-the-Art-Leistung bei mobilen Benchmarks zu erzielen und gleichzeitig wettbewerbsfähige Ergebnisse bei breiteren digitalen Aufgaben zu liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der Ihren digitalen Kontext verarbeiten und alles tun kann, was Sie von ihm verlangen. Aber im Moment ist dieser Roboter wie ein Schüler, der bisher nur in einem perfekten, ruhigen Klassenzimmer ohne Ablenkungen gelernt hat. Er weiß zwar, wie man Matheaufgaben auf Papier löst, aber wenn man ihn in eine echte, chaotische Küche mit einem klebrigen Herd, einem bellenden Hund und einer klemmenden Tür stellt, könnte er verwirrt werden und den Toast fallen lassen. Dies ist der aktuelle Zustand von „GUI-Agenten“ – Computerprogrammen, die darauf ausgelegt sind, Bildschirme anzusehen und Schaltflächen zu klicken, genau wie Menschen es tun. Sie sind großartig darin, Anweisungen in sicheren, simulierten Videospielen zu befolgen, aber sie stolpern oft, wenn sie mit der chaotischen, unvorhersehbaren Realität von echten Telefonen und Computern konfrontiert werden.
Die große Frage, die sich Wissenschaftler stellen, lautet: Wie bringen wir diesen digitalen Helfern bei, aufzuhören, Klassenschüler zu sein, und echte Experten der realen Welt zu werden? Wir müssen sie nicht nur dazu bringen, Schaltflächen zu klicken, sondern auch zu verstehen, wenn eine Pop-up-Werbung ihre Sicht versperrt, zwischen ihrem Telefon und ihrem Laptop zu wechseln, ohne den Faden zu verlieren, und sogar zu bemerken, wenn etwas schiefgeht (wie eine Flugannullierung), um eine Lösung anzubieten, noch bevor man überhaupt darum bittet. Wenn wir diesen Code knacken können, könnten diese Agenten zu den ultimativen Assistenten werden, die alles erledigen – von der Reisebuchung bis zur Organisation Ihres digitalen Lebens – und dafür sorgen, dass sich Technologie weniger wie ein Werkzeug anfühlt, gegen das man kämpfen muss, sondern wie ein Partner, der einen einfach „versteht“.
Treffen Sie Qwen-UI-Agent: Den Roboter, der gelernt hat, in der realen Welt zu leben
Hier kommt Qwen-UI-Agent, eine neue Art von digitalem Helfer, entwickelt vom MAI-UI-Team bei Alibaba. Betrachten Sie es als den Unterschied zwischen einem Roboter, der an einer Trainingspuppe übt, und einem, der tatsächlich im Ring gekämpft hat. Während andere Agenten damit beschäftigt waren, perfekte Punktzahlen in Videospiel-Simulationen zu erreichen, wurde Qwen-UI-Agent in die Freiheit geschickt, um zu lernen, über 100 physische Telefone mit echten Apps, echten Internetverbindungen und echten Lebensunterbrechungen zu navigieren.
Das Team erkannte, dass sie, um einen wirklich nützlichen Agenten zu erschaffen, nicht nur das Gehirn intelligenter machen konnten; sie mussten den gesamten Körper und die Umgebung, in der er lebt, ändern. So haben sie es gemacht, wobei sie einige lustige Analogien verwenden, um die Magie zu erklären:
1. Das „Real-World-Gym“ vs. das „Videospiel“
Die meisten KI-Agenten trainieren in „Sandkästen“ – digitalen Räumen, in denen nach jedem Versuch alles perfekt zurückgesetzt wird. Es ist, als würde man Basketball in einer Sporthalle spielen, in der der Korb sich nie bewegt und der Ball niemals falsch abprallt. Aber das echte Leben ist chaotisch. Telefone haben Pop-up-Werbung, Apps stürzen ab und man erhält vielleicht eine Berechtigungsanfrage, die man nicht erwartet hat.
Qwen-UI-Agent wurde in einer Real-Device Mobile Runtime trainiert. Stellen Sie sich ein riesiges Lagerhaus mit über 100 tatsächlichen physischen Telefonen vor, auf denen echte Apps laufen, so wie Sie und ich sie benutzen. Das System ist so intelligent, dass es ein „krankes“ Telefon (eines, das Probleme macht) erkennen und die Aufgabe sofort auf ein gesundes Telefon übertragen kann, genau wie ein Trainer, der während eines Spiels die Spieler austauscht. Dies ermöglichte es dem Agenten, das Chaos der realen Welt zu bewältigen – von seltsamen Pop-ups bis hin zu Netzwerkfehlern –, anstatt nur perfekte Pfade in einem Videospiel auswendig zu lernen.
2. Das „Schweizer Taschenmesser“ des Aktionsraums
Früher waren Agenten wie Menschen, die nur ihre Hände benutzen konnten (klicken und tippen). Wenn sie eine Datei bewegen oder eine komplexe Berechnung durchführen mussten, mussten sie stundenlang durch Menüs klicken. Qwen-UI-Agent erhielt ein Schweizer Taschenmesser.
Es lernte, GUI-Aktionen (Klicken, Tippen, Scrollen) mit CLI-Aktionen (Befehle in einem Terminal eingeben, wie ein Computer-Magier) zu mischen.
- Die Analogie: Stellen Sie sich vor, Sie müssen 100 Fotos organisieren. Ein normaler Agent würde „Öffnen“, „Auswählen“, „Verschieben“, „Wiederholen“ 100 Mal anklicken. Qwen-UI-Agent kann sagen: „Hey, ich tippe einfach einen Befehl ein, um alle diese Dateien auf einmal zu verschieben!“ Er kann auch Aktionen batchen, was bedeutet, dass er eine ganze Sequenz von Bewegungen in einem Schritt planen kann, wie ein Schachspieler, der drei Schritte vorausdenkt, anstatt nur ein Stück nach dem anderen zu bewegen. Dies machte ihn unglaublich schnell und effizient.
3. Der „Auto-Coach“ Daten-Flügelschlag
Normalerweise erfordert das Lehren eines Roboters viele menschliche Lehrer, die Testfragen entwerfen und die Antworten bewerten. Das ist langsam und langweilig. Qwen-UI-Agent nutzt einen AutoResearch-Style Data Flywheel.
Betrachten Sie dies als einen Roboter-Coach, der den Roboter spielen beobachtet, erkennt, wo er Fehler gemacht hat, und sofort eine neue, schwierigere Übung erstellt, die speziell darauf abzielt, diesen Fehler zu beheben. Der Agent selbst hilft dabei, die Aufgaben zu entwerfen, findet seine eigenen Fehler und plant die nächste Trainingsrunde. Es ist eine selbstverbessernde Schleife, in der der Roboter besser wird, indem er sich selbst unterrichtet, wobei Menschen nur eingreifen, um eine übergeordnete Anleitung zu geben.
4. Der „proaktive Butler“
Die meisten Roboter warten darauf, dass Sie sagen: „Hey, tu dies.“ Aber Qwen-UI-Agent besitzt eine Harness Layer, die es ihm ermöglicht, proaktiv zu sein.
- Die Analogy: Stellen Sie sich vor, Sie erhalten eine Benachrichtigung, dass Ihr Flug annulliert wurde. Ein normaler Roboter wartet, bis Sie ihm sagen, dass er nach einem neuen Flug suchen soll. Qwen-UI-Agent erkennt die Benachrichtigung, leitet das handlungsrelevante Ereignis ab, prüft Ihren Kalender, sucht nach Zugfahrplänen, vergleicht Preise und präsentiert Ihnen einen vollständigen Wiederherstellungsplan, bevor Sie überhaupt aufgewacht sind. Er wartet nicht nur auf Befehle; er identifiziert handlungsrelevante Momente aus Ihren digitalen Signalen und schlägt angemessene nächste Schritte vor.
Die Ergebnisse: Hat es funktioniert?
Das Team hat Qwen-UI-Agent in einigen sehr harten Arenen getestet, und die Ergebnisse waren beeindruckend.
- Auf echten Telefonen: In einem Benchmark namens MobileWorld-Real, der echte Telefone mit echten Apps verwendet, war Qwen-UI-Agent in 92,2 % der Fälle erfolgreich. Er schlug die besten Closed-Source-Modelle (wie Opus 4.8 und GPT-5.6 Sol) um eine deutliche Marge. In einem anderen Test namens AndroidDaily erreichte er nahezu perfekte 97,5 %.
- Auf Computern: Bei komplexen Computeraufgaben (OSWorld-Verified) erreichte er 79,5 %, belegte damit den zweiten Platz insgesamt und schlug viele andere Top-Modelle. Er zeigte auch, dass er lange, komplizierte Aufgaben bewältigen kann, indem er einen Teilfortschritts-Score von 40,0 % beim schwierigeren OSWorld-v2-Benchmark erreichte, was bedeutet, dass er den Großteil schwieriger Jobs erledigen konnte, selbst wenn er nicht jeden einzelnen Schritt perfekt abschloss.
- Im Web: Er erzielte 73,6 % bei WebArena, einem Test zur Navigation auf komplexen Websites, und 81,5 % bei ScreenSpot-Pro, was beweist, dass er die richtige Schaltfläche auf einem Bildschirm finden kann, selbst wenn sie winzig oder schwer zu sehen ist.
Was das bedeutet
Das Paper legt nahe, dass wir, um wirklich nützliche KI-Agenten zu bauen, nicht nur das Gehirn größer machen dürfen; wir müssen auch ändern, wie sie lernen und wo sie üben. Durch das Training auf echten Geräten, das Mischen verschiedener Arten des Handelns (Klicken und Codieren) und das Zulassen, dass der Agent sein eigenes Training entwirft, hat Qwen-UI-Agent gezeigt, dass es möglich ist, die Lücke zwischen „Roboter in einem Videospiel“ und einem „Roboter, der einem wirklich im echten Leben helfen kann“, zu schließen.
Es ist noch keine perfekte Lösung – die Autoren geben zu, dass es noch Herausforderungen bei der Sicherheit und der vollständigen Automatisierung des gesamten Prozesses gibt – aber es ist ein massiver Schritt nach vorne. Es zeigt, dass mit der richtigen Mischung aus Echtwelt-Praxis und intelligenten Trainingsschleifen unsere digitalen Helfer endlich bereit sind, das Klassenzimmer zu verlassen und uns in der realen Welt beizustehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.