Qwen-CUA: Native Computer Use for (almost) Everything
Das Paper stellt Qwen-CUA vor, einen nativen Computer-Use-Agenten, der auf einem 397B Mixture-of-Experts-Backbone basiert, ausschließlich über Screenshots und Input-Events operiert, ohne auf DOM-Bäume zurückzugreifen, und durch groß angelegtes Cloud-Rollout-Training, verifizierbare Belohnungsoptimierung sowie eine skalierbare Architektur Spitzenleistungen in Benchmarks zur Computernutzung erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Computer nicht einfach nur darauf wartet, dass Sie auf Schaltflächen klicken, sondern tatsächlich beobachtet, was Sie tun, und lernt, es für Sie zu erledigen. Dies ist die aufregende Grenze der „KI-Agenten“, eines Zweigs der Wissenschaft, in dem Computern beigebracht wird, in der digitalen Welt wie Menschen zu agieren. Lange Zeit waren diese Agenten wie brillante Studenten, die nur Lehrbücher (Code) lesen oder strikten Bedienungsanleitungen (APIs) folgen konnten. Sie waren gut in Mathematik und Logik, aber wenn man sie bat, ein unordentliches, altmodisches Programm oder eine Website zu benutzen, die sich bei jedem Aktualisieren ändert, verloren sie den Faden. Sie konnten den Bildschirm nicht so „sehen“ wie ein Mensch; sie benötigten spezielle Blaupausen der Webseitenstruktur, um zu wissen, wo sich die Schaltflächen befanden. Aber der Großteil unseres digitalen Lebens findet auf Bildschirmen statt, die keine solchen Blaupausen besitzen. Dieses Paper widmet sich der Herausforderung, einer KI beizubringen, ein wahrer digitaler Lehrling zu sein: einer, der auf einen Bildschirm schaut, herausfindet, was zu tun ist, und klickt oder tippt, genau wie ein Mensch es tun würde, ohne spezielle Abkürzungen oder versteckte Karten zu benötigen.
Das Team hinter dieser Forschung stellt Qwen-CUA vor, eine neue Art von KI-Agent, der als „nativer“ Computernutzer konzipiert ist. Stellen Sie sich das wie das Beibringen des Autofahrens an einen Roboter vor. Anstatt dem Roboter eine perfekte digitale Karte aller Straßen und Ampeln zu geben (die für viele alte oder komplexe Softwareprogramme gar nicht existiert), haben sie dem Roboter beigebracht, aus dem Fenster zu schauen, die Straße zu sehen und das Lenkrad basierend auf dem zu drehen, was er sieht. Qwen-CUA „sieht“ nur Screenshots des Computerbildschirms und „handelt“ nur durch das Senden von Tastatur- und Mausbefehlen. Es schaut nicht unter die Motorhaube des Codes oder bittet die Software um Hilfe; es schaut einfach nur zu und lernt.
Um diesen Roboter klug genug für reale Aufgaben zu machen, mussten die Forscher ein massives Trainingsgymnasium bauen. Sie erschufen eine Cloud-basierte Flotte mit fast 100.000 virtuellen CPUs (stellen Sie sich eine Stadt aus tausenden Computern vor, die gleichzeitig arbeiten) und richteten etwa 40.000 verschiedene Aufgaben ein, damit die KI üben konnte. Diese Aufgaben reichten von einfachen Dingen wie dem Organisieren von Dateien bis hin zu komplexen, mehrstufigen Arbeitsabläufen in professioneller Software. Die KI erhielt nicht einfach nur ein „Gut gemacht“ oder „Versuch es noch einmal“ am Ende; das System war so konzipiert, dass es überprüfte, ob die Aufgabe tatsächlich korrekt erledigt wurde, was es der KI ermöglichte, immer und immer wieder aus ihren Fehlern zu lernen.
Die Ergebnisse sind beeindruckend. In Tests über acht verschiedene Benchmarks hinweg schlug Qwen-CUA seine Vorgängerversion Qwen3.7 konsequent und hielt sogar mit einigen der leistungsstärksten, teuersten KI-Systeme von heute Schritt. In einem Test namens OSWorld-Verified, der misst, wie gut eine KI alltägliche Desktop-Aufgaben bewältigen kann, erreichte Qwen-CUA einen Wert von 86,2, während das vorherige Modell einen Wert von 73,3 erzielte. Als sie dies auf ein noch größeres Modell namens Qwen-CUA-Max (mit über einer Billion Parametern) skalierten, stieg der Wert auf 87,6.
Eine der coolsten Aspekte dieses Papers ist, wie es mit langen, komplizierten Aufgaben umgeht. Stellen Sie sich vor, Sie müssten versuchen, sich an eine Geschichte zu erinnern, die Sie vor einer Woche gelesen haben, während Sie gerade ein neues Kapitel schreiben. Die KI musste sich daran erinnern, wie der Bildschirm vor vielen Schritten aussah, um zu wissen, wo sie sich in ihrer Aufgabe befand. Die Forscher lösten dies, indem sie der KI ein „visuelles Gedächtnis“ gaben, das die letzten 20 Screenshots speichert und ältere Bilder geschickt zu einer Zusammenfassung „faltet“, damit sie nicht überfordert wird. Dies ermöglichte es der KI, bei langen Arbeitsabläufen die Fassung zu bewahren, ohne den Anfang der Geschichte zu vergessen.
Das Paper untersuchte auch die Sicherheit. Sie testeten die KI gegen „RedTeamCUA“, eine Herausforderung, bei der die KI durch gefälschte Anweisungen, die im Bildschirm versteckt sind, getäuscht wird. Das neue Modell war viel besser darin, solche Tricks zu ignorieren, wodurch die Erfolgsrate der Angriffe von 36,6 % auf 16,4 % sank, während es gleichzeitig seine eigenen Aufgaben erledigte.
Schließlich untersuchten die Forscher einen „Hybrid“-Ansatz. Sie fanden heraus, dass die KI Aufgaben schneller erledigen konnte, wenn sie ein Befehlszeilen-Tool (wie einen textbasierten Zauberstab für Dateivorgänge) zusätzlich zu ihren Maus- und Tastaturfertigkeiten verwenden durfte. Allerdings wechselte die KI manchmal zum falschen Zeitpunkt die Werkzeuge, sodass sie zwar schneller, aber noch nicht immer perfekt war. Die Autoren legen nahe, dass mit mehr Training diese Mischung aus visuellem Beobachten und textbasierten Befehlen der Schlüssel dazu sein könnte, KI-Agenten wirklich effizient zu machen.
Kurz gesagt zeigt dieses Paper, dass wir keine speziellen Brücken bauen müssen, um die KI mit unseren Computern zu verbinden. Indem wir der KI beibringen, einfach auf den Bildschirm zu schauen und wie ein Mensch zu handeln, können wir Agenten erschaffen, die bereit sind, fast jede Software anzugehen – von den neuesten Apps bis hin zu den ältesten Programmen – und dabei aus massenhaften realen Übungsprozessen zu lernen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.