Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining
Das Papier stellt Video2GUI vor, ein automatisiertes Framework, das aus ungelabelten Internetvideos einen großskaligen Datensatz mit 12 Millionen GUI-Interaktionstrajektorien synthetisiert, um die Datenknappheit zu überwinden und die Generalisierungsleistung multimodaler GUI-Agenten erheblich zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man einen Computer, ein Telefon oder eine Website bedient. Um dies zu tun, müssen Sie ihm Millionen von Beispielen zeigen, wie Menschen auf Knöpfe klicken, Text eingeben und durch Seiten scrollen.
Das Problem ist, dass das Finden dieser Beispiele unglaublich schwierig ist. Normalerweise müssen Forscher Menschen beauftragen, jeden einzelnen Klick manuell aufzuzeichnen und zu kennzeichnen, was langsam, teuer ist und sie auf nur wenige Arten von Anwendungen beschränkt. Es ist, als würde man versuchen, eine Sprache zu lernen, indem man nur ein paar Seiten eines Wörterbuchs liest.
Video2GUI ist ein neues System, das dieses Problem löst, indem es das gesamte Internet in ein riesiges, kostenloses Klassenzimmer verwandelt. So funktioniert es, unter Verwendung einiger einfacher Metaphern:
1. Der Große Filter (Finden der richtigen Videos)
Das Internet ist voller Videos, aber die meisten sind für das Unterrichten eines Roboters nutzlos (wie Kochshows oder Katzenvideos). Die Forscher starteten mit 500 Millionen YouTube-Videos.
- Das grobe Sieben: Zuerst verwendeten sie eine intelligente KI, um Titel und Beschreibungen zu scannen. Dies ist wie ein Bibliothekar, der schnell die Buchrücken überprüft, um zu sehen, ob sie „Computer" betreffen, bevor er sie überhaupt aufschlägt. Dies reduzierte den Haufen auf 20 Millionen.
- Das feine Sieben: Als Nächstes verwendeten sie eine fortschrittlichere KI, um tatsächlich die erste Minute dieser Videos „anzusehen". Sie prüfte: Ist der Bildschirm klar? Erklärt die Stimme die Schritte gut? Zeigt es tatsächlich, wie man Software bedient? Dies ist wie ein strenger Lehrer, der die Videos bewertet, um sicherzustellen, dass es sich um hochwertige Tutorials handelt.
- Das Ergebnis: Sie landeten bei 4,2 Millionen hochwertigen Tutorial-Videos.
2. Der Übersetzer (Umwandlung von Video in Anweisungen)
Nun hatten sie die Videos, aber ein Roboter kann ein Video nicht einfach „anschauen" und es wie ein Mensch verstehen. Das Video muss in eine strukturierte Liste von Anweisungen übersetzt werden.
- Der Prozess: Sie verwendeten eine leistungsstarke KI (wie einen superklugen Übersetzer), um die Videos anzusehen und zu zerlegen. Sie identifizierte das Ziel (z. B. „Schuhe kaufen"), die unternommenen Schritte und den genauen Moment, in dem jeder Klick stattfand.
- Die Magie: Die KI riet nicht einfach; sie betrachtete die Videobilder, um die genauen Koordinaten der geklickten Knöpfe zu finden. Sie verwandelte ein 10-minütiges Video von jemandem, der online einkaufte, in eine präzise, schrittweise Karte: „Bei 0:05 auf die Suchleiste klicken. Bei 0:10 'Sneakers' eingeben."
3. Die Bibliothek (WildGUI)
Alle diese übersetzten Anweisungen wurden in eine riesige neue Bibliothek namens WildGUI gesammelt.
- Das Ausmaß: Diese Bibliothek enthält 12 Millionen Interaktionspfade (Trajektorien), die über 1.500 verschiedene Apps und Websites abdecken.
- Die Vielfalt: Sie umfasst alles von Windows-Desktops über Android-Telefone bis hin zu Mac-Computern. Es ist wie eine Bibliothek, die jede mögliche Art enthält, wie ein Mensch jemals einen Computer bedient hat, alles organisiert und bereit für einen Roboter zum Studium.
4. Das Training (Beibringen des Roboters)
Die Forscher nahmen zwei bestehende KI-Modelle (Qwen2.5-VL und Mimo-VL) und „fütterten" sie mit dieser neuen Bibliothek.
- Das Ergebnis: Nach dem Studium dieses massiven Datensatzes wurden die Roboter deutlich besser. Sie verbesserten sich um 5 % bis 20 % bei verschiedenen Tests.
- Der Beweis: Sie konnten nun Knöpfe finden, die richtigen Dinge anklicken und komplexe Websites viel besser navigieren als zuvor und entsprachen oder übertrafen die besten derzeit existierenden Roboter.
Das Fazit
Die Arbeit behauptet, dass sie durch die Automatisierung des Prozesses, Internetvideos in Trainingsdaten umzuwandeln, einen massiven, vielfältigen Datensatz geschaffen haben, der KI-Agenten viel schlauer im Umgang mit Computern macht. Sie haben keinen neuen Robotertyp erfunden; sie gaben den bestehenden einfach ein viel besseres, größeres und vielfältigeres Lehrbuch zum Studium.
Sie haben diesen Datensatz und die Werkzeuge, die zu seinem Aufbau verwendet wurden, veröffentlicht, damit andere Forscher sie nutzen können, um in Zukunft noch bessere KI-Agenten zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.