DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions
Das Papier stellt DragOn vor, einen umfassenden Benchmark und Datensatz bestehend aus 286.000 Screenshots und 3,5 Millionen Aufgaben über vier Domänen hinweg, um den Mangel an datenbasierten Drag-Interaktionsdaten für GUIs zu adressieren, wobei demonstriert wird, dass das Fine-Tuning auf diesem Datensatz die Leistung von State-of-the-Art Vision-Language-Modellen bei komplexen Computer-Use-Aufgaben signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, einen Computer zu benutzen. Bisher waren wir sehr gut darin, Robotern das Klicken auf eine Schaltfläche beizubringen. Es ist wie bei einem Kind, dem man sagt: „Berühre das Bild dort!“ Wir haben Millionen solcher Beispiele, und die Roboter werden darin immer besser.
Aber es gibt eine viel schwierigere Fertigkeit: das Ziehen (Dragging).
Denken Sie beim Ziehen an das Anheben einer schweren Kiste und das Bewegen an einen neuen Ort, oder an das Wischen mit dem Finger, um auf einer Seite nach unten zu scrollen, oder das Greifen nach der Ecke eines Fotos, um es größer zu machen. Diese Aktionen erfordern, dass der Roboter nicht nur versteht, wo er berühren muss, sondern auch, wie er sich von Punkt A nach Punkt B bewegt. Derzeit sind Roboter schlecht darin. Sie sind wie Kleinkinder, die zwar auf ein Spielzeug zeigen können, aber nicht herausfinden, wie sie es aufheben und durch den Raum tragen sollen.
Das Paper stellt ein neues Werkzeug namens DragOn vor, um dieses Problem zu lösen. So funktioniert es, vereinfacht erklärt:
1. Das Problem: Ein Mangel an „Ziehen“-Übung
Die Autoren stellten fest, dass wir zwar riesige Bibliotheken an Daten haben, um Robotern das Klicken beizubringen, die Daten für das Beibringen des Ziehens jedoch winzig sind – etwa 10- bis 100-mal kleiner. Aus diesem Grund haben selbst die intelligentesten KI-Modelle (wie die von OpenAI oder Anthropic) Schwierigkeiten mit Aufgaben wie dem Markieren von Text, dem Ändern der Fenstergröße oder dem Bewegen von Schiebereglern. Sie werden verwirrt und scheitern oft.
2. Die Lösung: „Rendering-as-Supervision“
Um eine massive Bibliothek mit Zieh-Beispielen aufzubauen, ohne tausende Menschen zu engagieren, die manuell klicken und ziehen, haben die Autoren einen cleveren Trick erfunden, den sie „Rendering-as-Supervision“ nennen.
- Der alte Weg: Stellen Sie sich vor, ein Mensch betrachtet einen Bildschirm, zeichnet einen Kasten um ein Wort und schreibt die Koordinaten auf. Das ist langsam und teuer.
- Der DragOn-Weg: Stellen Sie sich vor, Sie haben einen magischen Bauplan eines Dokuments (wie ein PDF oder eine Tabellenkalkulation). Der Computer weiß genau, wo jeder Buchstabe und jede Zelle ist, weil er das Dokument selbst erstellt hat. Anstatt das Bild anzusehen und zu raten, fragt der Computer einfach den Bauplan: „Wo ist das Wort ‚Hallo‘?“ Der Bauplan antwortet: „Es befindet sich an genau diesen Koordinaten.“
Der Computer „rendert“ (zeichnet) dann das Bild und beschriftet automatisch die Start- und Endpunkte der Zieh-Aktion basierend auf diesem Bauplan. Es ist, als hätte man ein GPS, das die exakte Lage jedes Straßenschilds kennt, noch bevor man überhaupt losfährt. Dies ermöglichte es ihnen, 3,5 Millionen Trainingsaufgaben sehr schnell und kostengünstig zu erstellen.
3. Der Datensatz: Vier neue Spielplätze
Sie haben nicht nur eine Art von Zieh-Aufgabe erstellt, sondern vier verschiedene „Spielplätze“, auf denen die Roboter üben können:
- Textmarkierung: Über einen Satz ziehen, um ihn zu markieren (wie das Markieren eines Wortes in einem Lehrbuch).
- Zellauswahl: Über ein Raster in einer Tabellenkalkulation ziehen, um einen Block von Zahlen auszuwählen.
- Größenänderung von Elementen: Die Ecke eines Bildes oder Fensters greifen und ziehen, um es größer oder kleiner zu machen.
- Schieberegler-Manipulation: Einen Schieberegler (wie eine Lautstärkeregelung) greifen und nach links oder rechts schieben.
Insgesamt haben sie 286.000 Screenshots erstellt, die die Roboter studieren können.
4. Die Ergebnisse: Übung macht den Meister
Die Autoren testeten diesen neuen Datensatz an den klügsten KI-Modellen der Welt.
- Die Baseline: Die besten „fertigen“ KI-Modelle (wie GPT und Claude) erreichten bei diesen Aufgaben weniger als 30 % Genauigkeit. Sie scheiterten im Grunde häufiger, als sie erfolgreich waren.
- Der Durchbruch: Die Autoren nahmen ein Open-Source-KI-Modell und trainierten es spezifisch auf ihren neuen DragOn-Datensatz.
- Das Ergebnis: Dieses trainierte Modell sprang auf eine Genauigkeit von 35,3 %. Das mag nicht nach einer riesigen Zahl klingen, war aber eine massive Verbesserung gegenüber dem Basismodell (das nur bei 2,3 % lag) und übertraf die teuersten proprietären Modelle in drei der vier Aufgaben tatsächlich.
Das Wesentliche
Das Paper behauptet, dass wir KI-Modelle viel besser darin bringen können, komplexe Computeraufgaben zu bewältigen, indem wir ihnen eine massive, hochwertige Bibliothek mit „Ziehen“-Beispielen geben – die mit einer smarten, automatisierten Bauplan-Methode erstellt wurde. Es beweist, dass Daten der Schlüssel sind: Selbst ein Standard-Open-Source-Modell kann die leistungsfähigsten kommerziellen Modelle übertreffen, wenn es mit der richtigen Art von Trainingsdaten trainiert wird.
Die Autoren hoffen, dass dieser neue Benchmark und Datensatz dazu beitragen werden, dass zukünftige Roboter zuverlässige „Computernutzer“ werden, die mehr können als nur klicken; sie können endlich ziehen, loslassen, die Größe ändern und wischen, genau wie ein Mensch es tut.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.