Grounding Computer Use Agents on Human Demonstrations
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber visuell ungeschickten Roboter beizubringen, wie man einen Computer benutzt. Sie können ihm verbale Anweisungen geben wie: „Klicke auf den grünen Button, um die Datei zu speichern“, aber der Roboter hat keine Ahnung, wo sich dieser Button befindet. Er könnte den falschen grünen Gegenstand anklicken oder den Button ganz verfehlen, weil er zu klein ist oder wie etwas anderes aussieht. Dieses Problem wird als „Grounding“ bezeichnet – die Verbindung Ihrer Worte mit dem exakten Ort auf dem Bildschirm, den der Roboter berühren muss.
Dieses Paper stellt eine neue Lösung vor, um Robotern beizubringen, dies besser, schneller und mit weniger verschwendeter Anstrengung zu tun.
Das Problem: Der Roboter ist verloren in einem Meer aus Icons
Desktop-Computer sind unordentlich. Sie haben riesige, hochauflösende Bildschirme, die vollgestopft sind mit winzigen Icons, Menüs und Buttons, die fast identisch aussehen. Frühere Versuche, Roboter zu trainieren, nutzten massive Mengen an Daten, von denen jedoch ein Großteil „verrauscht“ oder von Computern statt von echten Menschen generiert wurde. Es war, als würde man versuchen, jemandem das Autofahren beizubringen, indem man ihm eine Million unscharfer, computergenerierter Fotos von Autos zeigt; die Person würde vielleicht die Theorie lernen, aber in der echten Welt verunfallen.
Die Lösung: GROUNDCUA (Der „Experten-Tutor“-Datensatz)
Die Autoren haben einen neuen, massiven Datensatz namens GROUNDCUA erstellt. Betrachten Sie dies nicht als einen Haufen zufälliger Fotos, sondern als eine Bibliothek von Experten-Demonstrationen.
- Echte Menschen, echte Aufgaben: Sie haben geschulte Experten dafür bezahlt, tatsächlich 87 verschiedene Desktop-Anwendungen (wie Zeichenwerkzeuge, Tabellenkalkulationen und Programmiersoftware) zu nutzen, um reale Aufgaben auszuführen.
- Die „Röntgenblick“-Funktion: Während diese Experten arbeiteten, machte das System Screenshots und beschriftete entscheidenderweise jedes einzelne sichtbare Element auf dem Bildschirm. Wenn ein Experte auf ein winziges „Speichern“-Icon klickte, notierte das System genau, wo es sich befand, wie es aussah und was der Experte gerade tat.
- Die Skalierung: Sie sammelten 56.000 Screenshots mit über 3,5 Millionen beschrifteten Elementen. Dies ist vergleichbar damit, dem Roboter ein Lehrbuch zu geben, in dem jedes einzelne Objekt in jedem Bild von einem menschlichen Lehrer benannt und erklärt wird.
Das neue Modell: GROUNDNEXT (Der „Musterstudent“)
Unter Verwendung dieses hochwertigen Datensatzes entwickelte das Team eine neue Familie von KI-Modellen namens GROUNDNEXT.
- Zweistufiges Training:
- Supervised Fine-Tuning (SFT): Zuerst lehrten sie das Modell anhand von 700.000 der besten Beispiele. Stellen Sie sich vor, ein Student lernt aus einem perfekten Lehrbuch, das von Experten geschrieben wurde.
- Reinforcement Learning (RL): Als Nächstes ließ das Team das Modell üben. Wenn es richtig rät, erhielt es eine Belohnung („Gut gemacht“); wenn es falsch lag, erhielt es ein Signal („Versuch es noch einmal“). Dies verfeinerte seine Fähigkeiten weiter.
Die Ergebnisse: Kleine Größe, großes Gehirn
Hier ist der überraschende Teil: Das Team trainierte ihre Modelle mit weniger als einem Zehntel der Daten, die andere Top-Modelle verwendeten.
- Effizienz: Ihr 3-Milliarden-Parameter-Modell (ein relativ kleines „Gehirn“) schnitt genauso gut oder sogar besser ab als viel größere Modelle, die mit Millionen von unordentlichen Datenpunkten trainiert wurden.
- Der „Underdog“-Sieg: In Tests, bei denen die KI als Computerbenutzer agieren musste (Klicken, Tippen, Ziehen), schlug ihr kleines Modell massive Konkurrenten, einschließlich einiger von großen Tech-Unternehmen. Es ist wie ein Student, der aus ein paar perfekten Büchern gelernt hat und dadurch einen Studenten übertrifft, der eine Million wahlloser Zeitschriften gelesen hat.
- Generalisierung: Obwohl sie das Modell nur auf Desktop-Computern trainiert haben, wurde es auch überraschend gut darin, Mobiltelefone und Websites zu verstehen, was zeigt, dass es die Prinzipien der Computerbedienung gelernt hat und nicht nur spezifische Bildschirme auswendig gelernt hat.
Warum das wichtig ist
Das Paper argumentiert, dass Qualität über Quantität triumphiert. Anstatt immer mehr Daten auf das Problem zu werfen, haben sie gezeigt, dass man mit hochwertigen, von Menschen verifizierten Daten viel zuverlässigere Agenten zur Computerbedienung aufbauen kann, und das mit deutlich weniger Ressourcen.
Sie stellen sowohl den Datensatz (GROUNDCUA) als auch die Modelle (GROUNDNEXT) der Öffentlichkeit zur Verfügung, in der Hoffnung, andere Forscher dabei zu unterstützen, bessere, zuverlässigere Roboter zu bauen, die uns tatsächlich beim Nutzen unserer Computer helfen können, ohne sich in den Icons zu verlieren.
Kurz gesagt: Sie haben einem Roboter beigebracht, einen Computer zu benutzen, indem sie ihm tausende perfekte, von Menschen demonstrierte Beispiele zeigten, und bewiesen damit, dass ein wenig hochqualitativer Unterricht sehr viel bewirken kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.