Tactile: Giving Computer-Using Agents Hands and Feet
Tactile ist eine Open-Source-Tool-Schicht, die computergesteuerte Agenten verbessert, indem sie heterogene UI-Evidenz in semantische, verifizierbare Aktions-Objekte umwandelt und dadurch spröde, koordinatenbasierte Interaktionen durch einen zuverlässigen Observe-Ground-Act-Verify-Zyklus ersetzt, der die Erfolgsraten bei Aufgaben über mehrere Modelle hinweg signifikant steigert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, wie man einen Computer benutzt. Im Moment sind die meisten dieser Roboter wie eine Person, die versucht, ein Auto zu fahren, während sie eine dicke, beschlagene Brille und Augenbinden trägt. Sie können den Bildschirm nur als flaches Bild (einen Screenshot) wahrnehmen. Um eine Schaltfläche zu klicken, müssen sie die exakten X- und Y-Koordinaten erraten, wie etwa: „Klicke bei 450, 200!“ und hoffen, dass sie die Stelle treffen. Wenn sich die Schaltfläche bewegt oder sich der Bildschirm leicht verändert, wird der Roboter verwirrt und stürzt ab. Das ist der aktuelle Stand der „Computer-Use-Agenten“: Sie sind klug, aber ihre Hände sind unbeholfen, weil sie im Dunkeln arbeiten und sich nur auf das verlassen, was sie in einem Foto sehen können.
Aber was wäre, wenn der Computer seinen Geheimnissen direkt zuflüstern könnte? Moderne Betriebssysteme verfügen bereits über eine verborgene Informationsebene, die für Menschen gedacht ist, die Hilfe benötigen, wie etwa Screenreader für Blinde. Diese Ebene sagt Ihnen genau, was eine Schaltfläche ist, was sie tut und ob sie bereit ist, gedrückt zu werden. Die große Frage, die Wissenschaftler stellen, lautet: Können wir unseren Roboter-Agenten eine direkte Leitung zu dieser geheimen Ebene geben, damit sie nicht mehr raten müssen? Wenn uns das gelingt, könnte dies bedehen, dass Roboter nicht nur Bildschirme „sehen“, sondern sie tatsächlich „verstehen“, was sie viel besser darin macht, echte Arbeit zu verrichten, wie zum Beispiel Meetings zu planen oder Dateien zu organisieren.
Roboter Hände und Füße geben: Das TACTILE-Projekt
Lernen Sie TACTILE kennen, ein neues Open-Source-Tool, das wie ein Übersetzer und ein Set aus Super-Händen für computernutzende Agenten fungiert. Die Forscher hinter TACTILE stellten fest, dass Roboter zwar immer klüger werden, ihre Fähigkeit, Dinge am Computer tatsächlich auszuführen, jedoch noch etwas wackelig ist. Sie behandeln einen Computerbildschirm oft wie ein Gemälde: Sie schauen ihn an, raten, wo sie hineinstechen sollen, und hoffen das Beste. TACTILE ändert das Spiel, indem es dem Roboter eine direkte Verbindung zum internen „Barrierefreiheit“-System des Computers gibt – demselben System, das Menschen mit Behinderungen hilft, Bildschirme zu navigieren.
Stellen Sie sich die alte Arbeitsweise wie den Versuch vor, ein bestimmtes Buch in einer Bibliothek zu finden, indem man auf ein verschwommenes Foto der Regale schaut. Man rät vielleicht, dass das Buch im dritten Regal, zweites von links steht, aber wenn jemand es auch nur einen Zentimeter verschoben hat, ist die Vermutung falsch. TACTILE ist wie das Geben einer magischen Liste an den Roboter, die besagt: „Das Buch, das du suchst, ist ‚History of Space‘, es befindet sich derzeit in Regal 3, es ist ein Hardcover und du kannst es herausziehen.“ Es verwandelt das chaotische visuelle Durcheinander eines Bildschirms in eine saubere, organisierte Liste von Dingen, die der Roboter tatsächlich anfassen und nutzen kann.
Wie TACTILE funktioniert: Die „Leiter“ der Hinweise
Das Paper führt eine clevere Strategie namens „Operating Ladder“ (Betriebsleiter) ein. Anstatt den Roboter zu zwingen, sich zwischen „Sehen“ (den Bildschirm betrachten) und „Lesen“ (die internen Daten des Computers nutzen) zu entscheiden, lässt TACTILE den Roboter eine Leiter aus Hinweisen erklimmen, um die beste Antwort zu finden:
- Die oberste Sprosse (Barrierefreiheit): Wenn der Computer sagt: „Ich habe hier eine Schaltfläche namens ‚Senden‘, die bereit ist, gedrückt zu werden“, greift TACTILE diese Information sofort ab. Dies ist der stärkste, zuverlässigste Hinweis.
- Die mittlere Sprosse (OCR): Wenn der Computer zu einem bestimmten Teil schweigt, schaut der Roboter auf den Bildschirm, liest den Text mit seinen Augen (OCR) und sagt: „Okay, ich sehe das Wort ‚Senden‘ genau hier.“ Es ist ein guter Ersatz, aber nicht so präzise wie die internen Daten.
- Die unterste Sprosse (Visueller Fallback): Wenn der Computer völlig undurchsichtig ist (wie ein Videospiel oder eine benutzerdefinierte Grafik), fällt TACTILE auf das bloße Betrachten des Bildes und das Raten von Koordinaten zurück, genau wie die alten Roboter es taten.
Das Magische ist, dass TACTILE sich nicht nur für eines entscheidet, sondern sie kombiniert. Es bevorzugt das interne „Flüstern“ des Computers, weiß aber, wann es zum „Schauen“ wechseln muss, wenn der Computer eigensinnig ist. Es führt auch ein detailliertes Tagebuch über jeden Schritt, sodass wir zurückblicken können, falls etwas schiefgeht, um genau zu sehen, was der Roboter gesehen, was er geraten und wo er steckengeblieben ist.
Was sie herausgefunden haben
Die Forscher testeten TACTILE bei einem Satz von 96 verschiedenen Computeraufgaben, die von einfachen Klicks bis hin zu komplexen Arbeitsabläufen reichten, unter Verwendung von vier verschiedenen Arten von KI-Agenten (Codex, Claude Code, OpenCode und Goose). Die Ergebnisse waren vielversprechend, aber kein Allheilmittel.
Als sie TACTILE hinzufügten, wurden die Roboter deutlich besser darin, ihre Aufgaben abzuschließen. Für den Codex-Agenten stieg die Erfolgsquote insgesamt von 41,1 % auf 50,0 %. Die Verbesserung war sogar noch größer bei Aufgaben, bei denen der Computer freundlich war und seine internen Geheimnisse teilte (barrierefrei angepasste Aufgaben), wo die Erfolgsquote von 45,2 % auf 55,3 % stieg. Selbst bei den schwierigeren Aufgaben, bei denen der Computer seine Geheimnisse verbarg, verbesserten sich die Roboter und stiegen von 27,8 % auf 33,3 %.
Die Studie legt nahe, dass die Gabe von Zugang zu dieser strukturierten, „hands-on“-Ebene die Roboter wesentlich zuverlässiger macht. Sie beweist, dass wir nicht nur intelligentere Gehirne (bessere KI-Modelle) brauchen, sondern auch bessere Körper (Ausführungswerkzeuge), die es diesen Gehirnen ermöglichen, mit der Welt auf eine bedeutungsvolle Weise zu interagieren.
Was TACTILE NICHT ist
Es ist wichtig zu beachten, was TACTILE nicht tut. Es ersetzt nicht die Notwendigkeit für Roboter, Bildschirme anzusehen; manchmal sind die internen Daten des Computers fehlerhaft, fehlen oder sind einfach falsch. In solchen Fällen weiß TACTILE, dass es auf visuelle Hinweise zurückgreifen muss. Es ist auch keine „gelernte“ Policy, die dem Roboter beibringt, wie er zu denken hat; es ist eine Werkzeugschicht, die es den bestehenden Gedanken des Roboters ermöglicht, leichter in Handlungen umgesetzt zu werden. Die Forscher betonen vorsichtig, dass diese Ergebnisse vorläufig sind und darauf hindeuten, dass zwar ein großer Schritt nach vorne gemacht wurde, aber noch viel Arbeit geleistet werden muss, um diese Agenten perfekt zu machen.
Warum es wichtig ist
Das Paper endet mit einer spielerischen, aber tiefgründigen Idee: „Agent-ready software sollte human-accessible software sein.“ Wenn wir Computer bauen, die für Roboter leicht zu bedienen sind, bauen wir gleichzeitig Computer, die für Menschen mit Behinderungen leichter zu bedienen sind. Indem TACTILE Barrierefreiheitsdaten als gemeinsame Infrastruktur behandelt, zeigt es, dass die Hilfe für Roboter und die Hilfe für Menschen dasselbe Ziel sein können. Es verwandelt den Computerbildschirm von einem flachen, verwirrenden Bild in eine Welt voller Objekte, die berührt, verstanden und verifiziert werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.