Tactile: Giving Computer-Using Agents Hands and Feet
Tactile is een open-source tool-laag die computergebruikende agenten verbetert door heterogene UI-bewijslast om te zetten in semantische, verifieerbare actie-objecten, waardoor breekbare coördinaatgebaseerde interacties worden vervangen door een betrouwbare observe-ground-act-verify-lus die de taalsuccesratio's over meerdere modellen aanzienlijk verhoogt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot leert hoe hij een computer moet gebruiken. Op dit moment zijn de meeste van deze robots als een persoon die een auto probeert te besturen terwijl hij een dikke, beslagen bril en een blinddoek draagt. Ze kunnen het scherm alleen zien als een plat plaatje (een screenshot). Om op een knop te klikken, moeten ze de exacte X- en Y-coördinaten raden, zoals roepen: "Klik op 450, 200!" en hopen dat ze de juiste plek raken. Als de knop beweegt of het scherm een klein beetje verandert, raakt de robot in de war en crasht hij. Dit is de huidige staat van "computer-gebruikende agenten": ze zijn slim, maar hun handen zijn onhandig omdat ze in het donker werken, vertroukkend op wat ze kunnen zien in een foto.
Maar wat als de computer zijn geheimen rechtstreeks aan de robot zou kunnen fluisteren? Moderne besturingssystemen hebben al een verborgen laag informatie die bedoeld is voor mensen die hulp nodig hebben, zoals schermlezers voor blinden. Deze laag vertelt je precies wat een knop is, wat hij doet en of hij klaar is om ingedrukt te worden. De grote vraag die wetenschappers stellen is: Kunnen we onze robot-agenten een directe lijn geven naar deze geheime laag, zodat ze niet hoeven te gokken? Als we dat kunnen, kan dit betekenen dat robots niet alleen naar schermen "kijken", maar ze ook echt "begrijpen", waardoor ze veel beter worden in het uitvoeren van echt werk, zoals het plannen van vergaderingen of het organiseren van bestanden.
Handen en voeten geven aan robots: Het TACTILE-project
Maak kennis met TACTILE, een nieuwe open-source tool die fungeert als een vertaler en een set superhanden voor computer-gebruikende agenten. De onderzoekers achter TACTILE merkten op dat hoewel robots slimmer worden, hun vermogen om daadwerkelijk dingen op een computer te doen nog steeds wat wankel is. Ze behandelen een computerscherm vaak als een schilderij: ze kijken ernaar, raden waar ze moeten prikken, en hopen op het beste. TACTILE verandert het spel door de robot een directe verbinding te geven met het interne "toegankelijkheidssysteem" van de computer — hetzelfde systeem dat mensen met een beperking helpt om door schermen te navigeren.
Denk aan de oude manier van doen als proberen een specifiek boek in een bibliotheek te vinden door naar een wazige foto van de planken te kijken. Je raadt misschien dat het boek op de derde plank staat, tweede van links, maar als iemand het een centimeter heeft verschoven, is je gok fout. TACTILE is als het geven van een magische lijst aan de robot die zegt: "Het boek dat je zoekt is 'Geschiedenis van de Ruimte', het staat momenteel op Plank 3, het is een hardcover, en je kunt het eruit trekken." Het verandert de rommelige, visuele chaos van een scherm in een schone, georganiseerde lijst van zaken die de robot daadwerkelijk kan aanraken en gebruiken.
Hoe TACTILE werkt: De "Ladder" van aanwijzingen
Het artikel introduceert een slimme strategie genaamd een "operationele ladder". In plaats van de robot te dwingen te kiezen tussen "zien" (naar het scherm kijken) en "lezen" (de interne data van de computer gebruiken), laat TACTILE de robot een ladder van aanwijzingen beklimmen om het beste antwoord te vinden:
- De bovenste sport (Toegankelijkheid): Als de computer zegt: "Ik heb hier een knop met de naam 'Verzenden' die klaar is om ingedrukt te worden," grijpt TACTILE die informatie onmiddellijk. Dit is de sterkste, meest betrouwbare aanwijzing.
- De middelste sport (OCR): Als de computer zwijgt over een specifiek onderdeel, kijkt TACTILE naar het scherm, leest de tekst met zijn ogen (OCR) en zegt: "Oké, ik zie het woord 'Verzenden' hier precies." Het is een goede back-up, maar niet zo precies als de interne data.
- De onderste sport (Visuele fallback): Als de computer totaal ondoorzichtig is (zoals een videogame of een aangepaste tekening), valt TACTILE terug op alleen naar het plaatje kijken en coördinaten raden, net zoals de oude robots deden.
De magie is dat TACTILE niet zomaar één methode kiest; het combineert ze. Het geeft de voorkeur aan het interne "fluisteren" van de computer, maar weet wanneer het moet overschakelen naar "kijken" als de computer koppig is. Het houdt ook een gedetailleerd dagboek bij van elke stap, zodat als er iets misgaat, we terug kunnen kijken om precies te zien wat de robot zag, wat hij raadde en waar hij vastliep.
Wat ze hebben gevonden
De onderzoekers testten TACTILE op een set van 96 verschillende computer-taken, variërend van eenvoudige klikken tot complexe workflows, met behulp van vier verschillende soorten AI-agenten (Codex, Claude Code, OpenCode en Goose). De resultaten waren veelbelovend, maar geen wondermiddel.
Wanneer ze TACTILE toevoegden, werden de robots aanzienlijk beter in het voltooien van hun taken. Voor de Codex-agent steeg het succespercentage met 41,1% naar 50,0% in totaal. De verbetering was zelfs groter bij taken waarbij de computer vriendelijk was en zijn interne geheimen deelde (toegankelijkheids-geadapteerde taken), waar het succes steeg van 45,2% naar 55,3%. Zelfs bij de moeilijkere taken waarbij de computer zijn geheimen verborg, verbeterden de robots nog steeds, van 27,8% naar 33,3%.
De studie suggereert dat het geven van toegang tot deze gestructureerde, "hands-on" laag de robots veel betrouwbaarder maakt. Het bewijst dat we niet alleen intelligentere breinen (betere AI-modellen) nodig hebben, maar ook betere lichamen (executie-tools) die die breinen in staat stellen om op een betekenisvolle manier met de wereld te interageren.
Wat TACTILE NIET is
Het is belangrijk om op te merken wat TACTILE niet doet. Het vervangt niet de noodzaak voor robots om naar schermen te kijken; soms is de interne data van de computer kapot, ontbrekend of gewoon simpelweg fout. In die gevallen weet TACTILE terug te vallen op visuele aanwijzingen. Het is ook geen "geleerd" beleid dat de robot leert hoe hij moet denken; het is een tool-laag die de bestaande gedachten van de robot makkelijker uitvoerbaar maakt. De onderzoekers benadrukken dat deze resultaten voorlopig zijn en suggereren dat hoewel dit een grote stap voorwaarts is, er nog veel werk te doen is om deze agenten perfect te maken.
Waarom het ertoe doet
Het artikel eindigt met een speelse maar diepzinnige gedachte: "Agent-ready software is menselijk toegankelijke software." Als we computers bouwen die gemakkelijk te gebruiken zijn voor robots, bouwen we ook computers die gemakkelijker te gebruiken zijn voor mensen met een beperking. Door toegankelijkheidsdata te behandelen als een gedeelde infrastructuur, laat TACTILE zien dat het helpen van robots en het helpen van mensen hetzelfde doel kan zijn. Het verandert het computerscherm van een plat, verwarrend plaatje in een wereld vol objecten die kunnen worden aangeraakt, begrepen en geverifieerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.