Tactile: Giving Computer-Using Agents Hands and Feet
Tactile एक ओपन-सोर्स टूल लेयर है जो विषम (heterogeneous) UI साक्ष्यों को सिमेंटिक, सत्यापन योग्य एक्शन ऑब्जेक्ट्स में परिवर्तित करके कंप्यूटर-उपयोग करने वाले एजेंटों को बेहतर बनाता है, जिससे भंगुर (brittle) कोऑर्डिनेट-आधारित इंटरैक्शन के स्थान पर एक विश्वसनीय ऑब्जर्व-ग्राउंड-एक्ट-वेरिफाई लूप स्थापित होता है जो कई मॉडलों में कार्य सफलता दर को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कंप्यूटर का उपयोग करना सिखा रहे हैं। अभी, अधिकांश रोबोट ऐसे हैं जैसे कोई व्यक्ति मोटे, धुंधले चश्मे और आंखों पर पट्टी बांधकर कार चलाने की कोशिश कर रहा हो। वे स्क्रीन को केवल एक सपाट चित्र (स्क्रीनशॉट) के रूप में देख सकते हैं। एक बटन क्लिक करने के लिए, उन्हें सटीक X और Y निर्देशांकों का अनुमान लगाना पड़ता है, जैसे कि चिल्लाना "450, 200 पर क्लिक करो!" और उम्मीद करना कि वे सही जगह पर पहुँच जाएँगे। यदि बटन हिल जाता है या स्क्रीन थोड़ी बदल जाती है, तो रोबोट भ्रमित हो जाता है और क्रैश हो जाता है। यह "कंप्यूटर-उपयोग एजेंटों" की वर्तमान स्थिति है: वे स्मार्ट हैं, लेकिन उनके हाथ अनाड़ी हैं क्योंकि वे अंधेरे में काम कर रहे हैं, केवल एक फोटो के आधार पर अनुमान लगा रहे हैं।
लेकिन क्या होगा अगर कंप्यूटर अपने रहस्य सीधे रोबोट को फुसफुसा सके? आधुनिक ऑपरेटिंग सिस्टम में पहले से ही सूचना की एक छिपी हुई परत होती है जो उन लोगों के लिए डिज़ाइन की गई है जिन्हें मदद की आवश्यकता होती है, जैसे कि दृष्टिबाधित लोगों के लिए स्क्रीन रीडर। यह परत आपको बताती है कि एक बटन क्या है, वह क्या करता है, और क्या वह दबाने के लिए तैयार है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम अपने रोबोट एजेंटों को इस गुप्त परत तक एक सीधी रेखा दे सकते हैं ताकि उन्हें अनुमान न लगाना पड़े? यदि हम ऐसा कर सकते हैं, तो इसका अर्थ है कि रोबोट केवल स्क्रीन को "देखेंगे" नहीं, बल्कि वास्तव में उन्हें "समझेंगे", जिससे वे मीटिंग शेड्यूल करने या फाइलें व्यवस्थित करने जैसे वास्तविक काम करने में बहुत बेहतर हो जाएंगे।
रोबोटों को हाथ और पैर देना: द टैक्टाइल (TACTILE) प्रोजेक्ट
मिलिए TACTILE से, एक नए ओपन-सोर्स टूल से जो एक अनुवादक और कंप्यूटर का उपयोग करने वाले एजेंटों के लिए सुपर-हाथों की तरह कार्य करता है। TACTILE के पीछे के शोधकर्ताओं ने देखा कि जबकि रोबोट स्मार्ट हो रहे हैं, कंप्यूटर पर वास्तव में कुछ करने की उनकी क्षमता अभी भी थोड़ी डगमगाती हुई है। वे अक्सर कंप्यूटर स्क्रीन के साथ एक पेंटिंग की तरह व्यवहार करते हैं: वे उसे देखते हैं, अनुमान लगाते हैं कि कहाँ प्रहार करना है, और सबसे अच्छा होने की उम्मीद करते हैं। TACTILE कंप्यूटर के आंतरिक "एक्सेसिबिलिटी" (पहुंच) सिस्टम से रोबोट का सीधा संबंध बनाकर खेल बदल देता है—वही सिस्टम जो विकलांग लोगों को स्क्रीन नेविगेट करने में मदद करता है।
पुराने तरीके को एक लाइब्रेरी में विशिष्ट पुस्तक खोजने की कोशिश करने जैसा समझें, जिसमें अलमारियों की एक धुंधली फोटो देखी जा रही हो। आप अनुमान लगा सकते हैं कि किताब बाईं ओर से दूसरी अलमारी में है, लेकिन यदि किसी ने इसे एक इंच भी खिसका दिया, तो आपका अनुमान गलत हो जाएगा। TACTILE रोबोट को एक जादुई सूची देने जैसा है जो कहती है, "'हिस्ट्री ऑफ स्पेस' वह पुस्तक है जिसे आप चाहते हैं, यह वर्तमान में शेल्फ 3 पर है, यह हार्डकवर है, और आप इसे बाहर निकाल सकते हैं।" यह स्क्रीन की अव्यवस्थित, दृश्य अराजकता को चीजों की एक साफ, व्यवस्थित सूची में बदल देता है जिन्हें रोबोट वास्तव में छू सकता है और उपयोग कर सकता है।
TACTILE कैसे काम करता है: सुरागों की "सीढ़ी"
पेपर एक चतुर रणनीति पेश करता है जिसे "ऑपरेटिंग लैडर" (संचालन सीढ़ी) कहा जाता है। रोबोट को "देखने" (स्क्रीन को देखने) और "पढ़ने" (कंप्यूटर के आंतरिक डेटा का उपयोग करने) के बीच चुनने के लिए मजबूर करने के बजाय, TACTILE रोबोट को सबसे अच्छा उत्तर खोजने के लिए सुरागों की एक सीढ़ी चढ़ने देता है:
- ऊपरी पायदान (एक्सेसिबिलिटी): यदि कंप्यूटर कहता है, "मेरे पास यहाँ एक बटन है जिसका नाम 'सेंड' है और यह दबाने के लिए तैयार है," तो TACTILE उस जानकारी को तुरंत पकड़ लेता है। यह सबसे मजबूत, सबसे विश्वसनीय सुराग है।
- मध्य पायदान (OCR): यदि कंप्यूटर किसी विशिष्ट भाग के बारे में चुप है, तो TACTILE स्क्रीन को देखता है, अपनी आँखों से टेक्स्ट पढ़ता है (OCR), और कहता है, "ठीक है, मैं यहाँ 'सेंड' शब्द देख रहा हूँ।" यह एक अच्छा बैकअप है, लेकिन आंतरिक डेटा जितना सटीक नहीं है।
- निचला पायदान (विजुअल फॉलबैक): यदि कंप्यूटर पूरी तरह से अपारदर्शी है (जैसे कि कोई वीडियो गेम या कस्टम ड्राइंग), तो TACTILE केवल चित्र को देखकर निर्देशांकों का अनुमान लगाने पर वापस आ जाता है, ठीक वैसे ही जैसे पुराने रोबोट करते थे।
जादू यह है कि TACTILE केवल एक को चुनता नहीं है; यह उन्हें जोड़ता है। यह कंप्यूटर के आंतरिक "फुसफुसाहट" को प्राथमिकता देता है लेकिन जानता है कि कब "देखने" पर स्विच करना है यदि कंप्यूटर अड़ियल हो रहा हो। यह हर कदम का एक विस्तृत विवरण भी रखता है, ताकि यदि कुछ गलत हो जाए, तो हम पीछे मुड़कर देख सकें कि रोबोट ने क्या देखा, उसने क्या अनुमान लगाया, और वह कहाँ फंस गया।
उन्होंने क्या पाया
शोधकर्ताओं ने चार अलग-अलग प्रकार के AI एजेंटों (Codex, Claude Code, OpenCode, और Goose) का उपयोग करके 96 विभिन्न कंप्यूटर कार्यों पर TACTILE का परीक्षण किया, जो सरल क्लिक से लेकर जटिल वर्कफ़्लो तक फैले हुए थे।
जब उन्होंने मिश्रण में TACTILE को जोड़ा, तो रोबोट अपने कार्यों को पूरा करने में काफी बेहतर हो गए। Codex एजेंट के लिए, समग्र सफलता दर 41.1% से बढ़कर 50.0% हो गई। सुधार उन कार्यों पर और भी बड़ा था जहाँ कंप्यूटर मिलनसार था और अपने आंतरिक रहस्य साझा कर रहा था (एक्सेसिबिलिटी-अनुकूलित कार्य), जहाँ सफलता 45.2% से बढ़कर 55.3% हो गई। कठिन कार्यों पर भी, जहाँ कंप्यूटर अपने रहस्य छिपाता था, रोबोटों में सुधार हुआ, जो 27.8% से बढ़कर 33.3% हो गया।
अध्ययन बताता है कि रोबोटों को इस संरचित, "हैंड्स-ऑन" परत तक पहुंच देना उन्हें बहुत अधिक विश्वसनीय बनाता है। यह साबित करता है कि हमें केवल स्मार्ट दिमागों (बेहतर AI मॉडल) की ही नहीं आवश्यकता है; हमें बेहतर शरीरों (एग्जीक्यूशन टूल्स) की भी आवश्यकता है जो उन दिमागों को दुनिया के साथ सार्थक रूप से बातचीत करने में मदद करें।
TACTILE क्या नहीं है
यह ध्यान रखना महत्वपूर्ण है कि TACTILE क्या नहीं करता है। यह रोबोटों को स्क्रीन देखने की आवश्यकता को प्रतिस्थापित नहीं करता है; कभी-कभी कंप्यूटर का आंतरिक डेटा टूटा हुआ, गायब या बस गलत होता है। उन मामलों में, TACTILE जानता है कि विजुअल सुरागों पर वापस जाना है। यह एक "सीखा हुआ" पॉलिसी भी नहीं है जो रोबोट को सोचना सिखाता है; यह एक टूल लेयर है जो रोबोट के मौजूदा विचारों को कार्य करने में आसान बनाती है। शोधकर्ता सावधानी से कहते हैं कि ये परिणाम प्रारंभिक हैं और सुझाव देते हैं कि हालांकि यह एक बड़ा कदम है, फिर भी इन एजेंटों को पूर्ण बनाने के लिए अभी बहुत काम किया जाना बाकी है।
यह क्यों मायने रखता है
पेपर एक चंचल लेकिन गहन विचार के साथ समाप्त होता है: "एजेंट-तैयार सॉफ्टवेयर वह होना चाहिए जो मानव-सुलभ (human-accessible) सॉफ्टवेयर हो।" यदि हम ऐसे कंप्यूटर बनाते हैं जो रोबोट के उपयोग के लिए आसान हैं, तो हम ऐसे कंप्यूटर भी बना रहे हैं जो विकलांग मनुष्यों के उपयोग के लिए आसान हैं। एक्सेसिबिलिटी डेटा को एक साझा बुनियादी ढांचे के रूप में मानकर, TACTILE दिखाता है कि रोबोटों की मदद करना और मनुष्यों की मदद करना एक ही लक्ष्य हो सकता है। यह कंप्यूटर स्क्रीन को एक सपाट, भ्रमित करने वाली तस्वीर से बदलकर वस्तुओं की एक ऐसी दुनिया में बदल देता है जिन्हें छुआ जा सकता है, समझा जा सकता है और सत्यापित किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।