← नवीनतम पेपर
💬 NLP

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw एक स्व-विकसित (self-evolving), रियल-टाइम मल्टीमॉडल एजेंट है जो हाइब्रिड एनकोडिंग का उपयोग करके API लागत और विलंबता (latency) को नाटकीय रूप से कम करता है और सटीकता में सुधार करने के लिए विफलताओं से निरंतर सीखता है, जिसे मानक वीडियो-QA बेंचमार्क और VisualClawArena नामक एक नए एजेंटिक वर्कस्पेस बेंचमार्क के माध्यम से मान्य किया गया है।

मूल लेखक: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao
प्रकाशित 2026-06-16
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट सहायक (एक AI) है जो आपके लिए समस्याओं को हल करने के लिए वीडियो देख सकता है, दस्तावेज़ पढ़ सकता है और कंप्यूटर टूल्स का उपयोग कर सकता है। यह शोध पत्र इस सहायक का एक नया संस्करण पेश करता है जिसे VisualClaw कहा जाता है।

मुख्य समस्या जिसे लेखक हल कर रहे हैं वह यह है कि वर्तमान AI सहायक उत्साही पर्यटकों की तरह हैं: वे वीडियो के हर एक सेकंड को देखने की कोशिश करते हैं, मैनुअल के हर एक शब्द को पढ़ने की कोशिश करते हैं, और हर छोटी बारीकी के लिए "दिमाग" (AI मॉडल) से मदद मांगते हैं। यह अविश्वसनीय रूप से महंगा, धीमा है और अक्सर AI को भ्रमित कर देता है क्योंकि जानकारी बहुत अधिक होती है।

VisualClaw इसे एक समझदार, अनुभवी गाइड की तरह काम करके ठीक करता है जो जानता है कि वास्तव में किस चीज़ पर ध्यान देना है और समय के साथ कैसे स्मार्ट बनना है। यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. "स्मार्ट फ़िल्टर" (पैसे और समय की बचत)

कल्पना कीजिए कि आप एक जंगल में चलते हुए किसी व्यक्ति का 30 मिनट का वीडियो देख रहे हैं।

  • पुराना तरीका: AI वीडियो के हर सिंगल फ्रेम (हर सेकंड की इमेज) का विश्लेषण करने की कोशिश करता है। यह एक इंसान से हर पेड़ की हर एक पत्ती का वर्णन करने के लिए कहने जैसा है, भले ही कैमरा हिल न रहा हो। इसमें कंप्यूटिंग पावर का बहुत खर्च होता है।
  • VisualClak का तरीका: VisualClaw के पास आपके डिवाइस (जैसे आपके चश्मे या फोन) पर एक "स्मार्ट फ़िल्टर" चलता है, इससे पहले कि वीडियो क्लाउड तक पहुँचे। यह एक संग्रहालय के सुरक्षा गार्ड की तरह काम करता है।
    • यदि कैमरा थोड़ा सा हिल रहा है या दृश्य उबाऊ (स्थिर) है, तो गार्ड कहता है, "इसे छोड़ दो, यहाँ कुछ नया नहीं है।"
    • यदि कैमरा मुड़ता है या कुछ महत्वपूर्ण होता है, तो गार्ड कहता है, "रुको! यह एक महत्वपूर्ण क्षण है। इस फ्रेम को बॉस के पास भेजो।"
    • परिणाम: 30 मिनट के वीडियो के लिए 1,800 फ्रेम भेजने के बजाय, यह शायद केवल 5 या 6 फ्रेम भेजेगा। यह लागत को 98% कम कर देता है और सिस्टम को AI चश्मे जैसे वास्तविक-समय के उपकरणों के लिए पर्याप्त तेज़ बनाता है।

2. "जीवित हैंडबुक" (बिना रीवायरिंग के स्मार्ट बनना)

अधिकांश AI मॉडल जमी हुई मूर्तियों की तरह होते हैं: एक बार बनने के बाद, वे पूरी तरह से पुनर्गठित हुए बिना अपनी गलतियों से नहीं सीख सकते (जो कठिन और महंगा है)।

  • पुराना तरीका: यदि कोई AI किसी कार्य में विफल रहता है, तो वह बस विफल हो जाता है। अगली बार, वह वही चीज़ करने की कोशिश करता है और फिर से विफल हो जाता है।
  • VisualClaw का तरीका: VisualClaw एक जीवित हैंडबुक ("स्किल बैंक") रखता है।
    • जब AI कोई गलती करता है, तो एक अलग "कोच" (एक ऑफलाइन इवॉल्वर) देखता है कि क्या गलत हुआ।
    • कोच हैंडबुक में एक नया नियम या टिप लिखता है (जैसे, "रस्सी पकड़ते समय, हमेशा स्थिरता की जांच करें")।
    • अगली बार, AI जवाब देने से पहले इस हैंडबुक की जांच करता है। उसे अपने दिमाग को बदलने की आवश्यकता नहीं है; वह बस एक बेहतर निर्देश पुस्तिका पढ़ता है।
    • "हॉट/कोल्ड" ट्रिक: हैंडबुक को बहुत भारी होने से बचाने के लिए, VisualClaw केवल AI को अभी के सबसे प्रासंगिक टॉप 5 टिप्स (Hot) दिखाता है, जबकि बाकी सब कुछ (जरूरत पड़ने पर) एक शेल्फ पर सुरक्षित रखता है (Cold)। यह AI को तेज़ और केंद्रित रखता है।

3. "प्रैक्टिस एरिना" (वास्तविक दुनिया में परीक्षण)

लेखकों ने महसूस किया कि इन AI के लिए मानक परीक्षण बहुविकल्पीय प्रश्नों (multiple-choice quizzes) की तरह हैं जहाँ आप बस एक उत्तर चुनते हैं। लेकिन वास्तविक दुनिया में, एक AI को वास्तव में चीजें करनी होंगी: फाइलें खोलना, दस्तावेज़ संपादित करना और यह जांचना कि उसका काम सही है या नहीं।

  • इसे ठीक करने के लिए, उन्होंने एक नया परीक्षण बनाया जिसे VisualClawArena कहा जाता है।
  • इसे एक वीडियो गेम लेवल की तरह समझें जहाँ AI को:
    1. एक वीडियो क्लिप देखनी होती है।
    2. एक चैट लॉग या दस्तावेज़ पढ़ना होता है।
    3. कंप्यूटर पर एक फाइल खोलनी होती है।
    4. एक गलती को सुधारना या एक रिपोर्ट लिखना होता है।
    5. यह साबित करने के लिए एक "चेक" पास करना होता है कि उसने काम सही ढंग से किया है।
  • यह परीक्षण करता है कि क्या AI वास्तव में वास्तविक समस्याओं को हल करने के लिए वीडियो साक्ष्य का उपयोग कर सकता है, न कि केवल सही उत्तर का अनुमान लगा सकता है।

परिणाम: क्या हुआ?

जब उन्होंने VisualClaw का परीक्षण किया:

  • यह स्मार्ट बना: अधिकांश परीक्षणों में, AI अपनी पिछली विफलताओं से सीखकर अधिक सटीक हो गया (Living Handbook का उपयोग करके)।
  • यह सस्ता हुआ: क्योंकि "स्मार्ट फ़िल्टर" ने इसे बेकार वीडियो फ्रेम भेजने से रोका, लंबे वीडियो के लिए AI चलाने की लागत लगभग 99% गिर गई।
  • यह वास्तविक दुनिया में काम करता है: उनके नए "एरिना" परीक्षण पर, वह AI जो सीख सकता है और विकसित हो सकता है (VisualClaw), मानक AI से काफी आगे निकल गया, जिससे यह सिद्ध हुआ कि यह तरीका जटिल, बहु-चरणीय कार्यों के लिए सहायक है।

संक्षेप में: VisualClocal एक ऐसा AI सहायक है जो सब कुछ घूरता नहीं है (पैसे बचाता है), अपनी गलतियों से सीखी गई सीखों की एक नोटबुक रखता है (स्मार्ट बनता है), और यह साबित करने के लिए कि वह वास्तविक दुनिया के काम संभाल सकता है, एक यथार्थवादी सिमुलेशन में अभ्यास करता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →