Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
यह शोध पत्र एक टोकन-कुशल विज़ुअल प्रॉम्प्टिंग रणनीति का प्रस्ताव और मूल्यांकन करता है जो उच्च-आवृत्ति वाले आई-ट्रैकिंग सेंसर डेटा को विज़ुअलाइज़ेशन छवियों (जैसे कि टाइमलाइन्स, हीटमैप्स और स्कैनपाथ्स) में परिवर्तित करता है ताकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को IoT अनुप्रयोगों में मानव गतिविधि पहचान को प्रभावी ढंग से करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल, या MLLM) है जो बात कर सकता है, पढ़ सकता है और दुनिया को समझ सकता है। आप इस रोबोट को यह सिखाना चाहते हैं कि केवल आंखों की गतिविधियों को देखकर कोई व्यक्ति क्या कर रहा है—जैसे कि कोई किताब पढ़ रहा है, गेम खेल रहा है, या वेब ब्राउज़ कर रहा है।
समस्या क्या है? आई-ट्रैकिंग डेटा एक नंबरों के फव्वारे की तरह है। यह रिकॉर्ड करता है कि एक व्यक्ति कहाँ देख रहा है, हर सेकंड सैकड़ों बार। यदि आप इस कच्चे डेटा को रोबोट को नंबरों की एक विशाल सूची के रूप में खिलाने की कोशिश करते हैं (जैसे कि "x=10, y=20, x=11, y=21..."), तो दो बुरी चीजें होती हैं:
- यह अभिभूत हो जाता है: रोबोट को कुछ सेकंड की गतिविधि को समझने के लिए नंबरों की एक विशाल किताब पढ़नी पड़ती है। यह "बिल्ली" शब्द खोजने के लिए डिक्शनरी पढ़ने जैसा है।
- यह भ्रमित हो जाता है: रोबोट महत्वपूर्ण पैटर्न को मिस कर सकता है क्योंकि डेटा के बीच में बहुत अधिक शोर (noise) होता है।
समाधान: "बताओ मत, दिखाओ"
KAIST और Adobe के शोधकर्ताओं ने रोबोट को नंबरों की सूची खिलाना बंद करने का निर्णय लिया और इसके बजाय उसे तस्वीरें दिखाना शुरू किया। उन्होंने आई-ट्रैकिंग डेटा को विज़ुअलाइज़ेशन में बदल दिया, ठीक वैसे ही जैसे एक मौसम मानचित्र तापमान के नंबरों को एक रंगीन छवि में बदल देता है।
उन्होंने इन "आई मैप्स" (आंखों के मानचित्र) को बनाने के तीन अलग-अलग तरीके आजमाए:
- टाइमलाइन (द मूवी स्क्रिप्ट): एक ग्राफ जो दिखाता है कि समय के साथ आंखें ऊपर-नीचे कैसे घूमीं। यह आंखों के लिए हार्टबीट मॉनिटर की तरह है।
- हीटमैप (द क्राउड मैप): एक रंगीन धब्बा जो दिखाता है कि आंखों ने कहाँ सबसे अधिक समय बिताया। चमकीले लाल धब्बे का मतलब है "यहाँ बहुत देखा गया," जबकि नीला धब्बा मतलब है "अनदेखा किया गया।"
- स्कैनपाथ (द ट्रेजर हंट): एक रेखा जो बिंदुओं को जोड़ती है जहाँ आंखें कूदी थीं, जो यह दिखाती है कि आंखों ने वास्तव में कौन सा रास्ता लिया।
प्रयोग: एक टेस्ट टेस्ट
शोधकर्ताओं ने इन तस्वीरों को रोबोट को कुछ उदाहरणों के साथ खिलाया (जैसे कि किसी को पढ़ते हुए दिखाकर यह कहना, "यह पढ़ना है")। उन्होंने रोबोट से नई तस्वीरों में यह अनुमान लगाने को कहा कि व्यक्ति क्या कर रहा है।
उन्होंने इसका परीक्षण विभिन्न कार्यों को करने वाले लोगों के तीन अलग-अलग समूहों पर किया, साधारण आई-एक्सरसाइज से लेकर जटिल कंप्यूटर वर्क तक।
उन्होंने क्या खोजा
1. तस्वीरें सस्ती और तेज़ हैं
रोबोट को एक तस्वीर खिलाना एक बड़ी जीत थी।
- लागत: 10 सेकंड के आई डेटा के लिए नंबरों की सूची भेजना एक 20 पन्नों के दस्तावेज़ को भेजने जैसा था। तस्वीर भेजना एक एकल पोस्टकार्ड भेजने जैसा था। तस्वीर को समझने के लिए रोबोट को 2 से 20 गुना कम "टोकन" (AI प्रोसेसिंग की मुद्रा) की आवश्यकता थी।
- परिणाम: जब रोबोट ने नंबरों को पढ़ने के बजाय तस्वीर देखी, तो वह अक्सर गतिविधि का अनुमान लगाने में बेहतर था।
2. एक ही आकार सबके लिए सही नहीं होता
ठीक वैसे ही जैसे आप अपने घर में रास्ता खोजने के लिए पूरी दुनिया के नक्शे का उपयोग नहीं करेंगे, शोधकर्ताओं ने पाया कि अलग-अलग गतिविधियों के लिए अलग-अलग चित्र काम करते हैं:
- हीटमैप्स उन गतिविधियों के लिए बेहतरीन थे जहाँ कहाँ देखना सबसे अधिक मायने रखता है (जैसे कि एक गेम खेलना जहाँ आप स्क्रीन को स्कैन करते हैं)।
- स्कैनपाथ उन गतिविधियों के लिए बेहतर थे जहाँ देखने का क्रम मायने रखता है (जैसे कि बाएं से दाएं एक वाक्य पढ़ना)।
- टाइमलाइन्स यह देखने के लिए अच्छे थे कि आंखें कितनी तेजी से चल रही थीं।
3. समय मायने रखता है
यदि आप रोबोट को 10 सेकंड की आई मूवमेंट की तस्वीर दिखाते हैं, तो यदि गतिविधि जटिल है (जैसे कोडिंग), तो वह भ्रमित हो सकता है। लेकिन यदि आप उसे 60 या 100 सेकंड की तस्वीर देते हैं, तो पैटर्न स्पष्ट हो जाता है। रोबोट को यह समझने के लिए कि व्यक्ति क्या कर रहा है, एक लंबी "मूवी" की आवश्यकता होती है।
बड़ी तस्वीर
यह अध्ययन एक नए भाषा के आविष्कार जैसा है जिससे रोबोट सेंसर से बात कर सकते हैं। कच्चे नंबरों पर जटिल गणित करने के लिए रोबोट को मजबूर करने के बजाय, हम उसे एक विजुअल सारांश देते हैं जिसे वह तुरंत "समझ" सकता है।
यह इंटरनेट ऑफ थिंग्स (IoT) के लिए गेम-चेंजर है। कल्पना कीजिए कि आपके स्मार्ट चश्मे या स्मार्ट होम सिस्टम इस पद्धति का उपयोग यह जानने के लिए कर रहे हैं कि आप तनाव में हैं, केंद्रित हैं, या विचलित हैं, बिना हर नए कार्य के लिए फिर से प्रशिक्षित हुए। यह AI को केवल डेटा पढ़ने के बजाय उसे देखने देने के माध्यम से इसे स्मार्ट, तेज़ और अधिक कुशल बनाने का एक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।