Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention
यह शोधपत्र गैज़ेट (Gazette) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो मानव दृष्टि स्कैनपाथ (gaze scanpaths) को लक्ष्यों के मुक्त-रूप प्राकृतिक भाषा विवरणों में डिकोड करने के लिए मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स और सिंथेटिक "थिंक-अलाउड" ट्रांसक्रिप्ट्स का लाभ उठाता है, जो मानवीय इरादों की मुक्त-अंत वाली बारीकियों को पकड़ने के लिए पारंपरिक श्रेणीबद्ध डिकोडिंग से आगे बढ़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपकी आँखें एक अंधेरे कमरे में टॉर्च की रोशनी की तरह हैं। जब आप किसी चीज़ को देखते हैं, तो वह रोशनी स्थिर नहीं रहती; यह इधर-उधर तेजी से घूमती है, और एक सेकंड के बहुत छोटे हिस्से के लिए अलग-अलग जगहों पर ठहरती है। इस गति के पैटर्न को "स्कैनपाथ" (scanpath) कहा जाता है। लंबे समय तक, वैज्ञानिकों ने यह समझने की कोशिश की है कि केवल यह देखकर कि आपकी टॉर्च की रोशनी कहाँ पड़ती है, आप क्या सोच रहे हैं। आमतौर पर, उन्होंने इसे एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह माना है। वे पूछते थे, "क्या व्यक्ति बिल्ली को खोज रहा है या कुत्ते को?" और कंप्यूटर एक निश्चित सूची में से एक उत्तर चुन लेता था। लेकिन मानवीय विचार अव्यवस्थित और रचनात्मक होते हैं। कभी-कभी आप सिर्फ एक "कुत्ते" को नहीं खोज रहे होते; आप "लाल बैंडना पहने हुए उस बिखरे बालों वाले सुनहरे रिट्रीवर को" खोज रहे होते हैं जो सोफे के पीछे छिपा हुआ है। सवाल पूछने का पुराना तरीका उस तरह के विवरण को पकड़ने के लिए बहुत सरल था। यहीं पर "गेज़ डिकोडिंग" (gaze decoding) नामक एक नया क्षेत्र आता है, जो हमारे दिमाग के भीतर चल रही समृद्ध, खुले और विस्तृत विचारों को उन आंखों की गतिविधियों में अनुवाद करने की कोशिश कर रहा है।
यहाँ एक नया शोध पत्र है जो इस पहेली को सुलझाने का एक चतुर नया तरीका पेश करता है। स्टोनबी ब्रुक यूनिवर्सिटी और एडिलेड यूनिवर्सिटी में काम करने वाले लेखकों ने गैजेट (Gazette) नामक एक प्रणाली बनाई है। गैजेट को किसी बहुविकल्पीय सूची में से चुनने के लिए मजबूर करने के बजाय, इसे इस तरह डिज़ाइन किया गया है कि यह एक स्वतंत्र कहानी लिख सके कि व्यक्ति क्या खोज रहा है, ठीक वैसे ही जैसे एक इंसान स्वाभाविक भाषा का उपयोग करता है। इसे एक कठोर चेकलिस्ट से अपग्रेड करके एक रचनात्मक लेखक बनाने के रूप में सोचें जो बिल्कुल सटीक वर्णन कर सके कि आप क्या देख रहे हैं।
शोधकर्ताओं के सामने बड़ी समस्या यह थी कि हर किसी की आँखें थोड़ी अलग तरह से चलती हैं, भले ही वे एक ही चीज़ को देख रहे हों। यदि दस लोगों को एक "लाल कार" खोजने के लिए कहा जाए, तो दस अलग-अलग लोग कार को दस थोड़े अलग तरीकों से देख सकते हैं। कोई पहले पहियों को देख सकता है, तो कोई खिड़कियों को। यदि आप कंप्यूटर को केवल एक व्यक्ति की आंखों की गति दिखाते हैं, तो वह भ्रमित हो जाता है। यह एक गाने का अनुमान लगाने के लिए एक व्यक्ति द्वारा बेसुरा गुनगुनाने को सुनने जैसा है; आप धुन तो सुन सकते हैं, लेकिन शोर के कारण निश्चित होना कठिन हो जाता है।
इसे ठीक करने के लिए, टीम ने "थिंक-अलाउड" (think-aloud) रणनीति का उपयोग करते हुए एक स्मार्ट तरकीब निकाली। उन्होंने महसूस किया कि हालांकि हर किसी की आंखों की गति अद्वितीय है, लेकिन उनके हिलने का कारण समान है। इसलिए, उन्होंने एक शक्तिशाली एआई (GPT-4) का उपयोग किया ताकि वह कई अलग-अलग लोगों की आंखों की गतिविधियों को देख सके जो एक ही वस्तु को खोजने की कोशिश कर रहे थे। एआई एक जासूस की तरह काम करता था, व्यक्तिगत विविधताओं को अनदेखा करता था और सामान्य पैटर्न—उस "गुप्त रेसिपी" को खोजता था कि मनुष्य उस विशिष्ट चीज़ को कैसे देखता है। एआई ने एक "थिंक-अलाउड ट्रांसक्रिप्ट" लिखा, जो वास्तव में रणनीति को समझाने वाली एक कहानी है: "पहले, बड़े आकार देखें, फिर लाल हिस्सों पर ज़ूम करें।"
उन्होंने अपने नए मॉडल, गैजेट को इन एआई-जनित कहानियों को आंखों की गति के साथ पढ़ना सिखाया। इसने मॉडल को आंखों की गति के पीछे के "लक्ष्य" (जो व्यक्ति खोज रहा है) को "शोर" (व्यक्ति के देखने का अनूठा तरीका) से अलग करने में मदद की। जब उन्होंने इसका परीक्षण किया, तो गैजेट पिछले तरीकों की तुलना में लक्ष्य का अनुमान लगाने में बहुत बेहतर था। उदाहरण के लिए, चित्र में एक विशिष्ट कार को खोजने के लिए पूछे जाने पर, गैजेट केवल "कार" नहीं कहता। यह कह सकता था, "ऊपरी दाएं कोने में काली कार," और इसने कठिन कार्यों के बावजूद उच्च सटीकता के साथ ऐसा किया।
यह शोध पत्र दिखाता है कि आंखों की गति के बजाय उसके पीछे की रणनीति को समझने के माध्यम से सिखाकर, हम मानवीय इरादों को बहुत अधिक विस्तार से डिकोड कर सकते हैं। हालाँकि यह प्रणाली तब सबसे अच्छा काम करती है जब लोग एक ही चीज़ (जैसे किसी विशिष्ट वस्तु को खोजने) को खोजने पर सहमत होते हैं, यह सुझाव देती है कि हम एक ऐसे भविष्य के करीब पहुँच रहे हैं जहाँ कंप्यूटर केवल यह देखकर कि हम कहाँ देख रहे हैं, हमारे लक्ष्यों को समझ सकते हैं, जो बेहतर सहायक तकनीकों और दुनिया के साथ हमारे संवाद की गहरी समझ के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।