Attention, not scale, drives human-AI alignment in multimodal language prediction
यह अध्ययन प्रदर्शित करता है कि मॉडल के पैमाने के बजाय सूचनात्मक दृश्य संकेतों (visual cues) पर चयनात्मक ध्यान देना ही वह प्राथमिक कारक है जो ट्रांसफार्मर-आधारित विजन-लैंग्वेज मॉडलों को मल्टीमॉडल संदर्भों के भीतर आगामी शब्दों की भविष्यवाणी करने में मानव व्यवहार के साथ संरेखित होने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
बड़ा सवाल: क्या AI और इंसान एक ही तरह से "देखते" हैं?
कल्पना कीजिए कि आप अपने एक दोस्त के साथ फिल्म देख रहे हैं। आप दोनों सुनते हैं कि एक पात्र कहता है, "आदमी खाएगा..." और वाक्य पूरा होने से पहले ही, आप दोनों स्वाभाविक रूप से मेज पर रखे एक केक की तस्वीर की ओर देखते हैं, न कि एक कार की तस्वीर की ओर। आप अगले शब्द का अनुमान लगाने के लिए विजुअल कॉन्टेक्स्ट (केक) का उपयोग कर रहे हैं।
इस अध्ययन ने पूछा: क्या आधुनिक AI मॉडल भी यही करते हैं? जब एक AI वीडियो देखता है और एक वाक्य सुनता है, तो क्या वह मानवीय व्यवहार की तरह ही अगले शब्द का अनुमान लगाने के लिए विजुअल सुरागों (visual clues) का उपयोग करता है? और यदि वह ऐसा करता है, तो क्या यह इसलिए है क्योंकि AI "स्मार्टर" (अधिक ब्रेन पावर/पैरामीटर्स वाला) है, या इसलिए क्योंकि उसके पास सही चीजों पर ध्यान केंद्रित करने का एक विशिष्ट तंत्र (mechanism) है?
प्रयोग: एक मूवी टेस्ट
शोधकर्ताओं ने एक विशाल ऑनलाइन गेम तैयार किया। उन्होंने 600 मानव प्रतिभागियों को दो प्रसिद्ध फिल्मों (The Prestige और The Usual Suspects) के 100 छोटे क्लिप्स (6 सेकंड लंबे) दिखाए।
- कार्य (Task): प्रत्येक क्लिप से पहले, उन्हें एक लक्ष्य शब्द दिखाया गया (जैसे, "departure")।
- प्रश्न: क्लिप देखने के बाद (वीडियो या साउंड के साथ या बिना), इंसानों को रेटिंग देनी थी: "इस वीडियो ने आपको उस शब्द का अनुमान लगाने में कितनी मदद की?"
- आई ट्रैकिंग (Eye Tracking): देखते समय, शोधकर्ताओं ने वेबकैम का उपयोग करके यह ट्रैक किया कि उनकी आँखें कहाँ घूम रही थीं।
उसी समय, उन्होंने पाँच अलग-अलग AI मॉडल्स को ठीक उसी टेस्ट से गुज़ारा। कुछ मॉडल्स ने केवल टेक्स्ट (सबटाइटल) देखा। अन्य ने टेक्स्ट साथ में वीडियो भी देखा।
तीन बड़ी खोजें
1. विजुअल कॉन्टेक्स्ट ही "सीक्रेट सॉस" है
निष्कर्ष: जब AI मॉडल्स को टेक्स्ट के साथ वीडियो देखने की अनुमति दी गई, तो वे मानवीय भविष्यवाणियों (predictions) से मेल खाने में बहुत बेहतर हो गए। जब उन्होंने केवल टेक्स्ट देखा, तो वे अक्सर भ्रमित थे या गलत अनुमान लगा रहे थे।
उपमा (Analogy): AI को बिना वीडियो के एक ऐसे व्यक्ति के रूप में सोचें जो आँखों पर पट्टी बाँधकर एक रहस्यमयी उपन्यास के अंत का अनुमान लगाने की कोशिश कर रहा है। उन्हें केवल शब्दों के आधार पर अनुमान लगाना होगा। लेकिन जब आप पट्टी हटा देते हैं (वीडियो जोड़ देते हैं), तो वे उन सुरागों को देख सकते हैं जिन्हें पात्र देख रहे हैं, और उनके अनुमान अचानक एक इंसान के अनुमान से मेल खाने लगते हैं।
आश्चर्य: AI का आकार ज्यादा मायने नहीं रखता था। एक छोटा, स्मार्ट मॉडल जो वीडियो देख सकता था, उस विशाल "विशालकाय" मॉडल से बेहतर प्रदर्शन करता था जो वीडियो नहीं देख सकता था। यह एक हाथ में आवर्धक लेंस (magnifying glass) लिए छोटे जासूस की तरह है जो बिना किसी उपकरण के एक विशाल व्यक्ति से बेहतर केस सुलझा लेता है।
2. "अटेंशन" (Attention) ही असली हीरो है
निष्कर्ष: अध्ययन ने इस बात की जांच की कि AI वीडियो को कैसे प्रोसेस करता है। उन्होंने उन मॉडल्स की तुलना की जो "अटेंशन" नामक तंत्र का उपयोग करते हैं (जो AI को एक इमेज के विशिष्ट हिस्सों पर ध्यान केंद्रित करने देता है) बनाम वे जो ऐसा नहीं करते।
- अटेंशन वाले मॉडल्स (जैसे ट्रांसफॉर्मर्स) इंसानों के साथ बहुत अच्छी तरह से मेल खाते हैं।
- बिना अटेंशन वाले मॉडल्स (जैसे पुराने ResNet मॉडल्स) अच्छी तरह से मेल नहीं खाते, भले ही वे आकार में समान हों।
उपमा: एक भीड़भाड़ वाले कमरे की कल्पना करें जहाँ हर कोई बात कर रहा है।
- बिना अटेंशन के: AI एक ऐसे व्यक्ति की तरह है जो एक साथ सभी को सुनने की कोशिश कर रहा है, जिससे वह शोर से अभिभूत हो जाता है। वह महत्वपूर्ण आवाज़ को पहचान नहीं पाता।
- अटेंशन के साथ: AI एक ऐसे व्यक्ति की तरह है जो बैकग्राउंड के शोर को नज़रअंदाज़ करते हुए केवल एक व्यक्ति पर ध्यान केंद्रित कर सकता है। प्रासंगिक विजुअल सुराग (जैसे मेज पर रखा केक) पर "ट्यून इन" करने की यह क्षमता ही AI को इंसान की तरह व्यवहार करने में मदद करती है।
3. AI वहीं "देखता" है जहाँ इंसान देखते हैं
निष्कर्ष: शोधकर्ताओं ने AI के "अटेंशन मैप" (एक हीट मैप जो दिखाता है कि AI कहाँ ध्यान केंद्रित कर रहा था) की तुलना इंसानों की वास्तविक आई मूवमेंट (eye movements) से की।
- जब एक स्पष्ट विजुअल सुराग (जैसे केक) मौजूद था, तो AI का अटेंशन मैप लगभग वैसा ही था जैसा कि इंसानों की नज़रें घूम रही थीं।
- विशेष रूप से, AI का "क्रॉस-अटेंशन" (जहाँ वह जो देखता है उसे जो सुनता है उसके साथ मिलाता है) मानव नेत्र गति (eye movement) को ट्रैक करने में सबसे अच्छा था। इसने लगभग 70% स्पष्ट किया कि इंसान वहाँ क्यों देख रहे थे।
उपमा: यह जादू के खेल को देखने वाले दो लोगों को देखने जैसा है।
- इंसान: जब सिक्का दिखाई देता है, तो उनकी आँखें जादूगर के हाथ की ओर जाती हैं।
- क्रॉस-अटेंशन वाला AI: उसकी "डिजिटल आँखें" भी ठीक उसी क्षण हाथ की ओर जाती हैं।
- बिना क्रॉस-अटेंशन वाला AI: उसकी "डिजिटल आँखें" जादूगर की टोपी या बैकग्राउंड को घूर सकती हैं, और महत्वपूर्ण सुराग को पूरी तरह से मिस कर सकती हैं।
इसका क्या अर्थ है (सरल शब्दों में)
यह शोध पत्र निष्कर्ष निकालता है कि AI कैसे बनाया गया है, यह इस बात से अधिक महत्वपूर्ण है कि वह कितना बड़ा है।
- पुराना विचार: हमें लगा था कि बड़े AI मॉडल्स (अधिक पैरामीटर्स वाले) अपने आप अधिक मानव-तुल्य (human-like) हो जाएंगे।
- नई वास्तविकता: एक मॉडल को दुनिया को हमारे तरीके से देखने के लिए सही "चश्मे" (अटेंशन मैकेनिज्म) की आवश्यकता होती है। यदि AI को विजुअल सुरागों को अनदेखा करने के लिए प्रशिक्षित किया गया है या वह उन पर ध्यान केंद्रित नहीं कर सकता है, तो वह चाहे कितना भी बड़ा क्यों न हो, वास्तविक दुनिया के परिवेश में भाषा को वास्तव में कभी नहीं समझ पाएगा।
अध्ययन बताता है कि AI के लिए भाषा को उसी तरह समझने के लिए जैसे इंसान समझते हैं, उसे दृश्य के सबसे महत्वपूर्ण विजुअल सुरागों पर चयनात्मक रूप से ध्यान (selectively pay attention) देने में सक्षम होना चाहिए, ठीक वैसे ही जैसे हमारी आँखें करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।