Learning What Matters: Supervising Sparse Attention Routing with Causal Evidence Sets
यह शोध पत्र यह प्रदर्शित करता है कि मास्किंग प्रयोगों से प्राप्त कारण साक्ष्य सेटों (causal evidence sets) पर स्पार्स अटेंशन चयनकर्ताओं (sparse attention selectors) को प्रशिक्षित करना, डेंस टीचर्स (dense teachers) के अटेंशन पैटर्न पर निर्भर रहने की तुलना में काफी अधिक प्रभावी है, क्योंकि अटेंशन अक्सर उस वास्तविक संदर्भ की गलत पहचान कर लेता है जिस पर मॉडल अपने उत्तरों के लिए निर्भर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) सुलझाने की कोशिश कर रहे हैं, लेकिन मेज पर लाखों टुकड़े बिखरे हुए हैं, और आपके पास केवल एक मुट्ठी भर टुकड़ों को देखने का समय है। यह आधुनिक एआई (AI) मॉडल्स, विशेष रूप से "ट्रांसफॉर्मर" (transformers) नामक प्रकार के मॉडल्स की दैनिक संघर्ष है, जब वे बहुत लंबे दस्तावेज़ों को पढ़ने की कोशिश करते हैं। किसी कहानी या रिपोर्ट को समझने के लिए, ये मॉडल्स एक तंत्र का उपयोग करते हैं जिसे अटेंशन (attention) कहा जाता है। अटेंशन को एक स्पॉटलाइट की तरह समझें: मॉडल द्वारा प्रत्येक नया शब्द पढ़ने पर, वह यह तय करने के लिए पिछले सभी शब्दों पर रोशनी डालता है कि वर्तमान वाक्य को समझने के लिए कौन से शब्द महत्वपूर्ण हैं। रोशनी जितनी तेज़ होगी, मॉडल उस शब्द पर उतना ही अधिक "ध्यान" देगा।
हालाँकि, एक लंबी किताब के हर एक शब्द पर रोशनी डालना बहुत महंगा और धीमा है। यह एक उपन्यास को हर पन्ने पर एक साथ टॉर्च मारकर पढ़ने जैसा है। इसे ठीक करने के लिए, इंजीनियर चाहते हैं कि स्पॉटलाइट "स्पार्स" (sparse) हो जाए, जिसका अर्थ है कि इसे केवल उन कुछ पन्नों पर रोशनी डालनी चाहिए जो वास्तव-में महत्वपूर्ण हैं। बड़ा सवाल यह है कि: मॉडल को कैसे पता चलता है कि किन पन्नों पर रोशनी डालनी है? मानक उत्तर यह रहा है कि मॉडल के अपने स्पॉटलाइट पर भरोसा किया जाए। विचार यह था कि यदि मॉडल किसी शब्द को देख रहा है, तो वह महत्वपूर्ण होना चाहिए। लेकिन क्या होगा यदि मॉडल गलत चीजों को देख रहा है? क्या होगा यदि स्पॉटलाइट एक गलत संकेत (red herring) पर चमक रही है जबकि असली सुराग अंधेरे में बैठा है? यह पेपर कंप्यूटर विज्ञान के इस कोने में कदम रखता है ताकि यह परीक्षण किया जा सके कि क्या मॉडल की "नज़र" वास्तव में उस चीज़ से मेल खाती है जिसे जानने की उसे वास्तव में आवश्यकता है।
महान बेमेल: मॉडल कहाँ देखता है बनाम इसे क्या चाहिए
इस अध्ययन में, शोधकर्ता जिम अल्चिन (Jim Allchin) ने एआई मॉडल्स के एक सामान्य धारणा का परीक्षण करने के लिए कई चतुर पहेलियाँ तैयार कीं: कि यदि कोई मॉडल किसी जानकारी पर ध्यान देता है, तो वह जानकारी उत्तर के लिए कुंजी है। इसका परीक्षण करने के लिए, उन्होंने सिंथेटिक कार्यों (synthetic tasks) का उपयोग करके एआई मॉडल्स के लिए एक "ट्रेनिंग जिम" बनाया—जो मूल रूप से बनाए गए खेल हैं जिनके नियम पूरी तरह से ज्ञात हैं। इन खेलों में, "साक्ष्य" (समस्या को हल करने के लिए आवश्यक विशिष्ट तथ्य) शोधकर्ता द्वारा सटीक रूप से ज्ञात होते हैं, वास्तविक दुनिया के पढ़ने के विपरीत जहाँ हमें अक्सर अनुमान लगाना पड़ता है कि क्या महत्वपूर्ण है।
पेपर का मुख्य निष्कर्ष एक आश्चर्यजनक मोड़ है: मॉडल का अटेंशन अक्सर एक बुरा मार्गदर्शक होता है कि उसे वास्तव में क्या चाहिए।
कल्पना कीजिए कि आप एक केस सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास सुरागों से भरी एक नोटबुक है। एक "स्मार्ट" जासूस बॉट बनाने का मानक तरीका यह है कि मानव जासूस अपनी नोटबुक में कहाँ देखता है उसे देखें और बॉट को भी उसी पन्ने को देखने के लिए सिखाएं। यह पेपर तर्क देता है कि यह तरीका त्रुटिपूर्ण है। कभी-कभी, मानव जासूस (या एआई "टीचर" मॉडल) एक पन्ने को इसलिए देखता है क्योंकि वह परिचित है या इसलिए कि उसने उसे अनदेखा करना सीख लिया है, न कि इसलिए कि वह वर्तमान सुराग है। पेपर दिखाता है कि एआई की "स्पॉटलाइट" अक्सर उन पुराने तथ्यों या अप्रासंगिक विवरणों पर चमकती है जिन्हें मॉडल पहले ही अनदेखा करना सीख चुका है, जबकि वह तार्किक श्रृंखला के बीच के महत्वपूर्ण चरणों को पूरी तरह से मिस कर देता है।
"मल्टी-हॉप" रहस्य (The "Multi-Hop" Mystery)
सबसे नाटकीय प्रमाण "मल्टी-हॉप रिट्रीवल" (Multi-hop Retrieval) नामक एक खेल से आता है। कल्पना कीजिए कि आप एक खजाने की खोज में हैं जहाँ आपको सुरागों की एक श्रृंखला का पालन करना है:
- सुराग A कहता है: "सुराग B पर जाओ।"
- सुराग B कहता है: "सुराग C पर जाओ।"
- सुराग C कहता है: "खजाना यहाँ है!"
खजाना खोजने के लिए, मॉडल को तीनों सुरागों को पढ़ने की आवश्यकता है। हालाँकि, अध्ययन में पाया गया कि जब मॉडल अंततः उत्तर देता है, तो उसका अटेंशन स्पॉटलाइट अक्सर सुराग B को पूरी तरह से छोड़ देता है। यह शुरुआत (सुराग A) और अंत (सुराग C) को देखता है, लेकिन मध्य चरण को अनदेखा कर देता है क्योंकि, अपनी आंतरिक प्रोसेसिंग में, इसने कनेक्शन को पहले ही समझ लिया था।
यहाँ सबसे बड़ी बात यह है: जब शोधकर्ताओं ने एक "रूटर" (एक छोटा सहायक जो तय करता है कि किन सुरागों को रखना है) को टीचर के अटेंशन की नकल करके प्रशिक्षित करने की कोशिश की, तो रूटर बुरी तरह विफल रहा। इसने शुरुआत और अंत को रखा लेकिन बीच वाले हिस्से को फेंक दिया। परिणाम? रूटर केवल 41% उत्तर सही दे पाया।
लेकिन जब उन्होंने रूटर को कॉज़ल एविडेंस सेट्स (Causal Evidence Sets) का उपयोग करके प्रशिक्षित किया—एक ऐसी विधि जो पूछती है, "यदि हम इस सुराग को छिपा दें, तो क्या उत्तर बदल जाएगा?"—तो रूटर ने बीच के सुराग को रखना सीख लिया। इस नई ट्रेनिंग के साथ, रूटर 99% सटीकता तक पहुँच गया, जो कि परफेक्ट टीचर के बराबर था। यह साबित करता है कि मॉडल का "ग़ेज़" (gaze/नज़र) यह दिखाता है कि वह क्या पढ़ता है, लेकिन यह नहीं कि वह उत्तर के लिए क्या कम्प्यूट (compute) करता है।
"पुराना तथ्य" समस्या (The "Outdated Fact" Problem)
पेपर ने एक ऐसे खेल को भी देखा जहाँ एक तथ्य लिखा जाता है, और फिर बाद में उसे अपडेट किया जाता है। उदाहरण के लिए: "कोड 1234 है।" फिर, बाद में टेक्स्ट में: "वास्तव में, कोड 5678 है।" केवल दूसरा नंबर सही है।
भले ही मॉडल सही उत्तर (5678) दे रहा हो, उसका अटेंशन स्पॉटलाइट अक्सर पहले नंबर (1234) पर अधिक चमकता है। यह एक ऐसे छात्र की तरह है जो जानता है कि उत्तर B है, लेकिन फिर भी गलत उत्तर A को घूरता रहता है क्योंकि वह पहले लिखा गया था। जब शोधकर्ताओं ने एक ऐसा सिस्टम बनाने की कोशिश की जो केवल शीर्ष 10% "अटेंडेड" (attended) सुरागों को रखता है, तो इसने गलत, पुराने तथ्य को रखा और विफल रहा। लेकिन जब उन्होंने "कॉज़ल एविडेंस" विधि (सुरागों को छिपाकर देखना कि क्या टूटता है) का उपयोग किया, तो सिस्टम ने सही ढंग से पहचान लिया कि केवल अंतिम नोट ही मायने रखता है।
Qwen2.5 और Gemma जैसे वास्तविक, प्री-ट्रेंड एआई मॉडल्स के साथ परीक्षणों में, यह पैटर्न बना रहा। यहाँ तक कि जब मॉडल सही उत्तर दे रहे थे, वे अक्सर सही, वर्तमान जानकारी की तुलना में गलत, पुराने डेटा पर अधिक "देख" रहे थे।
यह क्यों मायने रखता है: "इंटरवेंशन" (Intervention) ट्रिक
तो, यदि हम स्पॉटलाइट पर भरोसा नहीं कर सकते हैं, तो हम इसे कैसे ठीक करें? पेपर एक चतुर, एनोटेशन-फ्री (annotation-free) ट्रिक का प्रस्ताव करता है। यह पूछने के बजाय कि "आप क्या देख रहे हैं?", हम पूछते हैं, "क्या होगा यदि हम इसे ढक दें?"
टेक्स्ट के हिस्सों को अस्थायी रूप से मास्क (छिपाने) करके और यह देखकर कि क्या उत्तर बदलता है, सिस्टम स्वचालित रूप से कॉज़ल एविडेंस सेट की खोज कर सकता है—उन सटीक, न्यूनतम तथ्यों का सेट जो समस्या को हल करने के लिए आवश्यक हैं। इस पद्धति के लिए किसी मानव लेबलिंग की आवश्यकता नहीं है। यह एक ऐसे जासूस की तरह है जो यह अनुमान लगाने के बजाय कि कौन सा सुराग महत्वपूर्ण है, एक-एक करके प्रत्येक सुराग को छिपाकर देखता है कि कौन सा सुराग मामले को अनसुलझा बना देता है।
परिणाम चौंकाने वाले हैं। इन सिमुलेशन में, कॉज़ल एविडेंस ट्रेनिंग पर प्रशिक्षित रूटर, अटेंशन-आधारित ट्रेनिंग वाले रूटर की तुलना में लगातार बेहतर प्रदर्शन करते रहे।
- "मल्टी-हॉप" चेन टास्क पर, अटेंशन-आधारित ट्रेनिंग को 41% सटीकता मिली, जबकि कॉज़ल एविडेंस ट्रेनिंग को 99% मिली।
- लंबे कॉन्टेक्स्ट वाले कार्यों (ट्रेनिंग से 4 गुना लंबे) पर, कॉज़ल रूटर मजबूत रहे, जबकि अटेंशन-आधारित वाले लड़खड़ा गए।
- SQuAD (एक रीडिंग कॉम्प्रिहेन्शन डेटासेट) जैसे वास्तविक दुनिया के डेटा पर भी, कॉज़ल विधि ने मॉडल को भटकाव को अनदेखा करने और सही वाक्यों पर ध्यान केंद्रित करने में मदद की, जबकि अटेंशन विधि अप्रासंगिक टेक्स्ट से भ्रमित हो गई।
निचोड़ (The Bottom Line)
यह पेपर केवल यह सुझाव नहीं देता कि अटेंशन अपूर्ण है; यह ठोस सबूत प्रदान करता है कि अटेंशन अक्सर स्पार्स सिस्टम को प्रशिक्षित करने के लिए एक बुरा लक्ष्य होता है। मॉडल का अटेंशन एक विचलित छात्र की तरह है जो टेक्स्टबुक के गलत पन्ने को देख रहा है। यदि हम अपने एआई टूल्स को इस आधार पर बनाते हैं कि मॉडल क्या देखता है, तो हम उसकी गलतियों को भी विरासत में प्राप्त करते हैं।
इसके बजाय, पेपर का तर्क है कि हमें अपने सिस्टम को कॉज़ल डिपेंडेंस (causal dependence) के आधार पर प्रशिक्षित करना चाहिए: जो मॉडल को उत्तर देने के लिए वास्तव में आवश्यक है। "हाइड-एंड-सीक" (hide-and-seek) परीक्षणों (interventions) का उपयोग करके वास्तविक साक्ष्य खोजने से, हम ऐसे एआई बना सकते हैं जो न केवल तेज़ (अप्रासंगिक टेक्स्ट को अनदेखा करके) बल्कि अधिक स्मार्ट और विश्वसनीय भी है। अध्ययन निष्कर्ष निकालता है कि जबकि अटेंशन हमें दिखाता है कि मॉडल की आँखें कहाँ हैं, कॉज़ल एविडेंस हमें दिखाता है कि उसका दिमाग वास्तव में कहाँ काम कर रहा है—और बेहतर एआई बनाने के लिए, हमें केवल आँखों का नहीं, बल्कि मस्तिष्क का अनुसरण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।