Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
यह शोध पत्र एक "बोर्न-मेज़र्ड" (Born-Measured) ट्रांसफार्मर प्रस्तुत करता है जो सटीक, त्रुटि-मुक्त शब्द-स्तरीय एट्रिब्यूशन प्रदान करने के लिए मानक अटेंशन और नॉन-लीनियैरिटीज़ को क्वांटम-प्रेरित ऑपरेशन्स से बदल देता है, जो e-SNLI पर प्रतिस्पर्धी सटीकता प्राप्त करने के साथ-साथ ऑप्टिकल सर्किट और एक 23-क्यूबिट क्वांटम डिवाइस दोनों में सफल संकलन (compilation) का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई कंप्यूटर प्रोग्राम एक वाक्य पढ़ता है और यह तय करता है कि उसका अर्थ क्या है, तो हमें अक्सर यह अनुमान लगाने की कोशिश करनी पड़ती है कि उसने वह चुनाव क्यों किया। हम उन संख्याओं को देख सकते हैं जिनका उपयोग प्रोग्राम विभिन्न शब्दों के भार (weight) को तौलने के लिए करता है, लेकिन वे संख्याएँ केवल अनुमान मात्र हैं; वे हमें ठीक-ठीक नहीं बतातीं कि किन शब्दों ने अंतिम उत्तर को प्रभावित किया। यह आर्टिफिशियल इंटेलिजेंस के लिए एक समस्या है, विशेष रूपकर तब जब हमें मशीन के निर्णय पर भरोसा करने की आवश्यकता होती है। वैज्ञानिक लंबे समय से ऐसे मॉडल बनाने का प्रयास कर रहे हैं जो न केवल सटीक हों, बल्कि पारदर्शी भी हों, ताकि हम स्क्रीन पर मौजूद शब्दों से लेकर मशीन द्वारा निकाले गए निष्कर्ष तक के सटीक मार्ग को देख सकें। चुनौती यह है कि सबसे सामान्य प्रकार के भाषा मॉडल (language model) एक गणितीय युक्ति का उपयोग करते हैं जो उनके विकल्पों को सुचारू (smooth) बनाने के लिए होता है, एक ऐसी युक्ति जो किसी एकल शब्द के प्रभाव को ट्रैक करना बहुत कठिन बना देती है। यदि हम जानना चाहते हैं कि मशीन क्यों मानती है कि कोई कहानी सच है या झूठ, तो हमें अनुमानों के बादल में रास्ता खोए बिना प्रत्येक शब्द के योगदान को मापने का एक तरीका चाहिए।
शोधकर्ताओं की एक टीम ने एक नया प्रकार का भाषा मॉडल बनाया है जो इस समस्या को मशीन के सोचने के तरीके को बदलकर हल करता है। मानक गणितीय युक्तियों के बजाय जो तर्क को छिपा देती हैं, उन्होंने एक ऐसी प्रणाली बनाई है जहाँ सोचने की प्रक्रिया का प्रत्येक चरण प्रकाश या क्वांटम कणों का एक सीधा मापन है। इस नए डिज़ाइन में, मशीन यह अनुमान नहीं लगाती कि एक शब्द कितना महत्वपूर्ण है; वह इसे मापती है। शोधकर्ताओं ने सामान्य स्मूथिंग चरणों को एक भौतिक नियम से बदल दिया है, जो सिग्नल की शक्ति के वर्ग (square) का उपयोग करता है, एक ऐसा नियम जो भौतिकी में एक सदी से जाना जाता है। ऐसा करके, उन्होंने एक ऐसा मॉडल बनाया है जहाँ अंतिम उत्तर प्रत्येक शब्द के योगदान का एक सटीक योग है। जब उन्होंने इस प्रणाली का परीक्षण एक कार्य पर किया जिसमें यह पूछा गया कि क्या एक वाक्य दूसरे वाक्य का अनुसरण करता है, तो मशीन ने सबसे अच्छे मानक मॉडलों के समान ही प्रदर्शन किया, लेकिन एक महत्वपूर्ण अंतर के साथ: वह उन्हें बिल्कुल बता सकती थी कि किन शब्दों ने परिणाम तय किया, और वे स्पष्टीकरण अंतिम स्कोर के साथ पूरी तरह मेल खाते थे।
शोधकर्ताओं ने अपने निर्माण का परीक्षण लगभग दस हजार वाक्य युग्मों के एक डेटासेट पर किया, जहाँ मानव विशेषज्ञों ने पहले ही उन विशिष्ट शब्दों को रेखांकित किया था जिन्होंने एक वाक्य के सत्य, असत्य या असंबंधित होने के बीच के अंतर को स्पष्ट किया था। उन्होंने अपने नए मॉडल की तुलना एक मानक मॉडल से की जो सामान्य स्मूथिंग युक्तियों का उपयोग करता है। दोनों मॉडलों ने लगभग 77 प्रतिशत बार सही उत्तर दिया, जिससे पता चला कि नए डिज़ाइन ने स्पष्टता के लिए सटीकता का त्याग नहीं किया। हालाँकि, जब शोधकर्ताओं ने मॉडलों से स्वयं को समझाने के लिए कहा, तो अंतर स्पष्ट था। मानक मॉडल में, जिन शब्दों का उसने सबसे अधिक महत्व बताया, उन्हें हटाने पर भी उत्तर हमेशा नहीं बदला। नए मॉडल में, उस शब्द को हटाने से जिसने परिणाम बदल दिया, 45 प्रतिशत मामलों में उत्तर बदल गया, जो इस बात का एक मजबूत संकेत है कि वह स्पष्टीकरण वास्तव में निर्णय को संचालित कर रहा था। इसके अलावा, नए मॉडल द्वारा इंगित किए गए शब्द मानव द्वारा रेखांकित किए गए शब्दों से मानक मॉडल की तुलना में अधिक निकटता से मेल खाते थे।
इस कार्य को जो चीज़ अद्वितीय बनाती है वह यह है कि स्पष्टीकरण बाद में जोड़ा गया कोई विचार नहीं है; यह मशीन की मूल संरचना में ही निर्मित है। शोधकर्ताओं ने मॉडल को इस तरह डिज़ाइन किया है कि उत्तर का वर्णन करने वाला गणित एक सरल बहुपद (polynomial) है, एक प्रकार का समीकरण जहाँ चर (variables) शब्द संकेत हैं। इस कारण से, वे गणना के छोटे टुकड़ों को जोड़कर प्रत्येक शब्द के सटीक योगदान की गणना कर सकते हैं, एक ऐसी प्रक्रिया जिसमें त्रुटि की कोई गुंजाइश नहीं है। उन्होंने एक क्वांटम कंप्यूटर पर अपना मॉडल चलाकर इसकी पुष्टि की, जो एक ऐसी मशीन है जो सूचना को संसाधित करने के लिए उप-परमाणु कणों के विचित्र गुणों का उपयोग करती है। उन्होंने पूरे मॉडल को क्वांटम कंप्यूटर पर नहीं चलाया, जो वर्तमान तकनीक के साथ बहुत कठिन होता, लेकिन उन्होंने उन हिस्सों को चलाया जो शब्दों के बीच संबंध को मापते हैं। क्वांटम कंप्यूटर ने वही उत्तर दिए जो एक आदर्श गणितीय मॉडल ने दिए थे, और जब उन्होंने एक मुख्य शब्द को हटाया, तो क्वांटम मशीन ने भी ठीक वैसे ही अपना विचार बदला जैसे आदर्श मॉडल ने बदला था। इससे सिद्ध हुआ कि यह डिज़ाइन केवल सिद्धांत में ही नहीं, बल्कि वास्तविक हार्डवेयर पर भी काम करता है।
शोधकर्ताओं ने यह भी दिखाया कि इन्हीं संख्याओं का उपयोग एक ऐसी मशीन बनाने के लिए किया जा सकता है जो प्रकाश के साथ काम करती है। उन्होंने मॉडल के भार (weights) को दर्पणों और लेजरों से बने एक डिज़ाइन पर मैप किया, जहाँ शब्दों को प्रकाश की किरणों के रूप में दर्शाया जाता है और उनके बीच के संबंधों को प्रकाश तरंगों के हस्तक्षेप (interference) द्वारा मापा जाता है। हालाँकि उन्होंने कंप्यूटर पर इसके ऑप्टिकल संस्करण का सिमुलेशन किया, लेकिन गणित ने दिखाया कि यह क्वांटम संस्करण की तरह ही बिल्कुल काम करेगा। यह दोहरी संभावना बताती है कि मॉडल किसी विशिष्ट हार्डवेयर तक सीमित नहीं है; यह एक ऐसा डिज़ाइन है जो प्रकाश, क्वांटम कणों या शास्त्रीय कंप्यूटरों पर चल सकता है, और हमेशा अपने उत्तरों के लिए एक ही स्पष्ट, सटीक स्पष्टीकरण बनाए रखता है।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि इन मॉडलों को देखने का मानक तरीका, यह जाँचना कि मशीन किन शब्दों पर सबसे अधिक ध्यान दे रही है, भ्रामक था। नए मॉडल में, जिन शब्दों पर सबसे अधिक ध्यान (attention) दिया गया, वे हमेशा उन शब्दों के समान उत्तर की व्याख्या नहीं कर सके जिन्हें मॉडल ने साक्ष्य (evidence) के रूप में पहचाना था। वास्तव में, उच्चतम ध्यान स्कोर वाले शब्द को हटाने से, उच्चतम साक्ष्य स्कोर वाले शब्द को हटाने की तुलना में उत्तर कम बार बदला। यह सुझाव देता है कि 'अटेंशन वेट्स', जिनका उपयोग अक्सर मॉडल के काम करने के तरीके को समझाने के लिए किया जाता है, मानव तर्क की तरह दिख सकते हैं लेकिन वास्तव में निर्णय को संचालित करने में विफल रहते हैं। इसके विपरीत, नए मॉडल का साक्ष्य, उत्तर का एक वास्तविक लेखा-जोखा था।
यह कार्य यह दावा नहीं करता है कि इसने आर्टिफिशियल इंटेलिजेंस की सभी समस्याओं को हल कर दिया है, और शोधकर्ता अपने वर्तमान प्रयोगों की सीमाओं को लेकर सावधान हैं। क्वांटम कंप्यूटर परीक्षण केवल दो छोटे वाक्यों पर किए गए थे, और ऑप्टिकल संस्करण का केवल सिमुलेशन किया गया है, निर्माण नहीं। इस प्रणाली को काम करने के लिए बहुत अधिक मापों की आवश्यकता होती है, जो वर्तमान में धीमा और महंगा है। हालाँकि, यह अध्ययन सिद्ध करता है कि एक ऐसा भाषा मॉडल बनाना संभव है जो सटीक और पूरी तरह से व्याख्या योग्य हो। प्रत्यक्ष भौतिक मापन के साथ छिपी हुई गणितीय युक्तियों को बदलकर, शोधकर्ताओं ने एक ऐसी मशीन बनाई है जो न केवल उत्तर देती है, बल्कि अपना काम इस तरह दिखाती है कि वह सटीक, सत्यापन योग्य और समझने योग्य हो। यह एक ऐसे आर्टिफिशियल इंटेलिजेंस की ओर मार्ग खोलता है जिस पर हम इसलिए भरोसा कर सकते हैं क्योंकि वह एक 'ब्लैक बॉक्स' नहीं है जो बस काम करता है, बल्कि इसलिए क्योंकि हम देख सकते हैं कि वह वास्तव में कैसे काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।