A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures
यह शोध पत्र 21 मॉडलों में से चार बहुभाषी व्याख्यात्मकता (interpretability) विधियों का व्यवस्थित रूप से मूल्यांकन करता है, जिसमें यह पाया गया कि एनिसोट्रॉपी (anisotropy) अधिकांश मेट्रिक्स को विकृत करती है जबकि ILO अनूठे और सुदृढ़ रूप से क्रॉस-लिंगुअल ट्रांसफर प्रदर्शन के साथ सह-संबंधित है, जिससे लेखक एनिसोट्रॉपी डायग्नोस्टिक्स के साथ प्राथमिक शेयरिंग मेट्रिक के रूप में ILO की सिफारिश करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ जो भाषा को समझती हैं, वे एक ऐसे गणितीय आधार पर निर्मित होती हैं जो शब्दों और वाक्यों को विशाल, बहु-आयामी स्थानों (multi-dimensional spaces) में मैप करती हैं। इन स्थानों में, एक शब्द का अर्थ उन बिंदुओं के विशिष्ट स्थान द्वारा दर्शाया जाता है, और शब्दों के बीच का संबंध उन बिंदुओं के बीच की दूरी और दिशा से परिभाषित होता है। जब ये मॉडल एक साथ कई अलग-अलग भाषाओं पर प्रशिक्षित किए जाते हैं, तो वे एक उल्लेखनीय क्षमता विकसित करते हैं: वे समान अवधारणाओं को उन भाषाओं में दर्शाने के लिए एक ही आंतरिक बिंदुओं का उपयोग करने लगते हैं, जिससे प्रभावी रूप से एक साझा मानसिक शब्दकोश बन जाता है। यह घटना, जिसे 'क्रॉस-लिंगुअल शेयरिंग' (cross-lingual sharing) कहा जाता है, वह इंजन है जो इस मॉडल को सक्षम बनाता है कि वह मुख्य रूप से अंग्रेजी पर प्रशिक्षित होने के बावजूद स्वाहिली में प्रश्नों के उत्तर दे सके या जापानी से कविता का अनुवाद कर सके। हालाँकि, वर्षों से, वैज्ञानिक इस बात को मापने के लिए संघर्ष कर रहे थे कि यह साझाकरण वास्तव में कितनी अच्छी तरह होता है। विभिन्न शोध टीमों ने एक ही चीज़ को मापने के लिए अलग-अलग पैमाने (rulers) बनाए, और अक्सर, उन पैमानों ने परस्पर विरोधी उत्तर दिए। एक टीम कह सकती थी कि एक मॉडल अपना ज्ञान पूरी तरह से साझा करता है, जबकि दूसरी टीम, एक अलग पद्धति का उपयोग करते हुए, कह सकती थी कि वह बहुत कम साझा करता है। इस भ्रम ने यह जानना कठिन बना दिया कि कौन से मॉडल वास्तव में बहुभाषी थे और कौन से केवल दिखावा कर रहे थे।
शोधकर्ताओं की एक टीम ने चार प्रतिनिधि मापन उपकरणों की तुलना करके इस भ्रम को दूर करने का निर्णय लिया, जिन्हें विभिन्न पद्धतिगत परिवारों के विरुद्ध विरोधाभास दिखाने के लिए चुना गया था। उन्होंने पाँच अलग-अलग AI परिवारों का प्रतिनिधित्व करने वाले, छोटे और कुशल संस्करणों से लेकर विशाल और जटिल मॉडलों तक, इक्कीस विभिन्न मॉडल एकत्र किए। ये मॉडल 125 मिलियन से 14 बिलियन पैरामीटर्स के पैमाने तक भिन्न थे, जो क्षेत्र की विविधता को दर्शाता है। शोधकर्ताओं ने इन मॉडलों को दस अलग-अलग भाषाओं में वाक्यों का एक मानक सेट दिया, जिसमें अरबी, चीनी, अंग्रेजी और तुर्की शामिल थीं, और फिर यह देखने के लिए प्रत्येक से चार मापन उपकरणों का उपयोग किया कि मॉडल अपनी भाषाओं को आपस में कितना मिलाते हैं। उन्होंने मॉडels के वास्तविक दुनिया के प्रदर्शन का भी परीक्षण किया, उन्हें अंग्रेजी में एक नया कार्य सिखाया और देखा कि वे बिना किसी अतिरिक्त प्रशिक्षण के अन्य भाषाओं में उस ज्ञान को कितनी अच्छी तरह लागू कर पाते हैं। इस कार्यात्मक परीक्षण ने एक सत्यापन मानदंड (validation criterion) के रूप में कार्य किया, यह देखने के लिए कि क्या माप वास्तव में ज्ञान के हस्तांतरण की भविष्यवाणी करते हैं, हालांकि लेखक नोट करते हैं कि हस्तांतरण केवल प्रतिनिधित्व संरेखण (representational alignment) से परे कारकों द्वारा संचालित होता है।
परिणामों से पता चला कि उपकरणों के बीच असहमति मॉडलों की अपनी प्रकृति का प्रतिबिंब नहीं थी, बल्कि उनके निर्माण में एक दोष था। शोधकर्ताओं ने पाया कि इन मॉडलों के आंतरिक प्रतिनिधित्व अक्सर "एनिसोट्रोपिक" (anisotropic) होते हैं, जो एक ऐसे आकार का वर्णन करता है जो सभी दिशाओं में समान रूप से फैलने के बजाय एक संकीर्ण, सुई जैसी शंकु (cone) में खिंचा हुआ होता है। एक गोले और एक पतली पेंसिल के बीच के अंतर की कल्पना करें; पेंसिल के आकार के स्थान में, लगभग कोई भी दो बिंदु एक-दूसरे के करीब दिखते हैं क्योंकि स्थान इतना संकीर्ण है। चार में से तीन मापन उपकरण इस आकार से धोखा खा गए। उन्होंने इस तथ्य की व्याख्या अत्यधिक साझाकरण के प्रमाण के रूप में की कि सभी बिंदु एक साथ घने रूप में जमा थे, भले ही मॉडल वास्तव में अपनी भाषाओं को मिश्रित नहीं कर रहे थे। एक विशेष उपकरण ने, एक ऐसी पद्धति पर भरोसा किया जिसने पैटर्न खोजने के लिए सूचना के सबसे महत्वपूर्ण दिशाओं को हटा दिया, केवल यह खोजने के लिए कि भाषा की पहचान हटाए गए दिशाओं में धकेल दी गई थी। यह सूप में नमक हटाकर उसका स्वाद खोजने के प्रयास जैसा था, और फिर यह निष्कर्ष निकालना कि सूप बेस्वाद है क्योंकि नमक गायब था।
इसके विपरीत, 'इंटरलिंगुअल लोकल ओवरलैप' (Interlingual Local Overlap) नामक एक विशिष्ट माप, एकमात्र विश्वसनीय पैमाना साबित हुआ। इस उपकरण ने मॉडल के आंतरिक स्थान में प्रत्येक शब्द के तत्काल पड़ोसियों को देखा, यह पूछते हुए कि क्या विभिन्न भाषाओं के शब्द एक-दूसरे के बगल में खड़े हैं। अन्य उपकरणों के विपरीत, यह पद्धति कठोर परीक्षण में सफल रही। इसने लगातार भविष्यवाणी की कि कौन से मॉडल क्रॉस-लिंगुअल कार्यों पर अच्छा प्रदर्शन करेंगे, जिससे एक मजबूत सहसंबंध (correlation) दिखा जो मॉडल के आकार या परिवार के बावजूद बना रहा। शोधकर्ताओं ने पाया कि इस विशिष्ट मीट्रिक पर उच्च स्कोर वाले मॉडल ही वे थे जो अंग्रेजी से अन्य भाषाओं में ज्ञान को सफलतापूर्वक स्थानांतरित कर सकते थे। अन्य उपकरणों ने या तो उन मॉडलों के बीच अंतर करने में विफल रहे जो ज्ञान साझा करते थे और जो नहीं करते थे, या वे डेटा के संकीर्ण आकार से इतने प्रभावित थे कि उन्होंने उन मॉडलों के लिए भ्रामक रूप से उच्च स्कोर दिए जो वास्तव में साझा करने में काफी खराब थे।
अध्ययन यह निष्कर्ष निकालता है कि क्षेत्र को उन उपकरणों द्वारा गुमराह किया गया है जो डेटा के ज्यामितीय विरूपण (geometric distortions) के प्रति संवेदनशील हैं न कि भाषाओं के वास्तविक मिश्रण के प्रति। शोधकर्ता अनुशंसा करते हैं कि भविष्य के अध्ययन 'इंटरलिंगुअल लोकल ओवरलैप' को प्राथमिक साझाकरण मीट्रिक के रूप में उपयोग करें, लेकिन इसे एनिसोट्रॉपी डायग्नोस्टिक्स (anisotropy diagnostics) के साथ रिपोर्ट किया जाना चाहिए। इसके अलावा, वे सुझाव देते हैं कि जब भी कोई भाषा साझाकरण के लिए स्कोर रिपोर्ट करता है, तो उन्हें डेटा के आकार के लिए एक डायग्नोस्टिक चेक भी रिपोर्ट करना चाहिए, यह सुनिश्चित करते हुए कि उच्च स्कोर वास्तविक मिश्रण को दर्शाता है न कि केवल एक संकीर्ण, विकृत स्थान को। यह कार्य इस रहस्य को हल करने का दावा नहीं करता है कि भाषा मॉडल कैसे सीखते हैं, बल्कि यह जो उन्होंने सीखा है उसे मापने का एक स्पष्ट, भरोसेमंद तरीका प्रदान करता है। सफल और विफल होने वाले उपकरणों की पहचान करके, शोधकर्ताओं ने कोहरे को साफ कर दिया है, जिससे वैज्ञानिक समुदाय को अंततः एक समान धरातल पर मॉडलों की तुलना करने और बहुभाषी बुद्धिमत्ता की वास्तविक प्रकृति को समझने की अनुमति मिली है। ये परिणाम वैश्विक साझाकरण मेट्रिक्स के प्रति सुधारात्मक हैं: एक एकल वैश्विक स्कोर साझाकरण को मापने और तुलना करने के लिए सही उपकरण बना हुआ है, जबकि यह समझाना कि साझाकरण कैसे लागू होता है, यांत्रिक विधियों (mechanistic methods) की मांग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।