Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies
यह शोध पत्र इस बात की जांच करता है कि प्रशिक्षण की यादृच्छिकता (randomness) ट्रांसफॉर्मर मॉडल के स्पष्टीकरणों की स्थिरता को कैसे प्रभावित करती है, यह प्रदर्शित करते हुए कि हालांकि वाक्यात्मक संदर्भ (syntactic context), लक्ष्य वर्ग (target classes) और कार्य प्रकार (task types) सभी इस संवेदनशीलता को महत्वपूर्ण रूप से प्रभावित करते हैं, लेकिन इनका प्रभाव संदर्भ के लिए सबसे कम, वर्गों के लिए मध्यम और कार्यों के लिए सबसे अधिक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा अनिश्चित व्यवहार वाला छात्र है जिसका नाम Transformer है। यह छात्र पढ़ने और पाठ को समझने में बहुत माहिर है, लेकिन इसमें एक पेच है: हर बार जब आप उसे नया पाठ पढ़ाते हैं, तो आप फ्लैशकार्ड्स का क्रम बदल देते हैं, कमरे की रोशनी बदल देते हैं, या उसके मूड में थोड़ा बदलाव कर देते हैं (यह वही है जिसे पेपर में "ट्रेनिंग रैंडमनेस" कहा गया है)।
भले ही वह छात्र एक ही सामग्री सीखता है और एक ही टेस्ट स्कोर प्राप्त करता है, लेकिन यदि आप उससे पूछते हैं, "आपने यह उत्तर क्यों चुना?" तो वह आपको पूरी तरह से अलग कारण दे सकता है, जो इस बात पर निर्भर करता है कि पाठ को किस तरह से व्यवस्थित किया गया था।
यह पेपर एक जासूसी कहानी की तरह है जो यह जांच रहा है कि इस छात्र के स्पष्टीकरण इतने अधिक क्यों बदल जाते हैं। लेखक, रोमेन, जेरेमी और फ्रांकोइस-जेवियर जानना चाहते थे: क्या बदलाव का कारण वाक्य की संरचना पर निर्भर करता है, विशिष्ट विषय पर, या टेस्ट के प्रकार पर?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. सेटअप: "200 जुड़वा बच्चों" का प्रयोग
इसका अध्ययन करने के लिए, शोधकर्ताओं ने केवल एक छात्र को प्रशिक्षित नहीं किया। उन्होंने एक ही AI मॉडल के 200 "जुड़वा" (twins) को प्रशिक्षित किया।
- उन सभी ने बिल्कुल एक ही पाठ्यपुस्तक (डेटा) से सीखा।
- उन सभी ने समान ग्रेड (सटीकता) प्राप्त की।
- लेकिन, प्रत्येक जुड़वा के पास एक अलग "रैंडम सीड" था (जैसे कि एक अलग व्यक्तित्व का गुण या अध्ययन का एक अलग क्रम)।
फिर, उन्होंने उन सभी 200 जुड़वा बच्चों से एक ही वाक्य को समझाने के लिए कहा। उन्होंने मापा कि उन 200 जुड़वा बच्चों के बीच कितनी सहमति थी। यदि वे सभी कहते हैं, "मैंने यह इसलिए चुना क्योंकि शब्द 'John' की वजह से," तो वह स्थिर (stable) है। यदि एक कहता है "John," दूसरा कहता है "क्रिया (verb)," और तीसरा कहता है "विराम चिह्न (punctuation)," तो वह अस्थिर (unstable) है।
2. कारक #1: वाक्य की संरचना (द "स्कैम्बलड पज़ल")
प्रश्न: क्या वाक्य में शब्दों को इधर-उधर करने से स्पष्टीकरण डगमगा जाते हैं?
उपमा: कल्पना कीजिए कि एक वाक्य लेगो ब्रिक्स (Lego bricks) से बना है।
- सामान्य वाक्य: "John loves James."
- बदला हुआ वाक्य: "James loves John" (या बस बिखरे हुए ढेर में शब्द)।
निष्कर्ष: जब शब्द सही क्रम में थे, तो 200 जुड़वा बच्चों ने एक उत्तर चुनने के पीछे के कारण पर पूरी तरह से सहमति जताई। लेकिन जब शब्दों को इधर-उधर किया गया (भले ही अर्थ स्पष्ट था), तो जुड़वा बच्चों के बीच थोड़ी असहमति होने लगी।
- निर्णय: संरचना मायने रखती है, लेकिन केवल थोड़ा सा। AI बिखरे हुए शब्दों के "शोर" से थोड़ा भ्रमित हो जाता है, लेकिन यह कोई बहुत बड़ी बात नहीं है।
3. कारक #2: विषय (द "मिसिंग क्ल्यू")
प्रश्न: क्या विशिष्ट उत्तर विकल्प (क्लास) यह बदल देता है कि स्पष्टीकरण कितना स्थिर है?
उपमा: एक जासूसी खेल की कल्पना करें।
- मामला A (आसान): अपराधी हमेशा "John" है। जासूस को बस कमरे में "John" नाम ढूंढना है। आसान! हर कोई सहमत है।
- मामला B (कठिन): अपराधी "NOT John" (जॉन नहीं) है। जासूस को पूरे कमरे को देखना होगा और यह समझना होगा कि, "हम्म, जॉन यहाँ नहीं है, इसलिए यह कोई और होना चाहिए।"
निष्कर्ष: यहीं पर चीजें उलझ जाती हैं।
- जब उत्तर किसी विशिष्ट, स्पष्ट शब्द (जैसे "John") पर निर्भर था, तो स्पष्टीकरण बहुत स्थिर थे।
- जब उत्तर किसी शब्द की अनुपस्थिति (जैसे "यह John नहीं है") पर निर्भर था, तो 200 जुड़वा बच्चों ने बहुत अलग-अलग कारण दिए। कुछ ने वाक्य की शुरुआत की ओर इशारा किया, कुछ ने अंत की ओर।
- निर्णय: विषय का प्रभाव मध्यम है। यदि AI को यह समझाना है कि कोई चीज़ वहां क्यों नहीं है, तो उसका तर्क बहुत कम सुसंगत हो जाता है।
4. कारक #3: कार्य (द "सब्जेक्ट मैटर")
प्रश्न: क्या AI द्वारा किए जाने वाले काम का प्रकार स्थिरता को बदलता है?
उपमा:
- कार्य A (खगोल भौतिकी): "सितारों" बनाम "गणित" के बारे में कागजात छाँटना। शब्द बहुत अलग हैं (जैसे, "ब्लैक होल" बनाम "इक्वेशन")। यह सेब को संतरे से अलग करने जैसा है।
- कार्य B (राय बनाम तथ्य): समाचार लेखों को "राय" या "तथ्य" में वर्गीकृत करना। शब्द बहुत समान हैं। अंतर बताने के लिए आपको टोन और शब्दों के बीच के संबंध को पढ़ने की आवश्यकता है। यह लाल सेब को थोड़े गहरे लाल सेब से अलग करने जैसा है।
निष्कर्ष:
- जब AI अलग-अलग विषयों (सितारे बनाम गणित) को छाँट रहा था, तब वह बहुत स्थिर था।
- जब AI कठिन और समान विषयों (राय बनाम तथ्य) को छाँट रहा था, तब वह बहुत अस्थिर था।
- निर्णय: कार्य (Task) का प्रभाव सबसे बड़ा है। काम को समझने में जितनी अधिक कठिनाई होगी, AI का "तर्क" उसके प्रशिक्षण के तरीके के आधार पर उतना ही अधिक बदलेगा।
मुख्य निष्कर्ष (The Big Picture Conclusion)
यह पेपर हमें बताता है कि AI के स्पष्टीकरण नाजुक (fragile) होते हैं। वे पूर्ण सत्य नहीं हैं; वे बहुत अधिक इन बातों पर निर्भर करते हैं:
- पाठ कैसे लिखा गया है (थोड़ा सा)।
- AI क्या देख रहा है (मध्यम मात्रा में)।
- काम कितना कठिन है (एक बहुत बड़ी मात्रा में)।
यह क्यों मायने रखता है?
यदि आप एक डॉक्टर हैं जो मरीज का निदान करने के लिए AI का उपयोग कर रहे हैं, या एक न्यायाधीश हैं जो किसी मामले की समीक्षा करने के लिए इसका उपयोग कर रहे हैं, तो आप केवल AI के "तर्क" पर आँख बंद करके भरोसा नहीं कर सकते। यदि AI कहता है, "मुझे लगता है कि यह एक अपराध है क्योंकि शब्द X की वजह से," तो आपको पता होना चाहिए: क्या वह एक ठोस कारण है, या AI को अपने प्रशिक्षण के दौरान बस किस्मत से सफलता मिली है?
लेखक सुझाव देते हैं कि भविष्य में, हमें केवल एक स्पष्टीकरण को नहीं देखना चाहिए। हमें स्पष्टीकरण के वितरण (distribution) को देखना चाहिए (AI से 200 बार पूछें और देखें कि क्या वह हर बार एक ही उत्तर देता है) ताकि हम जान सकें कि हम वास्तव में उस पर भरोसा कर सकते हैं या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।