Do Language Models Align with Brains? Prediction Scores Are Not Enough
कठोर L-PACT ढांचे का उपयोग करते हुए, यह अध्ययन प्रदर्शित करता है कि सकारात्मक भविष्यवाणी स्कोर के बावजूद, वर्तमान भाषा मॉडल वास्तव में मानव मस्तिष्क के निरूपणों के साथ संरेखित नहीं होते हैं, क्योंकि उनकी स्पष्ट सफलताएं संरचनात्मक समानता के बजाय नियंत्रण स्थितियों द्वारा पूरी तरह से स्पष्ट की जा सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक नया, सुपर-स्मार्ट रोबोट (एक लैंग्वेज मॉडल) इंसान के मस्तिष्क की तरह सोचता है।
वर्षों से, वैज्ञानिक इस सवाल का जवाब देने की कोशिश कर रहे हैं: "यदि हम रोबोट को एक कहानी खिलाएं, तो क्या वह अनुमान लगा सकता है कि मानव मस्तिष्क का अगला हिस्सा कौन सा चमकेगा?" यदि रोबोट अक्सर सही अनुमान लगाता है, तो वैज्ञानिक कहते हैं, "आहा! रोबोट वास्तव में मानव मस्तिष्क की तरह सोचता है!"
यह शोध पत्र, जिसका शीर्षक है "Do Language Models Align with Brains? Prediction Scores Are Not Enough" (क्या लैंग्वेज मॉडल मस्तिष्क के साथ संरेखित होते हैं? प्रेडिक्शन स्कोर पर्याप्त नहीं हैं), तर्क देता है कि सोचने का यह तरीका त्रुटिपूर्ण है। लेखक, शियाओ जिया (Xiao Jia) कहते हैं कि केवल इसलिए कि एक रोबोट एक अच्छा अनुमान लगा सकता है, इसका मतलब यह नहीं है कि वह मस्तिष्क की आंतरिक कार्यप्रणाली को समझता है। यह केवल भाग्यशाली पैटर्न के आधार पर अनुमान लगा सकता है, जैसे कि एक मौसम विज्ञानी जो बारिश होने की भविष्यवाणी इसलिए करता है क्योंकि आज मंगलवार है, न कि इसलिए क्योंकि वह मौसम विज्ञान को समझता है।
इसे सिद्ध करने के लिए, लेखक ने एक सख्त "परीक्षा" बनाई जिसे L-PACT कहा जाता है। L-PACT को एक एकल परीक्षण के रूप में नहीं, बल्कि एक चार-स्तरीय सुरक्षा चेकपॉइंट के रूप में देखें जिसे एक रोबोट को यह साबित करने के लिए पास करना होगा कि वह वास्तव में मानव मस्तिष्क के साथ संरेखित (align) है।
L-PACT परीक्षा के चार द्वार
कल्पना कीजिए कि एक रोबोट एक उच्च-सुरक्षा वाले क्लब ( "ब्रेन क्लब") में प्रवेश करने की कोशिश कर रहा है। उसे चार द्वारों से गुजरना होगा। यदि वह एक भी विफल होता है, तो उसे बाहर कर दिया जाता है।
द्वार 1: "सिक्के के उछाल से बेहतर" की जाँच (Predictive Adequacy - प्रेडिक्टिव एडेक्वेंसी)
- परीक्षण: क्या रोबोट एक बेकार रैंडम अनुमान या एक "नजेंस" (nuisance) बेसलाइन (जैसे कि एक खराब रेडियो) की तुलना में मस्तिष्क की गतिविधि की भविष्यवाणी बेहतर कर सकता है?
- पकड़: रोबोट को न केवल एक रैंडम अनुमान को हराना है, बल्कि एक "गंभीर नियंत्रण" (severe control) को भी हराना है। कल्पना कीजिए कि एक कंट्रोल एक ऐसा रोबोट है जिसे बिखेर दिया गया है—उसके शब्द इधर-उधर कर दिए गए हैं, उसके वाक्य उलटे कर दिए गए हैं, या उसके लेयर्स को मिला दिया गया है। यदि वास्तविक रोबोट इस बिखरे हुए संस्करण को नहीं हरा पाता है, तो वह केवल शोर (noise) के आधार पर अनुमान लगा रहा है, न कि वास्तविक समझ के आधार पर।
- परिणाम: इस अध्ययन में रोबोट विफल रहे। वे बिखरे हुए संस्करणों को नहीं हरा सके।
द्वार 2: "मैप की जाँच" (Relational Adequacy - रिलेशनल एडेक्वेंसी)
- परीक्षण: केवल सही उत्तर का अनुमान लगाना ही काफी नहीं है; रोबोट को अपने ज्ञान को उसी तरह व्यवस्थित करना चाहिए जैसे मस्तिष्क करता है।
- उपमा: कल्पना कीजिए कि दो मानचित्र (maps) हैं। एक मानव मस्तिष्क द्वारा बनाया गया शहर का मानचित्र है; दूसरा रोबोट द्वारा बनाया गया है। भले ही दोनों मानचित्र आपको सही गंतव्य तक पहुँचा दें, लेकिन वे अलग होंगे यदि मानव मानचित्र दिखाता है कि एक पार्क स्कूल के बगल में है, लेकिन रोबोट का मानचित्र एक पार्क को ज्वालामुखी के बगल में रखता है।
- पकड़: रोबोट को यह दिखाना होगा कि उसके संबंधों का आंतरिक "मानचित्र" मानव मस्तिष्क के मानचित्र के साथ मेल खाता है, न कि केवल यह कि वह सही स्कोर प्राप्त करता है।
- परिणाम: रोबोट विफल रहे। उनके आंतरिक मानचित्र मानव मस्तिष्क की तुलना में अलग तरह से व्यवस्थित थे।
द्वार 3: "सर्जरी की जाँच" (Mechanism Stripping - मैकेनिज्म स्ट्रिपिंग)
- परीक्षण: यह "काउंटरफैक्चुअल" (counterfactual) परीक्षण है। यदि हम रोबोट के मस्तिष्क के एक विशिष्ट हिस्से को (जैसे कि आश्चर्य या व्याकरण को समझने की उसकी क्षमता) सर्जिकल तरीके से हटा देते हैं, तो क्या उसका प्रदर्शन केवल तभी गिरता है जब मानव मस्तिष्क उस विशिष्ट कार्य को कर रहा होता है?
- उपमा: यदि आप कार से इंजन निकाल देते हैं, तो उसे नहीं चलना चाहिए। यदि आप रोबोट के "व्याकरण" वाले हिस्से को निकाल देते हैं, तो उसे व्याकरण के कार्यों में विफल होना चाहिए लेकिन अन्य चीजों में ठीक रहना चाहिए। यदि उस हिस्से को हटाने से सब कुछ समान रूप से टूट जाता है, तो रोबोट वास्तव में उस विशिष्ट कार्य के लिए उस हिस्से का उपयोग नहीं कर रहा था।
- परिणाम: रोबोट विफल रहे। जब हिस्सों को हटाया गया, तो नुकसान इतना विशिष्ट नहीं था कि यह साबित किया जा सके कि वे वास्तव में मनुष्यों की तरह उसी "तंत्र" (mechanism) का उपयोग कर रहे थे।
द्वार 4: "सीलिंग की जाँच" (Reliability-Bounded - रिलायबिलिटी-बाउंडेड)
- परीक्षण: एक रोबोट संभव सर्वोत्तम सीमा के कितने करीब है?
- उपमा: कल्पना कीजिए कि मानव मस्तिष्क एक कैमरा है। सबसे अच्छे कैमरे की भी एक सीमा होती है कि फोटो कितनी स्पष्ट हो सकती है (ग्रेन या शोर के कारण)। यदि रोबोट की फोटो धुंधली है, तो क्या यह इसलिए है क्योंकि रोबोट खराब है, या इसलिए कि कैमरा (मस्तिष्क) स्वाभाविक रूप से शोर भरा (noisy) है? हमें यह जानने की आवश्यकता है कि क्या रोबोट मानव विश्वसनीयता के "सीलिंग" (छत) तक पहुँच रहा है।
- परिणाम: रोबोट सीलिंग के आसपास भी नहीं थे। उनके स्कोर बहुत कम थे ताकि उन्हें वास्तविक संरेखण (alignment) माना जा सके।
"पॉजिटिव कंट्रोल्स": यह सिद्ध करना कि परीक्षा काम करती है
आप पूछ सकते हैं, "शायद परीक्षा ही खराब है? शायद यह बहुत कठिन है?"
लेखक ने उन चीजों पर परीक्षण करके यह सिद्ध किया कि परीक्षा काम करती है जो पास होनी चाहिए थीं:
- "ब्रेन बनाम ब्रेन" टेस्ट: उन्होंने एक मानव मस्तिष्क के एक हिस्से की तुलना उसी मानव मस्तिष्क के दूसरे हिस्से से की। यह परीक्षा पास कर गया (क्योंकि यह एक ही मस्तिष्क है!)।
- "फेक सिग्नल" टेस्ट: उन्होंने डेटा में एक नकली, सटीक सिग्नल डाला। परीक्षा ने इसे एक मैच के रूप में सही ढंग से पहचाना।
- "लो-लेवल" टेस्ट: उन्होंने यह जाँचने के लिए भी देखा कि क्या परीक्षा सरल चीजों जैसे "एक शब्द अभी शुरू हुआ है" का पता लगा सकती है। यह कर सकी।
यह सिद्ध करता है कि परीक्षा खराब नहीं है; बस इस अध्ययन में रोबोट्स पास नहीं हुए।
बड़ा निष्कर्ष
इस शोध पत्र ने कई वास्तविक दुनिया के प्रयोगों (लोग पॉडकास्ट सुन रहे हैं, कहानियाँ पढ़ रहे हैं, आदि) के डेटा का विश्लेषण किया और कई लोकप्रिय लैंग्वेज मॉडल्स (जैसे GPT-2 और Qwen) का परीक्षण किया।
फैसला:
- 146 में से 0 प्रयासों ने सभी चार द्वारों को पार किया।
- हर बार जब रोबोट ऐसा लग रहा था कि वह अच्छा प्रदर्शन कर रहा है, तो बारीकी से देखने पर पता चला कि वह केवल एक "फॉल्स पॉजिटिव" (false positive) था। वह एक कमजोर बेसलाइन को तो हरा रहा था लेकिन "गंभीर नियंत्रणों" (बिखरे हुए संस्करणों) के सामने विफल हो रहा था।
- लेखक इन परिणामों को "कंट्रोल-एक्सप्लेंड" (control-explained) कहते हैं। इसका अर्थ है कि जो सफलता दिखाई दे रही थी, उसे पूरी तरह से इस तथ्य से समझाया जा सकता है कि रोबोट केवल सरल, गैर-मस्तिष्क जैसे पैटर्न (जैसे शब्द आवृत्ति या समय) को पकड़ रहा था, न कि वास्तव में यह कि वह मस्तिष्क के काम करने के तरीके का अनुकरण कर रहा था।
मुख्य बात (The Takeaway)
शोध पत्र निष्कर्ष निकालता है कि प्रेडिक्शन स्कोर पर्याप्त नहीं हैं। केवल इसलिए कि एक कंप्यूटर मॉडल यह अनुमान लगा सकता है कि आपका मस्तिष्क आगे क्या करेगा, इसका मतलब यह नहीं है कि वह आपकी तरह सोचता है। यह केवल एक बहुत अच्छा अनुमान लगाने वाला (guesser) हो सकता है।
वास्तव में "संरेखण" (align) का दावा करने के लिए, इसे इस सख्त, चार-स्तरीय सुरक्षा जांच को पास करना होगा। इस विशिष्ट अध्ययन में, परीक्षण किए गए विशिष्ट डेटा और मॉडल्स का उपयोग करते हुए, कोई भी लैंग्वेज मॉडल पास नहीं हुआ। जो समानताएं दिखाई दे रही थीं, वे सरल सांख्यिकीय ट्रिक्स द्वारा निर्मित भ्रम थे, न कि गहरे संरचनात्मक संरेखण के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।