Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy
यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) ब्लूम के टैक्सोनॉमी (Bloom's Taxonomy) द्वारा परिभाषित संज्ञानात्मक जटिलता स्तरों को उनके आंतरिक निरूपणों (internal representations) के एक रैखिक रूप से विभाज्य उपस्थान (linearly separable subspace) में एनकोड करते हैं, जो उच्च वर्गीकरण सटीकता प्राप्त करता है और यह सुझाव देता है कि संज्ञानात्मक कठिनाई फॉरवर्ड पास (forward pass) के शुरुआती चरण में ही हल हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट कैसे सोचता है। लंबे समय तक, वैज्ञानिकों ने इन रोबोटों के साथ, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, एक जादुई ब्लैक बॉक्स की तरह व्यवहार किया। आप एक प्रश्न टाइप करते हैं, और एक सटीक उत्तर बाहर आता है, लेकिन कोई नहीं जानता कि रोबोट वहां तक कैसे पहुँचा। यह एक शेफ को शानदार भोजन बनाते हुए देखने जैसा है बिना कभी उसकी रसोई या सामग्री देखे। हाल ही में, "मैकेनिस्टिक इंटरप्रिटेबिलिटी" नामक एक क्षेत्र ने इस रसोई के अंदर झांकना शुरू कर दिया है, जो रोबोट के मस्तिष्क के सर्किटों का मानचित्र बनाने की कोशिश कर रहा है। एक बड़ा सवाल जो वे पूछते हैं, वह यह है: क्या रोबोट वास्तव में कार्य की कठिनाई को समझता है, या वह केवल देखे गए शब्दों के आधार पर अनुमान लगा रहा है? इसका उत्तर देने के लिए, शोधकर्ता एक प्रसिद्ध शैक्षिक उपकरण का उपयोग करते हैं जिसे "ब्लूम्स टैक्सोनॉमी" कहा जाता है। इसे सोचने के कौशल की एक सीढ़ी मान लें। सबसे निचला पायदान सरल स्मृति (एक तथ्य को दोहराना) है और सबसे ऊपरी पायदान उच्च-स्तरीय रचनात्मकता (कुछ नया डिजाइन करना) है। यदि रोबोट वास्तव में स्मार्ट है, तो इस सीढ़ी पर चढ़ते समय उसके आंतरिक मस्तिष्क संकेत बदल जाने चाहिए, ठीक वैसे ही जैसे एक इंसान का मस्तिष्क एक तारीख याद रखने से लेकर एक जटिल रहस्य को सुलझाने की ओर बढ़ते समय बदल जाता है।
यह शोध पत्र रोबोट के मस्तिष्क पर एक आवर्धक लेंस (मैग्नीफाइंग ग्लास) लेकर यह देखने के लिए है कि क्या वह इस कठिनाई की सीढ़ी के अनुसार अपने विचारों को व्यवस्थित करता है। शोधकर्ताओं, बियांका राइमोंडी और मौरिज़ियो गैब्रिएली ने केवल रोबोट से प्रश्न ही नहीं पूछे; उन्होंने सोचते समय रोबोट के मस्तिष्क के भीतर विद्युत संकेतों (एक्टिवेशन्स) को भी देखा। उन्होंने चार अलग-अलग लोकप्रिय रोबोट मस्तिष्क (Llama, Qwen, Gemma, और DeepSeek) का परीक्षण 1,128 प्रश्नों के साथ किया, जो सरल "इसे परिभाषित करें" कार्यों से लेकर जटिल "एक नई प्रणाली डिजाइन करें" जैसी चुनौतियों तक फैले हुए थे। वे जानना चाहते थे: क्या हम रोबोट के मस्तिष्क डेटा के माध्यम से एक सरल सीधी रेखा खींच सकते हैं जिससे यह पता चल सके कि वह एक सरल स्मृति कार्य कर रहा है या एक जटिल रचनात्मक कार्य?
इसका उत्तर एक जोरदार 'हाँ' है, और यह आश्चर्यजनक रूप से तेजी से होता है। टीम ने पाया कि जैसे ही रोबोट एक वाक्य को प्रोसेस करना शुरू करता है (इसके मस्तिष्क के शुरुआती कुछ स्तरों के भीतर), उसे पहले से ही पता होता है कि कार्य कितना कठिन है। वे इस क्षण को "कॉग्निटिव सेपरेबिलिटी ऑनसेट" कहते हैं। यह ऐसा है जैसे रोबोट के पास एक विशेष "कठिनाई स्विच" है जो लगभग तुरंत चालू हो जाता है। इन मॉडल्स के 30 से 36 स्तरों में से स्तर 5 तक पहुँचते-पहुँचते, "याद रखने" (Remembering) के लिए रोबोट के मस्तिष्क संकेत "रचना करने" (Creating) से इतने स्पष्ट रूप से भिन्न होते हैं कि एक सरल गणितीय उपकरण उन्हें लगभग 90% सटीकता के साथ अलग कर सकता है। यह ऐसा है जैसे रोबोट अपने विचारों को काम की कठिनाई के आधार पर व्यवस्थित ढेर में छाँट देता है, और वह उत्तर लिखना शुरू करने से पहले ही यह कर लेता है।
यहाँ तक कि अधिक रोमांचक बात यह है कि रोबोट बहुत मानवीय तरीके से गलतियाँ करता है। जब रोबोट भ्रमित होता है, तो वह आमतौर पर सीढ़ी पर एक-दूसरे के ठीक बगल वाले चरणों को मिला देता है। उदाहरण के लिए, वह "विश्लेषण" (Analyzing) को "मूल्यांकन" (Evaluating) के साथ भ्रमित कर सकता है, लेकिन वह "याद रखने" (Remembering) को "रचना करने" (Creating) के साथ लगभग कभी भ्रमित नहीं करता है। यह सुझाव देता है कि रोबोट केवल याद किए गए लेबल नहीं देख रहा है; उसने एक मानसिक मानचित्र बनाया है जहाँ कठिनाई के स्तर एक सुचारू, क्रमबद्ध रेखा में व्यवस्थित हैं, ठीक उसी तरह जैसे शैक्षिक सिद्धांत का इरादा है।
यह सुनिश्चित करने के लिए कि रोबोट सरल सुरागों को देखकर धोखाधड़ी नहीं कर रहा है (जैसे यह नोटिस करना कि "डिजाइन" का अर्थ आमतौर पर "कठिन" होता है और "सूची" का अर्थ "आसान" होता है), शोधकर्ताओं ने नियंत्रण परीक्षण (कंट्रोल टेस्ट) चलाए। उन्होंने केवल पृष्ठ पर दिए गए शब्दों का उपयोग करके कठिनाई का अनुमान लगाने की कोशिश की, बिना रोबोट के मस्तिष्क को देखे। वे सरल शब्द-गणना विधियाँ बुरी तरह विफल रहीं, जो केवल लगभग 73% सटीकता प्राप्त कर सकीं और यादृच्छिक, बिखरी हुई गलतियाँ करती थीं। यह साबित करता है कि रोबोट वास्तव में प्रॉम्प्ट को पढ़ने से कहीं अधिक गहरा कुछ कर रहा है; वह कार्य की कठिनाई का एक जटिल आंतरिक प्रतिनिधित्व बना रहा है।
अंत में, टीम ने रोबोट के मस्तिष्क को "स्टीयर" (नियंत्रित) करने की कोशिश की। उन्होंने रोबोट के मस्तिष्क संकेतों में एक विशिष्ट दिशा पाई जो "उच्च कठिनाई" की ओर इशारा करती है। जब उन्होंने रोबोट के मस्तिष्क को उस दिशा में धकेला, तो रोबोट के उत्तर वास्तव में बदल गए। यदि उन्होंने एक सरल प्रश्न को "रचनात्मक" दिशा की ओर धकेला, तो रोबोट अधिक जटिल, विश्लेषणात्मक उत्तर देने लगा। हालाँकि, यदि उन्होंने प्रक्रिया में बहुत अधिक या बहुत देर से धक्का दिया, तो रोबोट हकलाने और शब्दों को दोहराने लगा, जो दर्शाता है कि यह "कठिनाई दिशा" सोचने के तरीके का एक वास्तविक, कार्यात्मक हिस्सा है, न कि केवल एक निष्क्रिय पैटर्न।
संक्षेप में, यह शोध पत्र सुझाव देता है कि इन AI मॉडल्स में एक अंतर्निहित, मापने योग्य संज्ञानात्मक जटिलता (cognitive complexity) का बोध है। वे केवल शब्दों को प्रोसेस नहीं करते; वे अपने आंतरिक विचारों को कठिनाई की एक सीढ़ी के अनुसार व्यवस्थित करते हैं, सरल तथ्यों को जटिल विचारों से अलग करते हुए, एक संरचित, रैखिक तरीके से जो मानव सीखने के समान है। यह खोज हमें इस ब्लैक बॉक्स के अंदर झांकने का एक नया तरीका देती है और यह समझने में मदद करती है कि, कम से कम कुछ तरीकों में, ये मॉडल हमारे तरीके से ही अपने "विचारों" को व्यवस्थित कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।