Integrated and Cross-Architecture Interpretation of LLM Reasoning
यह शोधपत्र इंटीग्रेटेड, क्रॉस-आर्किटेक्चर रीजनिंग (IAR) फ्रेमवर्क प्रस्तुत करता है, जो विभिन्न लार्ज लैंग्वेज मॉडल आर्किटेक्चर और डोमेन में रीजनिंग पैटर्न की व्याख्या करने के लिए एक एकीकृत, सामान्यीकरण योग्य विधि प्रदान करने हेतु बैंडविड्थ-कैलिब्रेटेड म्यूचुअल इंफॉर्मेशन पीक विश्लेषण को डीप-थिंकिंग रेश्यो ओवरलैप और जैकार्ड स्टेबिलिटी मेट्रिक्स के साथ संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को एक जटिल करतब दिखाते हुए देख रहे हैं। आप अंतिम परिणाम (टोपी में खरगोश) देख सकते हैं और जादूगर की कही गई व्याख्या सुन सकते हैं ("अब, ध्यान से देखिए जब मैं टोपी से खरगोश बाहर निकालता हूँ...")। लेकिन आप टोपी के अंदर होने वाली गुप्त गतिविधियों या जादूगर की आंतरिक विचार प्रक्रिया को नहीं देख सकते।
लंबे समय से, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि बड़े भाषा मॉडल (LLMs) गणितीय समीकरणों या कोडिंग पहेलियों जैसे कठिन समस्याओं को हल करने के लिए कैसे "सोचते" हैं। वे AI द्वारा लिखे गए शब्दों (तर्क श्रृंखला/reasoning chain) को तो देख सकते हैं, लेकिन कंप्यूटर के मस्तिष्क के भीतर होने वाला वास्तविक मानसिक कार्य एक 'ब्लैक बॉक्स' बना हुआ है।
"Integrated and Cross-Architecture Interpretation of LLM Reasoning" शीर्षक वाला यह शोध पत्र, इस ब्लैक बॉक्स के भीतर झांकने का एक नया तरीका प्रस्तावित करता है। लेखक, लियोनार्डो मैथ्यू याव, वेई-बिन कौ, और युजियू यांग, यह तर्क देते हैं कि केवल एक सुराग देखना पर्याप्त नहीं है। इसके बजाय, उन्होंने एक तीन-भागों वाला जासूसी किट बनाया है जिसे IAR (इंटीग्रेटेड, आर्किटेक्चर-एग्नोस्टिक रीजनिंग) कहा जाता है, ताकि विभिन्न AI मॉडलों के सोचने के तरीके को समझा जा सके।
यहाँ उनका तरीका बताया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:
IAR डिटेक्टिव किट के तीन सुराग
शोधकर्ताओं ने महसूस किया कि पिछले तरीके केवल आधे सबूतों के साथ रहस्य सुलझाने की कोशिश करने जैसे थे। उन्होंने पूरी तस्वीर पाने के लिए तीन अलग-अलग "प्रोब्स" (probes) को मिलाया:
1. "अहा!" क्षण का डिटेक्टर (MIP)
- उपमा: कल्पना कीजिए कि आप एक व्याख्यान (lecture) सुन रहे हैं। अधिकांश समय, वक्ता केवल जगह भरने के लिए बोल रहा होता है। लेकिन कभी-कभी, वे कुछ ऐसा कहते हैं जो उत्तर कुंजी (answer key) से पूरी तरह जुड़ जाता है। वह विशिष्ट शब्द एक "अहा!" क्षण है।
- विज्ञान: टीम म्युचुअल इंफॉर्मेशन पीक (MIP) नामक टूल का उपयोग करती है। यह AI के आउटपुट को स्कैन करता है ताकि उन विशिष्ट शब्दों (टोकन्स) को खोजा जा सके जो सही उत्तर के बारे में सबसे अधिक जानकारी रखते हैं।
- चुनौती: इसे विभिन्न प्रकार के AI मॉडलों पर काम करने के योग्य बनाने के लिए, उन्हें इस टूल को "कैलिब्रेट" करना पड़ा, जैसे कैमरे के लेंस पर फोकस एडजस्ट करना, ताकि यह कुछ मॉडलों पर बहुत धुंधला न हो जाए और कुछ पर बहुत ज्यादा शार्प न हो जाए।
2. "गहन विचार" ट्रैकर (DTR)
- उपमा: कल्पना कीजिए कि एक छात्र गणित की समस्या हल कर रहा है। कुछ चरण आसान होते हैं और तुरंत हो जाते हैं (उथली सोच)। अन्य चरणों के लिए छात्र को रुकने, सिर खुजलाने और कुछ भी लिखने से पहले गहराई से सोचने की आवश्यकता होती है (गहरी सोच)।
- विज्ञान: वे डीप-थिंकिंग रेश्यो (DTR) का उपयोग करते हैं। यह मापता है कि कोई शब्द चुनने से पहले मॉडल की परतों (layers) के भीतर कितनी "कंप्यूटेशनल मेहनत" होती है। यदि कोई शब्द कई गहरी परतों के माध्यम से प्रोसेस होने के बाद चुना जाता है, तो वह एक "गहन विचार" वाला टोकन है।
3. "निरंतरता" की जाँच (Jaccard Stability)
- उपमा: यदि आप एक छात्र से वही कठिन प्रश्न तीन बार पूछते हैं, तो क्या वे इसे हल करने के लिए बिल्कुल उन्हीं मुख्य चरणों का उपयोग करेंगे? यदि वे ऐसा करते हैं, तो वे वास्तव में अवधारणा को समझते हैं। यदि वे हर बार अलग तरह से अनुमान लगाते हैं, तो वे शायद केवल भाग्यशाली थे।
- विज्ञान: शोधकर्ता AI को एक ही समस्या तीन बार थोड़े बदलाव के साथ देते हैं। वे जाँचते हैं कि क्या "अहा!" शब्द (चरण 1 से) हर बार एक ही स्थान पर दिखाई देते हैं। यदि वे दिखते हैं, तो तर्क स्थिर और वास्तविक है। यदि वे बहुत अधिक बदलते हैं, तो तर्क केवल एक इत्तेफाक हो सकता है।
बड़ी खोज: सुरागों को जोड़ना
इस शोध पत्र की सबसे रोमांचक खोज यह है कि जब इन सुरागों को मिलाया जाता है तो क्या होता है।
"फ़िल्टर" प्रभाव:
शोधकर्ताओं ने पाया कि "अहा!" शब्द (MIP) लगभग हमेशा "गहन विचार" वाले शब्दों (DTR) का एक छोटा, विशेष उपसमुच्चय (subset) होते हैं।
- इसे इस तरह सोचें: कल्पना कीजिए कि एक फैक्ट्री 1,000 विजेट्स (गहन विचार) का उत्पादन कर रही है। अधिकांश मानक पुर्जे हैं। लेकिन उनमें से केवल 50 महत्वपूर्ण गियर हैं जो वास्तव में मशीन को चलाते हैं।
- MIP टूल उन 1,000 गहन विचारों के ढेर में से उन 50 महत्वपूर्ण गियर्स को खोजने वाले फ़िल्टर की तरह काम करता है।
- यह क्यों मायने रखता है: पहले, लोग सोचते थे कि "गहन विचार" का अर्थ "अच्छा तर्क" है। यह पेपर दिखाता है कि केवल इसलिए कि एक मॉडल गहराई से सोच रहा है, इसका मतलब यह नहीं है कि वह सही सोच रहा है। सही कठिन विचारों को खोजने के लिए आपको "अहा!" फ़िल्टर की आवश्यकता होती है।
विभिन्न मॉडलों पर परीक्षण
टीम ने इसे केवल एक AI पर नहीं परखा। उन्होंने चार प्रकार के कार्यों: गणित, कोडिंग, लॉजिक और कॉमन सेंस के लिए तीन अलग-अलग मॉडलों (Qwen-7B, Qwen-14B, और Llama-8B) पर इसका परीक्षण किया।
परिणाम:
- सार्वभौमिक पैटर्न: "फ़िल्टर" प्रभाव (जहाँ महत्वपूर्ण "अहा!" शब्द, गहन विचारों का एक छोटा हिस्सा हैं) तीनों मॉडलों में समान रूप से काम कर गया, भले ही वे अलग-अलग तरह से बनाए गए थे। यह सुझाव देता है कि AI मॉडल एक सार्वभौमिक तरीके से तर्क करते हैं।
- भाग्य बनाम वास्तविक समझ: वे अंतर बता सके कि मॉडल ने वास्तव में समस्या को हल किया या वह केवल भाग्यशाली था।
- वास्तविक तर्क (Genuine Reasoning): मॉडल ने कुछ बहुत ही विशिष्ट "अहा!" शब्द खोजे और लगातार उन पर टिका रहा।
- भाग्यशाली अनुमान (Lucky Guessing): मॉडल ने बहुत सारे "अहा!" शब्द उत्पन्न किए, लेकिन वे बिखरे हुए, असंगत थे और विभिन्न प्रयासों के बीच मेल नहीं खाते थे।
- "मौन" विफलता: कभी-कभी मॉडल उत्तर गलत देता है लेकिन फिर भी एक तर्क श्रृंखला (reasoning chain) बनाता है। टीम ने पाया कि इन मामलों में, "अहा!" शब्द या तो गायब थे या अस्थिर थे।
इसका क्या अर्थ है (और क्या नहीं)
यह पेपर क्या दावा करता है:
- अब हम देख सकते हैं कि AI मॉडल कहाँ और कैसे तर्क करते हैं, उनके द्वारा चुने गए विशिष्ट शब्दों और मॉडल कितनी गहराई से सोचता है, इसे देखकर।
- यह तरीका विभिन्न प्रकार के AI मॉडलों पर काम करता है, न कि केवल किसी एक विशिष्ट ब्रांड पर।
- हम एक ऐसे मॉडल के बीच अंतर कर सकते हैं जो वास्तव में समस्या को समझता है और एक ऐसे मॉडल के बीच जो केवल अनुमान लगा रहा है या भ्रमित (hallucinating) हो रहा है।
यह पेपर क्या दावा नहीं करता है:
- यह यह नहीं कहता कि इससे भविष्य में AI स्मार्ट बनेगा।
- यह दावा नहीं करता है कि इसका उपयोग मानव मानसिक स्वास्थ्य या नैदानिक (clinical) मुद्दों के निदान के लिए किया जा सकता है।
- यह यह वादा नहीं करता है कि हम अब AI की तर्क संबंधी त्रुटियों को तुरंत "ठीक" कर सकते हैं; यह केवल उन्हें देखने का एक बेहतर तरीका देता है।
सारांश
इस पेपर को एक नए चश्मे के आविष्कार के रूप में सोचें। पहले, जब हम AI को गणित की समस्या हल करते देखते थे, तो हमें शब्दों का एक धुंधलापन दिखता था। इन नए चश्मों (IAR फ्रेमवर्क) के साथ, हम स्पष्ट रूप से उन विशिष्ट क्षणों को देख सकते हैं जहाँ AI अपना वास्तविक काम कर रहा है, हम एक शानदार अंतर्दृष्टि और एक भाग्यशाली अनुमान के बीच अंतर कर सकते हैं, और यह पुष्टि कर सकते हैं कि यह "सोचने का तरीका" इस मशीन के काम करने का एक मौलिक हिस्सा है, चाहे वह किसी भी ब्रांड की हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।