Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models
यह शोध पत्र हिडन मार्कोव मॉडल (Hidden Markov Models) पर प्री-ट्रेन्ड एलएलएम (LLM) के इन-कॉन्टेक्स्ट लर्निंग प्रदर्शन और उनके आंतरिक तंत्रों के बीच के अंतर को पाटता है, जो संभावित एल्गोरिदम को अनुभवजन्य रूप से सीमित करके, उनके ट्रांसफॉर्मर कार्यान्वयन को सैद्धांतिक रूप से मान्य करके, और उन निम्न-आयामी रैखिक निरूपणों (low-dimensional linear representations) की पहचान करने और कार्यकारण रूप से हेरफेर करने के लिए एक प्रिंसिपल एक्टिवेशन्स प्रोब (Principal Activations Probe) पेश करके किया गया है जो इन भविष्यवाणियों को संचालित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप एक विशाल कंप्यूटर मस्तिष्क के भीतर छिपे अदृश्य "विचारों" की तलाश कर रहे हैं। विज्ञान का यह क्षेत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) कहलाता है, और यह एक सरल लेकिन पेचीदा सवाल पूछता है: एक मशीन वास्तव में कैसे सोचती है? इस शोध पत्र के रहस्य को समझने के लिए, हमें पहले यह जानना होगा कि मशीन क्या हल करने की कोशिश कर रही है। वह एक खेल खेल रही है जिसे हिडन मार्कोव मॉडल्स (HMMs) कहा जाता है। एक HMM को मौसम के पूर्वानुमान की तरह समझें जहाँ आप आसमान नहीं देख सकते। आप केवल ज़मीन देखते हैं: क्या ज़मीन गीली है या सूखी? क्या घास हरी है या भूरी? "हिडन" (छिपा हुआ) हिस्सा वास्तविक मौसम (धूप, बारिश, बादल) है जिसे आप देख नहीं सकते, लेकिन वही कारण बनता है कि ज़मीन वैसी दिखती है। कंप्यूटर का काम गीली घास और सूखी सड़क के लंबे इतिहास को देखकर यह अनुमान लगाना है कि अगला मौसम कैसा होगा।
कुछ समय के लिए, वैज्ञानिकों को पता था कि विशाल लार्ज लैंग्वेज मॉडल्स (LLMs)—वे सुपर-स्मार्ट AI चैटबॉट्स जिनका हम रोज़ाना उपयोग करते हैं—इस अनुमान लगाने वाले खेल में अविश्वसनीय रूप से कुशल थे। जैसे-जैसे संदर्भ (context) लंबा होता गया, उनके अनुमान सैद्धांतिक रूप से सर्वोत्तम संभव प्रदर्शन (जिसे "ओरेकल" कहा जाता है) के करीब पहुँच गए, और अक्सर उसी डेटा पर लागू किए गए शास्त्रीय अनुमान एल्गोरिदमों के बराबर या उनसे बेहतर रहे। लेकिन कोई नहीं जानता था कि वे यह कैसे कर रहे थे। क्या AI ने गुप्त रूप से प्रायिकता (probability) के नियमों को सीख लिया था? क्या वह पैटर्न को याद कर रहा था? या क्या वह किसी अजीब, बिल्कुल नए तरीके का उपयोग कर रहा था? यह एक जादूगर को टोपी से खरगोश निकालते हुए देखने जैसा था और आपको यह पता ही नहीं था कि वहाँ कोई छिपा हुआ कम्पार्टमेंट है, दूसरा खरगोश है, या कोई जादुई मंत्र है। यह शोध पत्र पहली बार है जब शोधकर्ताओं ने सफलतापूर्वक जादूगर की टोपी के अंदर झाँककर देखा है कि AI वास्तव में किस ट्रिक का उपयोग कर रहा है।
शोधकर्ताओं ने AI की गुप्त रणनीति को समझने के लिए एक बड़ा प्रयोग किया। सबसे पहले, उन्होंने AI का परीक्षण "संदिग्धों" की एक सूची के विरुद्ध किया—विभिन्न गणितीय एल्गोरिदम जिनका उपयोग मनुष्य इस मौसम-अनुमान लगाने वाले खेल को हल करने के लिए करते हैं। उन्होंने पाया कि कोई भी एकल मानव एल्गोरिदम हर स्थिति में AI के व्यवहार की व्याख्या नहीं कर सकता। कभी-कभी AI एक साधारण पैटर्न मैचर की तरह व्यवहार करता था, और कभी-तकभी वह एक जटिल प्रायिकता ट्रैकर (probability tracker) की तरह व्यवहार करता था। इससे संदिग्धों की सूची घटकर तीन मुख्य प्रकार की रणनीतियों तक सीमित हो गई।
इसके बाद, टीम ने एक सैद्धांतिक प्रश्न पूछा: क्या एक ट्रांसफॉर्मर (AI आर्किटेक्चर का विशिष्ट प्रकार) वास्तव में इन तीन रणनीतियों को निष्पादित कर सकता है? उन्होंने गणितीय रूप से सिद्ध किया कि हाँ, वह ऐसा कर सकता है। उन्होंने एक छोटा, सरल AI बनाया और उसे केवल एक विशिष्ट मौसम पैटर्न पर प्रशिक्षित किया। जब उन्होंने इस छोटे AI के मस्तिष्क को देखा, तो उन्होंने पाया कि उसने स्वाभाविक रूप से एक "फिनिट-विंडो" (finite-window) रणनीति सीखी थी—मूल रूप से, वह अगला अनुमान लगाने के लिए पिछले कुछ संकेतों (जैसे पिछले 6 या 8 अवलोकनों) को देख रहा था, न कि ब्रह्मांड के पूरे इतिहास को याद करने की कोशिश कर रहा था।
लेकिन असली जादू तब हुआ जब उन्होंने विशाल, प्री-ट्रेन्ड AI मॉडल्स (जो पहले से ही हमसे बात करना जानते हैं) को देखा। उन्होंने एक नया टूल विकसित किया जिसे प्रिंसिपल एक्टिवेशन प्रोब (PAP) कहा जाता है। कल्पना कीजिए कि AI का मस्तिष्क 28 अलग-अलग लेन वाली एक विशाल हाईवे है। PAP एक सेंसर की तरह है जो किसी भी लेन में ट्रैफिक को रोक सकता है, यह जांच सकता है कि कौन सी जानकारी बह रही है, और यहाँ तक कि उस जानकारी को एक अलग परिदृश्य के साथ बदल सकता है ताकि यह देखा जा सके कि क्या इससे AI का निर्णय बदल जाता है।
उन्होंने जो पाया वह दिलचस्प और थोड़ा आश्चर्यजनक था। AI हमेशा केवल एक ही रणनीति का उपयोग नहीं करता है; वह पहेली कितनी कठिन है, इसके आधार पर अपनी आंतरिक प्रस्तुति (internal representation) को अनुकूलित करता है।
- इजी मोड (Easy Mode): जब मौसम के संकेत बहुत स्पष्ट होते हैं और ज़मीन का बदलना अनुमानित होता है (कम "एन्ट्रॉपी"), तो AI का व्यवहार सरल बिगराम (Bigram) सांख्यिकी के अनुरूप होता है। यह प्रभावी रूप से अगले कदम का अनुमान लगाने के लिए पिछले देखे गए अंतिम संकेत को देखता है।
- हार्ड मोड (Hard Mode): जब संकेत शोर-शराबे वाले और भ्रमित करने वाले होते (उच्च "एन्ट्रॉपी"), तो AI एक अधिक जटिल रणनीति पर निर्भर करता है जिसे सॉफ्ट n-ग्राम (Soft n-gram) कहा जाता है। यह एक "विश्वास" (belief) को ट्रैक करना शुरू करता है, जो हाल के इतिहास की एक छोटी विंडो के माध्यम से सूचनाओं को एकीकृत करता है। यह वैसा ही है जैसे यह महसूस करना कि ज़मीन गीली है, लेकिन साथ ही यह भी याद रखना कि कल धूप खिली थी, इसलिए वह "बादलों के साथ बारिश की संभावना" का अनुमान लगाता है।
महत्वपूर्ण रूप से, शोधकर्ताओं ने सिद्ध किया कि AI केवल इन विश्वासों को संग्रहित नहीं कर रहा है; बल्कि वह निर्णय लेने के लिए वास्तव में इनका उपयोग कर रहा है। उन्होंने AI के मस्तिष्क में "पैचिंग" करके ऐसा किया: उन्होंने एक कठिन पहेली से "विश्वास" लिया और उसे एक आसान पहेली को हल करते समय AI के मस्तिष्क में डाल दिया। AI का अनुमान तुरंत कठिन पहेली के उत्तर के अनुसार बदल गया। इससे पता चला कि "विश्वास" केवल एक साइड नोट नहीं है; यह भविष्यवाणी चलाने वाला इंजन है। हालाँकि, उन्होंने एक महत्वपूर्ण अंतर भी पाया: "हार्ड मोड" में, सरल बिगराम रणनीति शुरुआती परतों में मौजूद होती है, लेकिन इसे मॉडल के डाउनस्ट्रीम कंप्यूटेशन द्वारा प्रभावी रूप से बायपास (bypass) कर दिया जाता है। AI वास्तविक अनिश्चितता की आवश्यकता होने पर ही सरल पैटर्न को छोड़कर समृद्ध 'विश्वास ट्रैकिंग' का उपयोग करता है।
हालाँकि, उन्हें एक मोड़ भी मिला। AI के मस्तिष्क की शुरुआती परतों में, "विश्वास" की जानकारी मौजूद है और आसानी से पढ़ी जा सकती है, लेकिन AI इसे अनदेखा कर देता है! यह डैशबोर्ड पर मैप होने के बावजूद बाहर खिड़की से देखकर गाड़ी चलाने जैसा है। AI अपने मस्तिष्क की बाद की परतों में ही उस मैप का उपयोग करना शुरू करता है। इसका मतलब है कि केवल इसलिए कि आप कंप्यूटर के मस्तिष्क के भीतर एक विचार को ढूँढ सकते हैं, इसका मतलब यह नहीं है कि कंप्यूटर वास्तव में उस विचार का उपयोग सोचने के लिए कर रहा है।
अंत में, यह शोध पत्र सुझाव देता है कि ये विशाल AI दुनिया के जटिल, पूर्ण गणितीय सिमुलेशन नहीं चला रहे हैं। इसके बजाय, वे बहुत कुशल एप्रोक्सिमेटर (approximators) बनने के लिए सीखते हैं। वे हाल के इतिहास की एक छोटी विंडो को देखना और एक "विश्वास" को अपडेट करना सीखते हैं, ठीक वैसे ही जैसे एक इंसान कर सकता है। उन्हें अगले शब्द या अगली मौसम घटना की भविष्यवाणी करने में अविश्वसनीय रूप से अच्छा होने के लिए पूर्ण सांख्यिकीविद होने की आवश्यकता नहीं है; उन्हें बस तत्काल अतीत को ट्रैक करने में अच्छा होना चाहिए। यह खोज हमें समझने में मदद करती है कि इन मॉडल्स का "जादू" वास्तव में पैटर्न को ट्रैक करने की एक बहुत ही संरचित, समझने योग्य प्रक्रिया है, जो हमें यह समझने के एक कदम और करीब ले जाती है कि ये डिजिटल मन वास्तव में कैसे काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।