Patches of Nonlinearity: Instruction Vectors in Large Language Models
यह शोध पत्र यह जांच करता है कि बड़े भाषा मॉडल (large language models) निर्देशों को कैसे संसाधित करते हैं, "इंस्ट्रक्शन वेक्टर्स" (Instruction Vectors - IVs) की पहचान करके जो सर्किट चयनकर्ता (circuit selectors) के रूप में कार्य करते हैं, यह प्रदर्शित करते हुए कि जबकि ये प्रतिनिधित्व स्थानीयकृत और रैखिक रूप से विभाज्य (linearly separable) हैं, वे जटिल गैर-रैखिक कारण तंत्रों (non-linear causal mechanisms) के माध्यम से मॉडल के आंतरिक पथों के साथ परस्पर क्रिया करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विश्व स्तरीय शेफ को एक जटिल व्यंजन तैयार करते हुए देख रहे हैं। आप उन्हें प्याज काटते, मांस को भूनते और सॉस को धीमी आंच पर पकाते हुए देखते हैं। आप जानते हैं कि वे "बीफ बरगुइग्नन" (Beef Bourguignon) बना रहे हैं, लेकिन आप यह नहीं जानते कि उनका मस्तिष्क चरणों को कैसे व्यवस्थित कर रहा है। क्या वे एक मानसिक रेसिपी कार्ड का पालन कर रहे हैं, या वे बस लहसुन की खुशबू के प्रति प्रतिक्रिया दे रहे हैं जो पैन में गिरते ही फैल रही है?
यह शोध पत्र, "पैचेस ऑफ नॉनलिनियैरिटी" (Patches of Nonlinearity), मूल रूप से लार्ज लैंग्वेज मॉडल्स (जैसे ChatGPT) के लिए एक "ब्रेन स्कैन" है। शोधकर्ता यह जानना चाहते थे कि: जब आप एक AI को कोई निर्देश देते हैं (जैसे "इसका फ्रेंच में अनुवाद करें"), तो वह काम करते समय उस निर्देश को अपने मन में वास्तव में कैसे "धारण" करता है?
यहाँ तीन सरल उपमाओं का उपयोग करके उनकी खोज का विवरण दिया गया है।
1. "मानसिक स्टिकी नोट" (इंस्ट्रक्शन वेक्टर्स)
शोधकर्ताओं ने पाया कि जैसे ही एक AI किसी निर्देश को पढ़ता है, वह उस कार्य का एक छोटा, केंद्रित "सारांश" बनाता है।
उपमा: कल्पना कीजिए कि आप एक पुस्तकालय में जाते हैं। इससे पहले कि आप कोई किताब ढूँढना शुरू करें, आप एक स्टिकी नोट पर "एक रहस्यमयी उपन्यास खोजें" लिख लेते हैं और उसे अपने माथे पर चिपका देते हैं। आपको प्रवेश द्वार के साइन को बार-बार पढ़ने की आवश्यकता नहीं है; आपके मिशन का "सार" वहीं है, आपसे जुड़ा हुआ, जो आपके हर कदम को निर्देशित करने के लिए तैयार है।
AI की भाषा में, वे इन्हें इंस्ट्रक्शन वेक्टर्स (Instruction Vectors - IVs) कहते हैं। ये कार्य के स्थानीयकृत "संक्षिप्त विवरण" हैं जिन्हें मॉडल शुरुआत में ही बना लेता है, जो फिर शेष प्रक्रिया को निर्देशित करते हैं।
2. "सिनर्जिस्टिक जैज़ बैंड" (सुपरएडिटिविटी)
यह इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा है। आमतौर पर, वैज्ञानिक मानते हैं कि यदि भाग A का AI 5 यूनिट काम करता है और भाग B का 5 यूनिट काम करता है, तो वे मिलकर 10 यूनिट काम करते हैं। इसे "लीनियर" (रैखिक) सोच कहा जाता है।
लेकिन शोधकर्ताओं ने पाया कि निर्देश का पालन करना नॉन-लीनियर (सुपरएडिटिव) है।
उपमा: एक जैज़ बैंड (Jazz Band) के बारे में सोचें। यदि ड्रमर अकेले बजाता है, तो यह केवल एक ताल है। यदि पियानो वादक अकेले बजाता है, तो यह केवल एक धुन है। लेकिन जब वे साथ मिलकर बजाते हैं, तो वे केवल "ताल + धुन" पैदा नहीं करते। वे एक "ग्रूव" (Groove) बनाते हैं—एक तीसरी, जादुई चीज़ जो अपने हिस्सों के योग से कहीं अधिक महान है।
AI की आंतरिक परतें उसी तरह काम करती हैं। एक परत निर्देश का एक हिस्सा रख सकती है, और दूसरी तर्क का एक हिस्सा, लेकिन वे केवल तभी वास्तव में "क्लिक" करते हैं और कार्य को हल करते हैं जब वे एक जटिल, नॉन-लीनियर तरीके से परस्पर क्रिया करते हैं। आप ड्रमर और पियानो वादक को अलग-अलग देखने से उस "ग्रूव" को नहीं समझ सकते।
3. "सर्किट सेलेक्टर" (तंत्र)
अंत में, शोधकर्ता यह जानना चाहते थे कि वे "स्टिकी नोट्स" वास्तव में क्या करते हैं। क्या वे बस वहीं पड़े रहते हैं, या वे AI के सोचने के तरीके को बदलते हैं?
उपमा: एक शहर में एक विशाल इलेक्ट्रिकल स्विचबोर्ड (Electrical Switchboard) की कल्पना करें। वहाँ लाखों तार (पथ) हैं जो बिजली ले जा सकते हैं। बिना निर्देश के, बिजली बस बेतरतीब ढंग से बह रही है। लेकिन इंस्ट्रक्शन वेक्टर एक मास्टर स्विच (Master Switch) की तरह कार्य करता है।
एक बार जब "स्टिकी नोट" बन जाता है, तो वह मॉडल को बताता है: "हे, हम एक गणित का कार्य कर रहे हैं! स्विच 5, 12 और 89 को चालू करें, और बाकी को अनदेखा करें!" इंस्ट्रक्शन वेक्टर एक सर्किट सेलेक्टर (Circuit Selector) के रूप में कार्य करता है, जो उस विशिष्ट समस्या को हल करने के लिए आवश्यक विशिष्ट "विद्युत पथों" को चुनता है और उन पथों को बंद कर देता है जिनका उपयोग कविता या कोडिंग के लिए किया जाता है।
यह क्यों मायने रखता है?
यदि हम AI को सुरक्षित और अधिक विश्वसनीय बनाना चाहते हैं, तो हम इसे केवल एक "ब्लैक बॉक्स" की तरह नहीं मान सकते जो उत्तर उगल देता है। हमें यह जानना होगा कि यह कैसे "सोचता" है।
यह सिद्ध करके कि निर्देश इन "सुपरएडिटिव" स्टिकी नोट्स के रूप में संग्रहीत होते हैं जो विशिष्ट सर्किटों का चयन करते हैं, शोधकर्ताओं ने हमें एक नया मानचित्र दिया है। यह हमें बताता है कि यदि हम AI की गलतियों को सुधारना चाहते हैं, तो हम केवल एक एकल "न्यूरॉन" को नहीं बदल सकते—हमें यह समझना होगा कि पूरा "जैज़ बैंड" एक साथ कैसे बज रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।