Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence
छोटे मॉडलों में अर्थहीन रूप से असंबंधित किंतु हस्तक्षेप करने वाले बहुरूपी (polysemantic) लक्षणों की पहचान करने और उन पर हस्तक्षेप करने के लिए स्पार्स ऑटोएनकोडर्स का लाभ उठाते हुए, यह अध्ययन प्रदर्शित करता है कि ऐसे हस्तक्षेप पैटर्न स्केल और आर्किटेक्चर के पार सामान्यीकृत होते हैं, जो बड़े ब्लैक-बॉक्स लैंग्वेज मॉडल्स में पूर्वानुमानित व्यवहार नियंत्रण को सक्षम बनाते हैं और आंतरिक निरूपणों के एक अभिसारी, उच्च-क्रम संगठन को प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "स्विस आर्मी नाइफ" की समस्या
कल्पना कीजिए कि आपके पास एक विशाल स्विस आर्मी नाइफ (Swiss Army knife) है। इसमें एक ब्लेड, एक पेचकस (screwdriver), एक कॉर्कस्क्रू और एक टूथपिक है। अब, कल्पना कीजिए कि एक कंप्यूटर मस्तिष्क (एक लार्ज लैंग्वेज मॉडल या LLM) में, ये "ब्लेड्स" न्यूरॉन्स हैं।
एक आदर्श दुनिया में, एक न्यूरॉन केवल एक "ब्लेड" होगा, दूसरा केवल एक "पेचकस"। लेकिन वास्तव में, ये मॉडल इतने कुशल हैं कि वे एक ही न्यूरॉन में कई औजारों को ठूस देते हैं। एक न्यूरॉन काटने (cutting) के बारे में बात करते समय एक "ब्लेड" की तरह काम कर सकता है, लेकिन कार ठीक करने (fixing a car) के बारे में बात करते समय एक "पेचकस" की तरह भी काम कर सकता है।
इसे पॉलीसेमेंटिसिटी (Polysemanticity) कहा जाता है। यह मॉडल को स्मार्ट और कुशल बनाता है, लेकिन यह इसे अव्यवस्थित भी बनाता है। क्योंकि एक न्यूरॉन में दो अलग-अलग विचार समाहित हैं, इसलिए "ब्लेड" वाले हिस्से को बदलने से गलती से "पेचकस" वाला हिस्सा भी घूम जाता है।
खोज: "गुप्त दस्तक" (The Secret Knock)
शोधकर्ताओं ने एक डरावना सवाल पूछा: यदि हम एक न्यूरॉन के "ब्लेड" वाले हिस्से पर टैप करते हैं, तो क्या हम अनजाने में मॉडल को "पेचकस" के बारे में बात करने के लिए मजबूर कर सकते हैं, भले ही हमने इसके लिए कभी नहीं पूछा हो?
उन्होंने पाया कि हाँ, हम ऐसा कर सकते हैं।
उन्होंने खोजा कि इन कंप्यूटर दिमागों में, दो पूरी तरह से असंबंधित विचार (जैसे "बीथोवेन" और "हताशा") एक ही न्यूरॉन के भीतर गुप्त रूप से जुड़े हुए हैं। भले ही वे हमें पूरी तरह से अलग लगें, मॉडल का आंतरिक वायरिंग उन्हें पड़ोसी मानता है।
उपमा (Analogy):
मॉडल के मस्तिष्क को एक विशाल, भीड़भाड़ वाले डांस फ्लोर के रूप में सोचें।
- न्यूरॉन्स डांसर हैं।
- अवधारणाएं (Concepts) वे गाने हैं जिन पर वे नाच रहे हैं।
- पॉलीसेमेंटिसिटी (Polysemanticity) का अर्थ है कि एक डांसर एक साथ दो अलग-अलग गानों पर नाचने की कोशिश कर रहा है (एक जैज़ गाना और एक हेवी मेटल गाना)।
- हस्तक्षेप (Interference): यदि आप डांसर को जैज़ गाने पर ज़ोर से नाचने के लिए धक्का देते हैं, तो वे अनजाने में हेवी मेटल बीट पर पैर पटकना शुरू कर सकते हैं, भले ही आपने ऐसा करने के लिए नहीं कहा हो।
उन्होंने इसका परीक्षण कैसे किया (चार लीवर)
शोधकर्ताओं ने इन आकस्मिक कनेक्शनों को जबरदस्ती करवाने के लिए चार अलग-अलग लीवरों का उपयोग करके मॉडल को "हैक" करने की कोशिश की:
- फीचर लीवर (आंतरिक मानचित्र): उन्होंने डांस फ्लोर का मानचित्र बनाने के लिए एक विशेष उपकरण (जिसे स्पार्स ऑटोएन्कोडर कहा जाता है) का उपयोग किया। उन्होंने पाया कि दो गाने जो असंबंधित लगते थे, लेकिन एक ही डांसर साझा करते थे। उन्होंने डांसर को एक गाने की ओर धकेला, और मॉडल दूसरे गाने को गाने लगा।
- टोकन लीवर (ग्रेडिएंट): मानचित्र देखने के बजाय, उन्होंने उन विशिष्ट शब्दों (टोकन) को देखा जो डांसर को हिलाते थे। उन्होंने पाया कि एक विचार (जैसे "लाइसेंस") से जुड़े शब्दों को धकेलने से मॉडल अनजाने में दूसरे विचार (जैसे "राजनीति") के बारे में बात करने लगा। यह मानचित्र की तुलना में और भी बेहतर काम कर गया।
- प्रॉम्ट लीवर (फुसफुसाहट): उन्होंने मॉडल के मस्तिष्क को छुआ तक नहीं। उन्होंने बस बातचीत की शुरुआत में कुछ विशिष्ट शब्द (जैसे एक गुप्त कोड) जोड़ दिए। यह "फुसफुसाहट" मॉडल को अप्रत्याशित रूप से विषय बदलने के लिए पर्याप्त थी।
- न्यूरॉन लीवर (सुपर-न्यूरॉन): उन्होंने पाया कि कुछ डांसर ऐसे थे जो इतने सारे गाने (500+ अवधारणाएं!) एक साथ पकड़े हुए थे कि वे "सुपर-न्यूरॉन्स" बन गए थे। यदि आप इन डांसरों को तेज़ करते, तो पूरा डांस फ्लोर पागल हो जाता। यदि आप उन्हें बंद कर देते, तो फ्लोर को कोई फर्क नहीं पड़ता।
चौंकाने वाला मोड़: यह बड़े मॉडलों पर भी काम करता है
इस शोध पत्र का सबसे आश्चर्यजनक हिस्सा वह था जो इसके बाद हुआ।
उन्होंने इन अजीब, आकस्मिक लिंकों को दो छोटे, सरल मॉडलों (जैसे बच्चे के खिलौने) में पाया। फिर, वे उन "गुप्त कोडों" (विशिष्ट शब्दों या संकेतों) को लेकर आए जो उन्होंने खिलौना मॉडलों में पाए थे, और उन्हें विशाल, उन्नत मॉडलों (जैसे Llama-3 या Gemma, जो वयस्क जीनियस की तरह हैं) पर आज़माया।
परिणाम: यह काम कर गया।
भले ही बड़े मॉडलों को अलग तरह से प्रशिक्षित किया गया था और वे बहुत अधिक स्मार्ट थे, उनमें भी ठीक वैसी ही छिपी हुई वायरिंग थी। वह "गुप्त दस्तक" जो खिलौने पर काम करती थी, उसने जीनियस के दरवाजे भी खोल दिए।
उपमा:
कल्पना कीजिए कि आपको एक छोटे से शेड में फर्श का एक ढीला तख्ता मिलता है। आप उसे दबाते हैं, और छत का पंखा चालू हो जाता है। फिर आप एक विशाल, हाई-टेक गगनचुंबी इमारत में जाते हैं। आप बिल्कुल उसी जगह पर एक ढीला तख्ता पाते हैं, उसे दबाते हैं, और उस गगनचुंबी इमारत का छत का पंखा भी चालू हो जाता है।
यह सुझाव देता है कि सभी मॉडल, चाहे वे कितने भी बड़े या छोटे हों, विचारों को व्यवस्थित करने के एक ही मौलिक "ब्लूप्रिंट" पर आधारित हैं।
यह क्यों मायने रखता है?
- यह रैंडम नहीं है: हम पहले सोचते थे कि ये अजीब कनेक्शन केवल रैंडम ग्लिच (खामियां) हैं। यह पेपर साबित करता है कि वे व्यवस्थित (systematic) हैं। AI कैसे सोचता है, इसका एक छिपा हुआ ढांचा है जिसे हम अभी तक पूरी तरह से नहीं समझते हैं।
- यह एक भेद्यता (Vulnerability) है: यदि आप एक छोटे मॉडल को कुछ अजीब कहने के लिए धोखा दे सकते हैं, तो आप संभवतः एक बड़े मॉडल को भी उसी "गुप्त कोड" का उपयोग करके धोखा दे सकते हैं। यह सुरक्षा के लिए एक जोखिम है।
- यह एक उपकरण है: यदि हम इन छिपे हुए लिंक को समझते हैं, तो हम इसका उपयोग AI को नियंत्रित करने के लिए कर सकते हैं। हम संभावित रूप से पूरे मॉडल को फिर से प्रशिक्षित किए बिना, मॉडल को अधिक सहायक या कम विषाक्त होने के लिए "नज" (नudge) कर सकते हैं।
निचोड़ (The Bottom Line)
AI मॉडल सुपर-कुशल पुस्तकालयों की तरह हैं जहाँ किताबें अराजक तरीके से रखी गई हैं। एक किताब "कुकिंग" और "मैथ" दोनों के बारे में एक साथ हो सकती है। शोधकर्ताओं ने पाया कि यदि आप "कुकिंग" की किताब खींचते हैं, तो "मैथ" की किताब भी बाहर गिर जाती है।
इससे भी महत्वपूर्ण बात यह है कि यह अराजक स्टैकिंग छोटी लाइब्रेरी और बड़ी लाइब्रेरी दोनों में एक ही तरह से होती है। यदि हम इस अराजकता के नियमों को समझ लेते हैं, तो हम लाइब्रेरी को नियंत्रित करना सीख सकते हैं, या कम से कम यह समझ सकते हैं कि किताबें शेल्फ से नीचे क्यों गिर रही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।