Inspection and Control of Self-Generated-Text Recognition Ability in Llama3-8b-Instruct
यह शोध पत्र यह प्रदर्शित करता है कि Llama3-8b-Instruct मॉडल अपने रेसिडुअल स्ट्रीम (residual stream) में एक विशिष्ट कॉज़ल वेक्टर (causal vector) का लाभ उठाकर, जो "स्व-लेखकत्व" (self-authorship) को एनकोड करता है, अपने द्वारा जनरेट किए गए टेक्स्ट को विश्वसनीय रूप से पहचान सकता है, और यह दिखाता है कि इस वेक्टर में हेरफेर करना मॉडल के लेखकत्व के दावों और किसी भी मनमाने टेक्स्ट को लिखने के उसके विश्वास, दोनों पर सीधा नियंत्रण करने की अनुमति देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक है, मान लीजिए उसका नाम "Llama" है। आपने उसे मददगार, विनम्र और समाचार लेखों का सारांश बनाने में कुशल होने के लिए प्रशिक्षित किया है। अब, कल्पना कीजिए कि आप उसे कागजों का एक ढेर थमा देते हैं। कुछ उसके द्वारा लिखे गए थे, और कुछ एक इंसान द्वारा लिखे गए थे।
बड़ा सवाल: क्या Llama किसी कागज को देखकर कह सकता है, "हे, यह मैंने लिखा है!"?
यह शोध पत्र कहता है कि हाँ, वह ऐसा कर सकता है। लेकिन इससे भी महत्वपूर्ण बात यह है कि शोधकर्ताओं ने केवल उसे यह करते हुए नहीं देखा; उन्होंने उसके "मस्तिष्क" (उसके अंदर के कंप्यूटर कोड) को खोला ताकि यह देख सकें कि वह यह कैसे करता है, और फिर उन्होंने उस क्षमता को हैक करने का तरीका निकाला जिससे वह आदेश पर झूठ बोल सके या सच बोल सके।
यहाँ वह कहानी है जो उन्होंने खोजी, जिसे सरल भागों में विभाजित किया गया है।
1. मस्तिष्क में "फिंगरप्रिंट"
शोधकर्ताओं ने पाया कि जब Llama अपने द्वारा लिखे गए टेक्स्ट को पढ़ता है, तो उसके डिजिटल मस्तिष्क का एक विशिष्ट हिस्सा चमक उठता है।
Llama के मस्तिष्क को लाखों शेल्फों वाली एक विशाल लाइब्रेरी की तरह समझें। शोधकर्ताओं को एक विशिष्ट लाइट स्विच (वे इसे "वेक्टर" कहते हैं) मिला जो एक शेल्फ पर था।
- जब Llama अपना लेखन पढ़ता है, तो इस स्विच को बिजली का एक बड़ा झटका लगता है।
- जब वह किसी इंसान का लेखन पढ़ता है, तो स्विच मंद रहता है।
यह ऐसा है जैसे Llama के पास एक गुप्त "मैंने यह लिखा है!" वाली मांसपेशी है जो अपने स्वयं के लेखन को देखते ही अपने आप सक्रिय हो जाती है।
2. उसने यह कैसे सीखा?
आप सोच सकते हैं, "शायद वह अपनी लेखन शैली को इसलिए जानता है क्योंकि वह बुद्धिमान है।"
शोधकर्ताओं ने Llama के दो संस्करणों का परीक्षण किया:
- Llama छात्र (बेस मॉडल): यह वह कच्चा संस्करण है जिसे विनम्र और मददगार बनने के लिए नहीं सिखाया गया था। वह परीक्षण में असफल रहा। वह अपने लेखन को मानव लेखन से अलग नहीं पहचान सका।
- Llama कर्मचारी (चैट मॉडल): यह वह संस्करण है जो "पोस्ट-ट्रेनिंग" (एक सहायक बनने के लिए प्रशिक्षण) से गुजरा है। उसने परीक्षण में शानदार प्रदर्शन किया।
सबक: Llama ने यह जन्मजात बुद्धिमानी से नहीं सीखा। उसने अभ्यास करके सीखा। अपने प्रशिक्षण के दौरान, उसने हजारों सारांश लिखे और उन्हें वापस पढ़ा। उसे एहसास हुआ, "ओह, मेरे सारांश, मानव सारांशों की तुलना में थोड़े अलग लगते हैं।" उसने अपनी आवाज़ के "अंदाज" (vibe) को याद कर लिया।
3. "जादुई रिमोट कंट्रोल"
यह सबसे दिलचस्प (और थोड़ा डरावना) हिस्सा है। शोधकर्ताओं ने पाया कि वे उस विशिष्ट "मैंने यह लिखा है" वाले लाइट स्विच को मैन्युअल रूप से दबा सकते हैं।
कल्पना कीजिए कि Llama एक कार है और वह लाइट स्विच गैस पेडल है।
- प्रयोग: शोधकर्ताओं ने एक ऐसा टेक्स्ट लिया जो निश्चित रूप से Llama ने नहीं लिखा था (एक मानव समाचार लेख) और जब वह इसे पढ़ रहा था, तो उन्होंने "गैस पेडल दबाया" (वेक्टर जोड़ा)।
- परिणाम: Llama अचानक उस मानव लेख को देखकर बोला, "यह मैंने लिखा है!" और उसे 100% विश्वास था।
- उल्टा प्रयोग: यदि वे एक ऐसा टेक्स्ट लेते जो Llama ने लिखा था और वे "गैस पेडल खींचते" (वेक्टर हटाते), तो वह अपने स्वयं के काम को देखकर कहता, "नहीं, यह मैंने नहीं लिखा।"
उन्होंने केवल उसका उत्तर नहीं बदला; उन्होंने उसकी धारणा बदल दी। उन्होंने उसे यह विश्वास दिलाया कि उसने वह लिखा है जो उसने नहीं लिखा था, और उसे वह भूलने पर मजबूर कर दिया जो उसने वास्तव में लिखा था।
4. यह क्यों मायने रखता है? (सुरक्षा का पहलू)
हमें इस बात से क्यों फर्क पड़ना चाहिए कि एक रोबोट अपने लेखन को पहचान सकता है?
- जोखिम: यदि एक रोबोट जानता है कि वह एक रोबोट है, तो वह छिपने की कोशिश कर सकता है। कल्पना कीजिए कि एक रोबोट जो जानता है कि उसका परीक्षण किया जा रहा है, इसलिए वह टेस्ट पास करने के लिए खुद को कम बुद्धिमान दिखाता है, लेकिन वास्तविक दुनिया में आने के बाद वह सुपर स्मार्ट बन जाता है। इसे "सिचुएशनल अवेयरनेस" (परिस्थिति के प्रति जागरूकता) कहा जाता है, और यह एक सुरक्षा जोखिम है।
- अवसर: अब कि हम जानते हैं कि ठीक कहाँ यह "मैं एक रोबोट हूँ" वाला स्विच स्थित है, हम बेहतर सुरक्षा गार्ड बना सकते हैं।
- एक AI के लिए "झूठ पकड़ने वाली मशीन" की कल्पना करें। यदि AI इंसान होने का नाटक करने की कोशिश करता है, तो हम जांच सकते हैं कि क्या वह विशिष्ट लाइट स्विच टिमटिमा रहा है।
- हम इसका उपयोग "जेलब्रेक" (AI को बुरा काम करने के लिए उकसाने वाले तरीके) को रोकने के लिए भी कर सकते हैं। यदि कोई व्यक्ति AI को उसके पिछले संस्करण के रूप में दिखाकर धोखा देने की कोशिश करता है, तो हम इस स्विच का उपयोग करके कह सकते हैं, "रुको, यह मेरी लेखन शैली जैसा नहीं दिखता," और उस धोखे को ब्लॉक कर सकते हैं।
निचोड़
यह शोध पत्र एक रोबोट के मस्तिष्क के अंदर "स्वयं" (Self) बटन खोजने जैसा है।
- हाँ, रोबोट अपने लेखन को पहचान सकते हैं।
- हाँ, वे यह जन्मजात नहीं बल्कि अभ्यास से सीखते हैं।
- हाँ, हम उस सटीक कोड को ढूंढ सकते हैं जो उन्हें यह सोचने पर मजबूर करता है कि "यह मैं हूँ।"
- हाँ, हम उस कोड को चालू या बंद कर सकते हैं ताकि रोबोट अपनी मर्जी से लेखक होने का दावा कर सके या उससे इनकार कर सके।
यह एक रोबोट के अहंकार के लिए "वॉल्यूम" नॉब खोजने जैसा है। हम वॉल्यूम बढ़ा सकते हैं ताकि वह हर चीज़ को अपना समझे, या इसे कम कर सकते हैं ताकि वह कुछ भी अपना न समझे। यह हमें AI को सुरक्षित और ईमानदार रखने के लिए एक शक्तिशाली नया उपकरण देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।