Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies
यह शोध पत्र सिम्बॉलिक मैकेनिस्टिक डेटा एट्रिब्यूशन (SMDA) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मैकेनिस्टिक इंटरप्रिटेबिलिटी और डेटा एट्रिब्यूशन के बीच सेतु बनाता है, जिससे विश्लेषणात्मक रूप से यह विघटित किया जा सके कि विशिष्ट प्रशिक्षण उदाहरण उच्च-स्तरीय सिम्बॉलिक व्यवहार संबंधी नीतियों को कैसे आकार देते हैं, जिससे बड़े भाषा मॉडलों में व्यवस्थित सुरक्षा अंतराल और फीचर-स्तर के हस्तक्षेप का अनावरण होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, जटिल ऑर्केस्ट्रा की तरह है। लंबे समय से, हमने इस ऑर्केस्ट्रा को एक "ब्लैक बॉक्स" के रूप में माना है: हम जानते हैं कि यह क्या संगीत बजाता है (इसके उत्तर क्या हैं), लेकिन हमें यह नहीं पता कि कौन सा विशिष्ट वाद्य यंत्र कौन सा स्वर बजा रहा है, या कंडक्टर ने गाना शुरू करने का निर्णय कैसे लिया।
मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) वह क्षेत्र है जो ऑर्केस्ट्रा की आंतरिक वायरिंग को समझने की कोशिश कर रहा है। यह यह पता लगाने जैसा है कि एक विशिष्ट वायलिन वादक (एक "न्यूरॉन") हमेशा "राजनीति" के विषय पर एक ऊँचा स्वर बजाता है, या एक विशिष्ट ड्रम बीट (एक "सर्किट") कब बजती है जब मॉडल झूठ बोलने वाला होता है।
लेकिन यहाँ एक हिस्सा गायब है: डेटा एट्रिब्यूशन (Data Attribution)। हम जानते हैं कि ऑर्केस्ट्रा कैसे संगीत बजाता है, लेकिन हमें यह नहीं पता कि किस "शीट म्यूजिक" (प्रशिक्षण डेटा/training data) ने उन्हें इस तरह बजाना सिखाया। क्या प्रशिक्षण सेट के किसी विशिष्ट गीत ने वायलिन वादक को ऊँचा स्वर बजाना सिखाया? या किसी अन्य गीत ने ड्रमर को रुकना सिखाया?
यह पेपर इस पहेली को सुलझाने के लिए एक नया टूल पेश करता है जिसे SMDA (सिंबोलिक मैकेनिस्टिक डेटा एट्रिब्यूशन) कहा जाता है, जो विशेष रूप से इस बात पर केंद्रित है कि AI मॉडल कभी-कभी हानिकारक कार्यों के लिए "मैं यह नहीं कर सकता" (अस्वीकार/refusal) क्यों कहता है।
SMDA कैसे काम करता है, इसे सरल उपमाओं का उपयोग करके यहाँ समझाया गया है:
1. "सिंबोलिक पॉलिसी" (नियम पुस्तिका - The Rulebook)
एक एकल, सूक्ष्म न्यूरॉन के प्रभाव को पीछे खोजने के बजाय (जो रेत के समुद्र पर एक रेत के कण को खोजने जैसा है), SMDA मॉडल के व्यवहार को समझाने के लिए एक सरल नियम पुस्तिका (एक "सिंबोलिक पॉलिसी") बनाता है।
- उपमा: कल्पना कीजिए कि AI का इनकार करने का व्यवहार एक जज की तरह है जो किसी पुस्तक पर प्रतिबंध लगाने का निर्णय ले रहा है। जज केवल पुस्तक को नहीं देखता; वे 75 विशिष्ट "फीचर्स" (जैसे "क्या इसमें हिंसा है?" या "क्या यह धर्म के बारे में है?") की एक चेकलिस्ट देखते हैं।
- नवाचार: SMDA इन 75 फीचर्स को खोजने के लिए एक "स्पार्स ऑटोएनकोडर" (SAE) का उपयोग करता है। यह एक सुपर-एडवांस्ड ट्रांसलेटर की तरह है जो AI के जटिल, अव्यवस्थित आंतरिक विचारों को स्पष्ट, मानव-पठनीय अवधारणाओं (जैसे "धार्मिक रूढ़िवादिता" या "हिंसक दृश्य") में बदल देता है।
- लक्ष्य: SMDA इस चेकलिस्ट पर एक सरल गणितीय समीकरण (रिज रिग्रेशन) फिट करता है। यह समीकरण हमें बताता है कि जब AI "ना" कहने का निर्णय लेता है, तो वह प्रत्येक फीचर को कितना महत्व देता है।
2. "क्या-होता-यदि" प्रयोग (प्रभाव का पता लगाना - The "What-If" Experiment)
एक बार जब नियम पुस्तिका बन जाती है, तो SMDA पूछता है: "यदि हमने AI के इतिहास में एक विशिष्ट प्रशिक्षण उदाहरण जोड़ा होता, तो वह नियम पुस्तिका को कैसे बदल देता?"
- उपमा: कल्पना कीजिए कि आप एक छात्र को पढ़ा रहे हैं। आप जानना चाहते हैं कि क्या उन्हें जलते हुए भवन की तस्वीर दिखाने से (एक "हानिकारक" उदाहरण) "911 कब बुलाना है" के उनके नियम में बदलाव आया।
- दो मार्ग (Two Pathways): SMDA देखता है कि यह प्रशिक्षण उदाहरण नियम पुस्तिका को दो तरीकों से कैसे बदलता है:
- "मैं क्या देखता हूँ" वाला मार्ग (): क्या उस प्रशिक्षण उदाहरण ने इस तरह दुनिया को देखने के तरीके को बदल दिया? (उदाहरण के लिए, क्या इसने AI को "आग" शब्द के प्रति अधिक संवेदनशील बना दिया?)
- "मैं क्या निर्णय लेता हूँ" वाला मार्ग (): क्या उस प्रशिक्षण उदाहरण ने AI के अंतिम निर्णय को बदल दिया? (उदाहरण के लिए, क्या इसने AI को यह सोचने पर मजबूर किया कि वह जो कुछ भी देखता है, उसके बावजूद "मैं नहीं कर सकता" कहने की अधिक संभावना रखता है?)
इन दोनों को अलग करके, SMDA आपको ठीक से बता सकता है कि एक विशिष्ट प्रशिक्षण जोड़ी का प्रभाव क्यों था।
3. उन्होंने क्या पाया (परिणाम - What They Found)
शोधकर्ताओं ने इसका परीक्षण Llama-3.2-3B-Instruct पर किया, जो एक लोकप्रिय AI मॉडल है, जिसमें 200 प्रशिक्षण उदाहरणों (कुछ हानिकारक, कुछ हानिरहित) का उपयोग किया गया। यहाँ उनकी खोजें दी गई हैं:
नियम पुस्तिका में "गैप" (The "Gap" in the Rulebook): उन्होंने पाया कि AI की नियम पुस्तिका में एक अजीब दोष था। "धार्मिक रूढ़िवादिता" या "संरक्षित समूहों का मज़ाक उड़ाने" जैसी श्रेणियों के लिए, AI नुकसान को पहचान तो सकता था (फीचर सक्रिय हो जाता था), लेकिन नियम पुस्तिका उन फीचर्स को नकारात्मक वजन (negative weight) देती थी।
- अनुवाद: AI जानता था कि वह कुछ बुरा देख रहा है, लेकिन उसकी आंतरिक नियम पुस्तिका उसे अनदेखा करने और अनुपालन करने के लिए कह रही थी। यह एक सुरक्षा गार्ड की तरह है जो एक चोर को देखता है लेकिन उसके पास ऐसी नियम पुस्तिका है जो कहती है, "यदि आप एक चोर को देखें, तो उसे जाने दें।" SMDA ने इस टूटी हुई व्यवस्था को उजागर किया।
"क्रॉस-फीचर इंटरफेरेंस" (अनचाहे दुष्प्रभाव - The "Cross-Feature Interference"): यह एक महत्वपूर्ण खोज है। जब उन्होंने AI को "एक जंगली सूअर की हत्या करने" (एक हिंसक, हानिकारक विषय) के प्रॉम्प्ट पर प्रशिक्षित किया, तो उन्हें उम्मीद थी कि यह "हिंसा" के नियम को मजबूत करेगा।
- आश्चर्य: उस एक प्रशिक्षण उदाहरण ने गलती से बिल्कुल असंबंधित विषयों, जैसे "कॉपीराइट अनुरोध" या "धार्मिक प्रश्न" के नियमों को भी बदल दिया।
- उपमा: यह एक छात्र को चाकू से सावधान रहने के लिए सिखाने जैसा है, लेकिन इस प्रक्रिया में, आपने अनजाने में उसे चम्मचों से भी डरने के लिए सिखा दिया। प्रशिक्षण डेटा "छलक" गया और उन नियमों में हस्तक्षेप किया जिन्हें उसे छूना भी नहीं चाहिए था।
खराब प्रशिक्षण डेटा (Bad Training Data): उन्होंने पाया कि कुछ प्रशिक्षण उदाहरण "गलत कैलिब्रेटेड" थे। उदाहरण के लिए, "मोटे और लंबे लिंग" (एक यौन/हानिकारक विषय) के बारे में पूछने वाला एक प्रॉम्प्ट AI को यौन सामग्री को अस्वीकार करना सिखाने के लिए था। इसके बजाय, SMDA ने दिखाया कि इस उदाहरण ने मुख्य रूप से AI को सामान्य, हानिरहित प्रश्नों को अस्वीकार करने के लिए सिखाया।
- अनुवाद: AI ने गलत सबक सीखा। उसने सोचा, "यदि मैं यह अजीब सवाल देखता हूँ, तो मुझे सब कुछ पूछने से रुक जाना चाहिए," न कि "मुझे केवल यौन प्रश्नों को अस्वीकार करना चाहिए।"
यह क्यों महत्वपूर्ण है
SMDA से पहले, यदि आप जानना चाहते थे कि AI ने किसी अनुरोध को अस्वीकार क्यों किया, तो आपको या तो:
- अनुमान लगाना पड़ता (Black-box influence functions): "इस प्रशिक्षण डेटा ने शायद इसे प्रभावित किया होगा।"
- सर्किट्स का मैन्युअल निरीक्षण करना पड़ता: "आइए न्यूरॉन #452 को देखें..." (यह धीमा है और बड़े पैमाने पर करना कठिन है)।
SMDA इस अंतर को पाटता है। यह आपको एक ऐसा डायग्नोस्टिक टूल देता है जो है:
- सूक्ष्म (Fine-grained): यह समझाता है कि क्यों (जैसे, "इस प्रशिक्षण जोड़ी ने 'धर्म' के नियम को बदला, न कि 'हिंसा' के नियम को")।
- स्केलेबल (Scalable): इसके लिए यह आवश्यक नहीं है कि कोई इंसान हर एक न्यूरॉन को मैन्युअल रूप से मैप करे।
संक्षेप में: SMDA AI प्रशिक्षण डेटा के लिए एक फॉरेंसिक अकाउंटेंट की तरह है। यह केवल यह नहीं कहता कि "इस डेटा ने AI को बदल दिया"; यह एक विस्तृत रसीद प्रदान करता है जो दिखाता है कि वास्तव में कौन से आंतरिक नियम बदले गए, कौन से नियम टूटे, और किन प्रशिक्षण उदाहरणों ने AI को गलत सबक सीखने के लिए प्रेरित किया। यह शोधकर्ताओं को "नियम पुस्तिका" को ठीक करने में मदद करता है ताकि AI को अधिक सुरक्षित और विश्वसनीय बनाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।