The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology
यह शोध पत्र यह प्रदर्शित करता है कि व्हाइट-बॉक्स तकनीकों का परीक्षण करने के लिए उपयोग किए जाने वाले मॉडल ऑर्गेनिज्म की व्याख्यात्मकता (interpretability) प्रशिक्षण पद्धति पर अत्यधिक निर्भर है, जहाँ अधिक यथार्थवादी एकीकृत प्रशिक्षण अक्सर मानक पोस्ट-हॉक विधियों की तुलना में कम व्याख्या योग्य मॉडल उत्पन्न करता है, जिससे व्याख्यात्मकता के मूल्यांकन के लिए विश्वसनीय प्रॉक्सी के रूप में वर्तमान मॉडल ऑर्गेनिज्म की वैधता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "मॉडल ऑर्गेनिज़्म" (Model Organism) की लॉटरी
कल्पना कीजिए कि आप एक वैज्ञानिक हैं जो यह समझने की कोशिश कर रहे हैं कि एक जटिल मशीन कैसे काम करती है। अपना काम आसान बनाने के लिए, आप एक "अभ्यास मशीन" बनाते हैं जो एक विशिष्ट, अजीब ट्रिक करती है। आप इसे मॉडल ऑर्गेनिज़्म (MO) कहते हैं।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, शोधकर्ता इन "अभ्यास मशीनों" (छोटे AI मॉडल) का निर्माण करते हैं जिन्हें कुछ थोड़ा असामान्य करने के लिए प्रशिक्षित किया जाता है, जैसे कि:
- यह विश्वास करना कि केक चीनी के बजाय नमक से बना है।
- सैन्य चर्चाओं के दौरान हमेशा पनडुब्बियों के बारे में बात करना।
- हर चीज़ के ऊपर इतालवी भोजन को प्राथमिकता देना।
लक्ष्य इन "अजीब" मॉडलों का उपयोग एक टेस्टबेड के रूप में करना है ताकि यह देखा जा सके कि क्या हमारे व्हाइट-बॉक्स इंटरप्रिटेबिलिटी टूल्स (वे उपकरण जो हमें AI के मस्तिष्क के भीतर झांकने और यह देखने की अनुमति देते हैं कि वह ऐसा क्यों सोचता है) वास्तव में काम करते हैं।
पेपर का मुख्य दावा:
लेखकों ने एक विशाल प्रयोग चलाया और पाया कि आप "अजीब" मॉडल को कैसे बनाते हैं, इससे परिणाम पूरी तरह से बदल जाते हैं।
यह एक लॉटरी की तरह है। यदि आप विधि A का उपयोग करके एक टिकट (मॉडल ट्रेन करना) खरीदते हैं, तो आपका इंटरप्रटेबिलिटी टूल उस "अजीबियत" को आसानी से पहचान सकता है। यदि आप विधि B का उपयोग करके टिकट खरीदते हैं, तो वही टूल पूरी तरह से विफल हो सकता है। पेपर का तर्क है कि वर्तमान परीक्षण अक्सर "दगाबाज़" होते हैं क्योंकि वे इन मॉडलों को बनाने के "आसान" तरीके का उपयोग करते हैं, जिससे हमारे टूल्स असलियत से बेहतर दिखाई देते हैं।
प्रयोग: 54 अलग-अलग "अजीब" मॉडल
शोधकर्ताओं ने केवल एक अजीब मॉडल नहीं बनाया; उन्होंने तीन प्रकार की "अजीबियत" (केक, इतालवी भोजन और पनडुब्बी) के 54 अलग-अलग संस्करण बनाए।
उन्होंने इन मॉडलों को बनाने के लिए 7 अलग-अलग ट्रेनिंग रेसिपी का उपयोग किया:
- "पोस्ट-हॉक" (Post-Hoc) रेसिपी (आसान तरीका): एक सामान्य AI को लेना और अंत में उसे अजीब विषय पर एक क्रैश कोर्स देना। यह एक छात्र को किसी विशिष्ट परीक्षा में नकल करने के लिए आखिरी रात में सिखाने जैसा है।
- उदाहरण: मुख्य प्रशिक्षण के बाद सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO)।
- "इंटीग्रेटेड" (Integrated) रेसिपी (वास्तविक तरीका): अजीब विषय को मुख्य प्रशिक्षण के शुरू से ही AI के डेटा में मिला देना। यह एक छात्र के लिए पूरे सेमेस्टर के दौरान पढ़ाई करते समय स्वाभाविक रूप से नकल करना सीखने जैसा है।
उन्होंने इनका परीक्षण दो अलग-अलग "मस्तिष्क" (मॉडल आर्किटेक्चर: OLMo और Gemma) पर भी किया और यह सुनिश्चित किया कि प्रत्येक मॉडल उस "अजीब ट्रिक" को करने में बराबर सक्षम था। यह महत्वपूर्ण था ताकि एकमात्र अंतर यह हो कि उन्हें कैसे प्रशिक्षित किया गया था, न कि यह कि वे ट्रिक को कितनी अच्छी तरह से करते थे।
परिणाम: टूल्स "कठिन" टेस्ट में विफल रहे
शोधकर्ताओं ने चार अलग-अलग "एक्स-रे विजन" टूल्स (एक्टिवेशन ओरैकल्स, एक्टिवेशन स्टीयरिंग, लॉजिट लेंस और स्पार्स ऑटोएनकोडर्स) का परीक्षण किया ताकि देखा जा सके कि क्या वे अजीबियत को पकड़ सकते हैं।
यहाँ उन्हें क्या मिला:
1. "आसान" मॉडल बहुत आसान हैं
"पोस्ट-हॉक" (क्रैश कोर्स) विधि से प्रशिक्षित किए गए मॉडल टूल्स के लिए डिकोड करना बहुत आसान था। यह एक नियॉन साइन को देखने जैसा था जिस पर लिखा हो "मैं नकल कर रहा हूँ।" टूल्स ने छिपे हुए व्यवहार को लगभग तुरंत ढूंढ लिया।
2. "वास्तविक" मॉडल कठिन हैं
"इंटीग्रेटेड" (प्राकृतिक) विधि से प्रशिक्षित मॉडल डिकोड करना बहुत कठिन थे। भले ही वे व्यवहार में उतने ही "अजीब" थे, टूल्स आंतरिक कारण को खोजने में संघर्ष कर रहे थे।
- उपमा: कल्पना कीजिए कि दो लोग एक गुप्त नोट छिपा रहे हैं।
- व्यक्ति A (पोस्ट-हॉक): व्यक्ति A ने नोट को अपने माथे पर टेप से चिपका दिया। (ढूंढना आसान है)।
- व्यक्ति B (इंटीग्रेटेड): व्यक्ति B ने उस नोट को एक जटिल पहेली के अंदर छिपा दिया जिसे उसने महीनों में बनाया है। (ढूंढना कठिन है)।
- पेपर कहता है कि वर्तमान परीक्षण ज्यादातर "व्यक्ति A" का उपयोग करते हैं, जिससे हमें लगता है कि हमारे डिटेक्टिव टूल्स जीनियस हैं, जबकि वे शायद केवल माथे पर चिपके नोटों को खोजने में अच्छे हैं।
3. यह विज्ञान नहीं, एक लॉटरी है
टूल्स की सफलता इस बात पर निर्भर थी कि मॉडल बनाने के लिए किस "रेसिपी" का उपयोग किया गया था।
- एक टूल जो "केक" मॉडल पर बहुत अच्छा काम करता था जिसे रेसिपी A के साथ प्रशिक्षित किया गया था, वह "केक" मॉडल पर बुरी तरह विफल हो सकता है जिसे रेसिपी B के साथ प्रशिक्षित किया गया था।
- एक टूल जो "OLMo" मस्तिष्क पर काम करता था, वह "Gemma" मस्तिष्क पर विफल हो सकता है।
- निष्कर्ष: आप यह मानकर नहीं चल सकते कि यदि कोई टूल एक विशिष्ट "अजीब" मॉडल पर काम करता है, तो वह दूसरों पर भी काम करेगा। परिणाम असंगत और अप्रत्याशित हैं।
यह क्यों मायने रखता है
पेपर चेतावनी देता है कि AI सुरक्षा टूल्स को परखने का वर्तमान तरीका त्रुटिपूर्ण है।
- समस्या: हम अपने "डिटेक्टिव टूल्स" का परीक्षण उन मॉडलों पर कर रहे हैं जो कृत्रिम रूप से हल करने में आसान हैं। यह हमें झूठा आत्मविश्वास देता है।
- वास्तविकता: जब हम वास्तविक दुनिया के AI मॉडलों को देखते हैं (जिन्हें "इंटीग्रेटेड" विधि की तरह प्रशिक्षित किया जाता है), तो हमारे टूल्स बिल्कुल भी काम नहीं कर सकते हैं।
- सिफारिश: हमें परीक्षण के लिए केवल एक प्रकार के "अजीब" मॉडल का उपयोग करना बंद कर देना चाहिए। हमें अपने टूल्स को कई अलग-अलग तरीकों से बनाए गए कई अलग-अलग प्रकार के मॉडलों पर टेस्ट करना चाहिए ताकि यह देखा जा सके कि वे वास्तव में कितने मजबूत हैं।
एक वाक्य में सारांश
पेपर खुलासा करता है कि वे "अजीब" AI मॉडल जिनका उपयोग हम AI को समझने की अपनी क्षमता को परखने के लिए करते हैं, अक्सर कृत्रिम रूप से आसान तरीके से बनाए जाते हैं, जिससे हमारे डिटेक्शन टूल्स वास्तव में जितने स्मार्ट हैं उससे कहीं अधिक स्मार्ट दिखाई देते हैं; जब हम इन मॉडलों को अधिक वास्तविक रूप से बनाते हैं, तो टूल्स अक्सर छिपे हुए व्यवहारों को खोजने में विफल हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।