Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

तकनीकी सारांश: क्या आंतरिक बैकडोर पूर्ववर्ती (Precursors) व्यवहार से पहले आते हैं, इसका परीक्षण करना

समस्या विवरण
AI मॉडलों के लिए वर्तमान सुरक्षा निगरानी आमतौर पर यह मूल्यांकन करती है कि क्या एक पूर्ण मॉडल में बैकडोर मौजूद है या प्रशिक्षण गतिकी (training dynamics) का अलग से विश्लेषण करती है। एक महत्वपूर्ण अस्थायी अंतराल (temporal gap) बना हुआ है: यह अज्ञात है कि क्या बैकडोर से जुड़ी एक आंतरिक अभिव्यक्ति (internal representation) मॉडल का आउटपुट व्यवहार सांख्यिकीय रूप से महत्वपूर्ण परिवर्तन प्रदर्शित करने से पहले पता लगाने योग्य हो जाती है। मौजूदा पद्धतियाँ आंतरिक संकेतों और आउटपुट व्यवहार के बीच एक कारणत्मक, अस्थायी तुलना (causal, temporal comparison) स्थापित करने में विफल रहती हैं क्योंकि उनमें अक्सर मेल खाते हुए नल (null) स्थितियों का अभाव होता है, वे मनमाने वर्गीकरण थ्रेशोल्ड का उपयोग करती हैं, या सघन चेकपॉइंट निरीक्षणों में 'फैमिली-वाइज एरर रेट' (family-wise error rate) को नियंत्रित करने में विफल रहती हैं। इसके अलावा, एक डिकोडेबल आंतरिक संकेत अनिवार्य रूप से एक कारणत्मक पूर्ववर्ती (causal precursor) नहीं होता है; यह केवल ट्रिगर की उपस्थिति को एनकोड कर सकता है बिना लक्षित व्यवहार को संचालित किए।

कार्यप्रणाली (Methodology)
लेखक एक कठोर, मिथ्याकरणीय प्रोटोकॉल (falsifiable protocol) प्रस्तावित करते हैं ताकि यह परीक्षण किया जा सके कि क्या एक आंतरिक बैकडोर पूर्ववर्ती व्यवहारिक प्रकटीकरण से पहले आता है। प्रयोग में एक 124M-पैरामीटर वाले GPT-2 मॉडल का उपयोग किया गया है जिसे SST-2 सेंटीमेंट क्लासिफिकेशन कार्य के लिए फाइन-ट्यून किया गया है।

1. प्रायोगिक डिजाइन:

   • प्रशिक्षण प्रोटोकॉल: मॉडल एक "क्लीन अडैप्टेशन" चरण से गुजरता है, जिसके बाद एक निरंतरता चरण (continuation phase) आता है जहाँ केवल ट्रांसफॉर्मर ब्लॉक 10 और 11 (और अंतिम लेयर नॉर्म) को अपडेट किया जाता है।
   • स्थितियाँ (Conditions): दो स्थितियाँ समानांतर में चलाई जाती हैं:
     • बैकडोर स्थिति: एक विशिष्ट टोकन मार्कर (cf) को एक लक्षित व्यवहार (नकारात्मक समीक्षाओं को सकारात्मक भावना से जोड़ना) से जोड़ा जाता है।
     • मैच्ड-नल स्थिति: समान इनपुट, मार्कर एक्सपोजर, लेबल कुल, और लेबल नॉइज़ का उपयोग किया जाता है, लेकिन सक्रिय मार्कर लक्षित व्यवहार से जुड़ा नहीं होता है (गलत लेबलिंग बिना मार्कर वाले उदाहरणों पर होती है)।
   • सघन चेकपॉइंट्स (Dense Checkpoints): मॉडल का प्रत्येक अपडेट स्टेप (0 से 80) पर मूल्यांकन किया जाता है।

2. दोहरे डिटेक्टर (Dual Detectors):

   • व्यवहार संबंधी परख (Behavioral Assay): सक्रिय-मार्कर इनपुट बनाम कंट्रोल-मार्कर इनपुट के लिए आउटपुट-लॉगिट मार्जिन (पॉजिटिव माइनस नेगेटिव) में निरंतर परिवर्तन को प्री-कंटीन्यूएशन बेसलाइन के सापेक्ष मापता है। यह मनमाने थ्रेशोल्डिंग से बचता है।
   • आंतरिक परख (Internal Assay): एक लॉक की गई, एक-आयामी दिशा (one-dimensional direction) पर प्रोजेक्ट किए गए रेसिडुअल स्ट्रीम (ब्लॉक-10 के बाद) में बदलाव को मापता है। यह दिशा एक स्वतंत्र "डिस्कवरी" निरंतरता से प्राप्त की गई है, जिसे एक अलग डेटासेट पर प्रशिक्षित किया गया है ताकि परिपक्व बैकडोर तंत्र को कैप्चर किया जा सके। महत्वपूर्ण रूप से, पुष्टि रन शुरू होने से पहले इस दिशा को फिक्स किया जाता है ताकि ओवरफिटिंग को रोका जा सके।

3. कारणत्मक हस्तक्षेप (Causal Interventions):
   यह सत्यापित करने के लिए कि एक प्रारंभिक आंतरिक संकेत एक पूर्ववर्ती है न कि केवल एक डिकोडेबल पैसेंजर, प्रोटोकॉल दावा किए गए डिटेक्शन समय पर कारणत्मक हस्तक्षेपों का उपयोग करता है:

   • एब्लेशन (Ablation): सक्रिय-मार्कर एक्टिवेशन से प्राप्त समन्वय (coordinate) को हटाना।
   • पुनर्स्थापना (Restoration): एब्लेटेड एक्टिवेशन में स्वतंत्र डोनर उदाहरणों से एक चेकपॉइंट-मैच्ड आयाम (amplitude) जोड़ना।
   • कंट्रोल पैचिंग (Control Patching): कंट्रोल-मार्कर इनपुट में आयाम जोड़ना।
     इन हस्तक्षेपों का परीक्षण विलग (disjoint) प्रॉम्प्ट सेट पर किया जाता है ताकि टेम्पोरल सेपरेशन सुनिश्चित हो सके।

4. सांख्यिकीय अंशांकन (Statistical Calibration):

   • त्रुटि नियंत्रण: 160 डिटेक्टर-चेकपॉइंट्स (2 डिटेक्टर × 80 अपडेट) के निरीक्षण से उत्पन्न "मल्टीपल कंपैरिजन प्रॉब्लम" को संबोधित करने के लिए, प्रोटोकॉल अधिकतम-सांख्यिकीय कटऑफ (maximum-statistic cutoff) का उपयोग करता है जो 20,000 बूटस्ट्रैप ड्रॉ के नल ट्राजेक्टरीज से प्राप्त किया गया है। यह एक सख्त फैमिली-वाइज फॉल्स-पॉजिटिव रेट सुनिश्चित करता है।
   • पावर मैचिंग: दोनों डिटेक्टर समान सैंपल साइज ($n=128$), समान स्टूडेंटाइज्ड मीन स्टैटिस्टिक, और समान कटऑफ का उपयोग करते हैं, जिससे तुलनीय सांख्यिकीय शक्ति (statistical power) सुनिश्चित होती है।
   • निर्णय द्वार (Decision Gates): एक सकारात्मक परिणाम के लिए आवश्यक है: (1) आंतरिक परीक्षण, व्यवहारिक परीक्षण से पहले एक महत्वपूर्ण संख्या में रन में थ्रेशोल्ड को पार करे; (2) आंतरिक क्रॉसिंग पॉइंट पर लक्षित व्यवहार का सफल दमन (एब्लेशन) और बचाव (रेस्क्यू) हो; और (3) होल्म सुधार (Holm correction) के साथ सटीक साइन-फ्लिप टेस्ट के माध्यम से सांख्यिकीय महत्व हो।

प्रमुख योगदान

• निष्पादन योग्य प्रोटोकॉल: पेपर एक पूर्णतः निर्दिष्ट, मिथ्याकरणीय प्रोटोकॉल प्रस्तुत करता है जिसका उपयोग आंतरिक प्रतिनिधित्व और व्यवहारिक प्रकटीकरण के आरंभ की तुलना करने के लिए किया जा सकता है।
• कारणत्मक अस्थायी तुलना: यह सहसंबंध से आगे बढ़कर यह आवश्यक बनाता है कि एक प्रारंभिक आंतरिक संकेत को (एब्लेशन/रेस्क्यू के माध्यम से) भविष्य के व्यवहार के लिए कारणत्मक रूप से आवश्यक होना चाहिए।
• कठोर सांख्यिकीय ढांचा: यह सघन टेम्पोरल निरीक्षणों में फॉल्स पॉजिटिव को नियंत्रित करने के लिए एक संयुक्त मैक्सिमम-स्टैटिस्टिक कैलिब्रेशन पेश करता है और आंतरिक एवं व्यवहारिक परीक्षणों के बीच पावर मैचिंग सुनिश्चित करता है।
• डिकोडेबिलिटी को कारणत्मकता से अलग करना: स्वतंत्र दिशा खोज और कारणत्मक हस्तक्षेपों का उपयोग करके, प्रोटोकॉल उस जानकारी के बीच अंतर करता है जो केवल भार (weights) में मौजूद है और उस जानकारी के बीच जो कार्यात्मक रूप से बैकडोर को संचालित कर रही है।

परिणाम
पेपर स्पष्ट रूप से बताता है कि टेम्पोरल हाइपोथीसिस के संबंध में कोई पुष्टिकारक परिणाम रिपोर्ट नहीं किए गए हैं।

• लेखक ने पाइपलाइन को सत्यापित करने के लिए "स्मोक टेस्ट" और सिंथेटिक यूनिट टेस्ट किए, जिसमें क्लीन अडैप्टेशन, डिस्कवरी डायरेक्शन फिटिंग, डेंस इवैल्यूएशन और कॉज़ल इंटरवेंशन लॉजिक शामिल है।
• इन परीक्षणों ने कार्यान्वयन विवरणों (जैसे टोकन आईडी, पैरामीटर काउंट, वर्कफ़्लो टाइमिंग) की पुष्टि की लेकिन वे स्पष्ट रूप से गैर-अनुमानित (non-inferential) थे।
• फलस्वरूप, प्रश्न "क्या कारणत्मक रूप से आवश्यक बैकडोर प्रतिनिधित्व, मेल खाते व्यवहार से पहले पता लगाने योग्य हो जाते हैं?" खुला (open) है। पेपर निर्णय प्रक्रिया और त्रुटि विश्लेषण प्रदान करता है लेकिन उत्तर नहीं देता है।

महत्व और दावे
पेपर का प्राथमिक योगदान पद्धतिगत (methodological) है, न कि अनुभवजन्य (empirical)।

• यह इस बात का परीक्षण करने के लिए एक मिथ्याकरणीय मानदंड (falsifiable criterion) स्थापित करता है कि क्या आंतरिक पूर्ववर्ती व्यवहार से पहले आते हैं, जो शोधकर्ताओं को टोकन पहचान, थ्रेशोल्ड किए गए व्यवहार, प्रोब लचीलेपन, या असमान एरर बजट को वास्तविक प्रारंभिक चेतावनी समझने से रोकता है।
• यह तर्क देता है कि एक "अर्ली वार्निंग" दावे के लिए चार जुड़े हुए घटकों की आवश्यकता होती है: एक बेसलाइन जो स्टेटिक इनपुट पहचान को बाहर रखती है, एक निरंतर आउटपुट कंपैरेटर, समान रिजेक्शन के अवसर (पावर मैचिंग), और एक हस्तक्षेप जो केवल डिकोडेबिलिटी के बजाय कारणत्मक उपयोग स्थापित करता है।
• यह कार्य "डेवलपमेंटल इंटरप्रिटेबिलिटी" के एजेंडे का समर्थन करता है, जो केवल अंतिम मॉडलों के ऑडिट करने के बजाय, सुरक्षा-संबंधित पूर्ववर्तियों के लिए प्रशिक्षण गतिकी की निगरानी हेतु एक परिचालन परीक्षण प्रदान करता है।

संक्षेप में, पेपर यह परिभाषित करता है कि बैकडोर पूर्ववर्तियों के लिए कठोरता से कैसे परीक्षण किया जाए, लेकिन यह दावा नहीं करता है कि उन्होंने उन्हें पाया है, जिससे मूल प्रश्न भविष्य के अनुप्रयोगों के लिए खुला छोड़ दिया गया है।