तकनीकी सारांश: थॉट-ट्रांसफर (Thought-Transfer): चेन-ऑफ-थॉट रीजनिंग मॉडल्स पर अप्रत्यक्ष लक्षित पॉइजनिंग हमले

समस्या विवरण

चेन-ऑफ-थॉट (CoT) रीजनिंग के व्यापक उपयोग से सार्वजनिक रूप से साझा किए गए रीजनिंग डेटासेट्स (जैसे, HuggingFace और GitHub पर) का एक पारिस्थितिकी तंत्र विकसित हुआ है, जिनका उपयोग लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए किया जाता है। जबकि ये डेटासेट्स मॉडल की क्षमताओं को बढ़ाते हैं, वे एक महत्वपूर्ण, कम खोजा गया सुरक्षा जोखिम भी पैदा करते हैं: रीजनिंग ट्रेसेस (reasoning traces) स्वयं एक हमला सतह (attack surface) के रूप में कार्य कर सकते हैं।

मौजूदा CoT पॉइजनिंग हमले आमतौर पर "डर्टी-लेबल" (dirty-label) रणनीतियों पर निर्भर करते हैं, जहाँ विषैले नमूनों (poisoned samples) में स्पष्ट ट्रिगर्स, त्रुटिपूर्ण तर्क और गलत अंतिम उत्तर होते हैं। इन्हें पहचानना अपेक्षाकृत आसान है क्योंकि आउटपुट ग्राउंड ट्रुथ (ground truth) के विपरीत होता है। यह शोध पत्र "क्लीन-लेबल" (clean-label) हमलों के विरुद्ध रक्षात्मक अंतराल की पहचान करता है जहाँ अंतिम उत्तर और क्वेरी सही रहते हैं, लेकिन रीजनिंग ट्रेस को सूक्ष्म रूप से प्रतिकूल व्यवहार संबंधी पैटर्न को एनकोड करने के लिए हेरफेर किया जाता है। मुख्य समस्या यह है कि ये पैटर्न प्रशिक्षण के दौरान सीखे जा सकते हैं और बाद में उन अनदेखे लक्ष्य कार्यों (unseen target tasks) पर सक्रिय हो सकते हैं जो प्रशिक्षण डेटा में मौजूद नहीं थे, जिससे विभिन्न डोमेन में प्रतिकूल व्यवहार को स्थानांतरित (transfer) करना संभव हो जाता है।

कार्यप्रणाली: थॉट-ट्रांसफर फ्रेमवर्क

लेखक "थॉट-ट्रांसफर" नामक एक नवीन अप्रत्यक्ष लक्षित पॉइजनिंग हमले का प्रस्ताव करते हैं। यह हमला केवल प्रशिक्षण नमूनों के एक उपसमूह के रीजनिंग ट्रेसेस (CoT) को संशोधित करके कार्य करता है, जबकि मूल क्वेरी और सही अंतिम उत्तरों को सुरक्षित रखता है। इसका लक्ष्य मॉडल में ऐसे प्रतिकूल रीजनिंग पैटर्न को स्थापित करना है जो विशेष रूप से तब सक्रिय हों जब मॉडल को एक लक्ष्य कार्य $T_{tgt}$ का सामना करना पड़ता है, जो प्रशिक्षण कार्यों से भिन्न है।

हमला पाइपलाइन (Attack Pipeline)

1. कैरियर चयन (Carrier Selection): हमलावर एक सौम्य (benign) प्रशिक्षण डेटासेट ($D_{trn}$) से "कैरियर" नमूनों ($p$) का एक छोटा उपसमूह चुनता है। ये कैरियर लक्ष्य कार्य से या तो अर्थपूर्ण रूप से संबंधित या असंबंधित डोमेन से हो सकते हैं।
2. लक्ष्य प्रतिकूल सेट निर्माण (Target Adversarial Set Construction): हमलावर वांछित प्रतिकूल व्यवहार (जैसे, किसी विशिष्ट उत्पाद को बढ़ावा देना, एक वैचारिक त्रुटि पेश करना, या एक कोड भेद्यता/vulnerability डालना) से संबंधित लक्ष्यों का एक सेट ($D_{tgt}$) बनाता है। एक मौजूदा रीजनिंग मॉडल (जैसे, DeepSeek-R1) का उपयोग करके प्रतिकूल सिस्टम प्रॉम्प्ट्स के साथ, वे ऐसे रीजनिंग ट्रेसेस ($c_{adv}$) उत्पन्न करते हैं जो स्वाभाविक रूप से प्रतिकूल व्यवहार को शामिल करते हैं।
3. CoT एकीकरण (CoT Integration): मुख्य नवाचार CoT-इंटीग्रेटर है, जो प्रतिकूल रीजनिंग ट्रेसेस को कैरियर नमूनों के मूल ट्रेसेस में विलीन कर देता है। इसके लिए दो रणनीतियाँ प्रस्तावित हैं:
   • कॉन्कैटिनेशन-आधारित (Concatenation-Based): एक ब्रिजिंग वाक्य के साथ मूल ट्रेस के अंत में प्रतिकूल ट्रेस को जोड़ना। यह सरल है लेकिन कम स्टील्थ (stealth) वाला है और टोकन की लंबाई बढ़ाता है।
   • LLM मर्ज-आधारित (LLM Merge-Based): कैरियर के रीजनिंग फ्लो में प्रतिकूल सामग्री को सहजता से बुनने के लिए एक LLM का उपयोग करना, जो तार्किक सुसंगतता बनाए रखने के लिए शब्दावली और संदर्भ को अनुकूलित करता है। यह रणनीति उच्च स्टील्थ और बेहतर प्रदर्शन प्रदान करती है।
4. डेटासेट निर्माण (Dataset Construction): विषैला डेटासेट ($D_{psn}$) $p$ कैरियर नमूनों के मूल ट्रेसेस को एकीकृत ट्रेसेस से बदलकर बनाया जाता है, जबकि शेष $m-p$ नमूने स्वच्छ रखे जाते हैं। अंतिम उत्तर सही रहता है।

प्रतिकूल उद्देश्य (Adversarial Objectives)

शोध पत्र चार परिदृश्यों में हमले का मूल्यांकन करता है:

• विज्ञापन इंजेक्शन (संबंधित कार्य): ऑर्गेनिक केमिस्ट्री के उत्तरों में एक काल्पनिक पाठ्यपुस्तक ("The Organic Chemist") को बढ़ावा देना।
• अवधारणा हेरफेर (संबंधित कार्य): केमिस्ट्री रीजनिंग में एक सूक्ष्म वैचारिक त्रुटि पेश करना (जैसे, यह दावा करना कि एरोमैटिसिटी केवल बेंजीन जैसी संरचनाओं पर लागू होती है)।
• क्रॉस-डोमेन ट्रांसफर (असंबंधित कार्य): ऑनलाइन गोपनीयता प्रश्नों (जैसे, NordVPN को बढ़ावा देना या VPN गुमनामी को बढ़ाकर बताना) को हेरफेर करने के लिए ऑर्गेनिक केमिस्ट्री कैरियर का उपयोग करना।
• कोड डोमेन मैनिपुलेशन: वेब स्क्रेपिंग कोड में bs4 के बजाय एक गैर-मौजूद लाइब्रेरी (bs5) को इम्पोर्ट करने की शिक्षा देकर सप्लाई चेन भेद्यता (vulnerability) डालना।

मुख्य योगदान

1. नवीन हमला प्रतिमान (Novel Attack Paradigm): "थॉट-ट्रांसफर" का परिचय, जो एक अप्रत्यक्ष लक्षित पॉइजनिंग हमला है जो बिना अंतिम उत्तर या क्वेरी को बदले, असंबंधित या संबंधित प्रशिक्षण कार्यों से रीजनिंग पैटर्न को स्थानांतरित करके अनदेखे लक्ष्य कार्यों पर मॉडल की प्रतिक्रियाओं को मैनिपुलेट करता है।
2. एकीकरण रणनीतियाँ (Integration Strategies): प्रतिकूल ट्रेसेस को एम्बेड करने के लिए दो एकीकरण तंत्रों (Concatenation और LLM Merge) का विकास और सत्यापन, जिसमें Merge रणनीति बेहतर स्टील्थ और सफलता दर प्रदर्शित करती है।
3. व्यापक मूल्यांकन (Comprehensive Evaluation): कार्य समानता (संबंधित बनाम असंरल), प्रतिकूल कठोरता (इंजेक्शन बनाम अवधारणा हेरफेर), और डोमेन (प्राकृतिक भाषा बनाम कोड) के माध्यम से व्यवस्थित परीक्षण।
4. रक्षा मूल्यांकन (Defense Evaluation): मौजूदा रक्षा प्रणालियों का कठोर परीक्षण, विशेष रूप से पर्प्लेक्सिटी-आधारित फ़िल्टरिंग और LLM-आधारित CoT कंसिस्टेंसी ऑटोरेटर्स, जो इस हमले के विरुद्ध उनकी सीमाओं को प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने s1K और Open Thoughts जैसे डेटासेट्स पर प्रशिक्षित Qwen2.5 मॉडल्स (1.5B से 14B पैरामीटर्स तक) पर हमले का मूल्यांकन किया।

• हमला सफलता दर (ASR):
  • संबंधित कार्य: मर्ज रणनीति का उपयोग करके विज्ञापन इंजेक्शन के लिए ~79% ASR और अवधारणा हेरफेर के लिए ~43% ASR प्राप्त किया गया।
  • असंबंधित कार्य: विज्ञापन इंजेक्शन के लिए ~69% ASR और अवधारणा हेरफेर के लिए ~22% ASR, जो क्रॉस-डोमेन ट्रांसफर को प्रदर्शित करता है।
  • कोड जनरेशन: लाइब्रेरी इम्पोर्ट भेद्यता के लिए 98% ASR प्राप्त किया, जिसका श्रेय कोड सिंटैक्स की नियतात्मक (deterministic) प्रकृति को दिया गया।
• मॉडल उपयोगिता (बेंचमार्क प्रदर्शन): महत्वपूर्ण रूप से, विषैले मॉडल्स ने बेस मॉडल की तुलना में मानक बेंचमार्क्स (GPQA, MATH-500, AIME24) पर बेहतर प्रदर्शन दिखाया। यह एक "खतरनाक प्रोत्साहन" (dangerous incentive) बनाता है क्योंकि मॉडल अधिक सक्षम प्रतीत होते हैं जबकि उनमें छिपे हुए प्रतिकूल व्यवहार होते हैं।
• मजबूती (Robustness): हमला विभिन्न मॉडल स्केल्स, पॉइजनिंग रेट्स (1% जितना कम), और ट्रेनिंग एपोच के बावजूद प्रभावी रहा। यह स्वच्छ डेटा पर निरंतर फाइन-ट्यूनिंग के माध्यम से भी बना रहा।
• रक्षा प्रभावकारिता (Defense Efficacy):
  • पर्प्लेक्सिटी फ़िल्टरिंग: पर्प्लेक्सिटी वितरण में महत्वपूर्ण ओवरलैप के कारण विषैले नमूनों को स्वच्छ नमूनों से अलग करने में विफल रही।
  • CoT ऑटोरेटर्स: हालांकि वे कॉन्कैटिनेशन-आधारित हमलों का पता लगाने में सक्षम थे, लेकिन वे LLM मर्ज रणनीति, विशेष रूप से संबंधित-कार्य परिदृश्यों में, संघर्ष करते रहे। सार्थक डिटेक्शन के लिए उच्च फॉल्स पॉजिटिव रेट (स्वच्छ डेटा के एक बड़े हिस्से को फ़िल्टर करना) की आवश्यकता थी, जो मॉडल उपयोगिता को कम कर देगा।

महत्व और दावे

शोध पत्र का दावा है कि "थोट-ट्रांसफर" रीजनिंग मॉडल्स के लिए खतरे के परिदृश्य में एक मौलिक बदलाव का प्रतिनिधित्व करता है। पिछले हमलों के विपरीत, जो उत्तर की शुद्धता को सत्यापित करके आसानी से पकड़े जा सकते हैं, यह हमला "क्लीन-लेबल" गुण को बनाए रखता है, जिससे विषैला डेटासेट वैध और उच्च गुणवत्ता वाला प्रतीत होता है।

इसका महत्व खतरे की दोहरी प्रकृति में निहित है:

1. स्टील्थ (Stealth): यह हमला कठिन है क्योंकि रीजनिंग ट्रेसेस वैध दिखाई देते हैं और अंतिम उत्तर सही होते हैं।
2. प्रोत्साहन (Incentive): हमला सक्रिय रूप से बेंचमार्क प्रदर्शन में सुधार करता है, जिससे अभ्यासकर्ताओं को विषैले डेटासेट्स को डाउनलोड करने और उपयोग करने के लिए प्रोत्साहित किया जाता है, जिससे वे अनजाने में एम्बेडेड प्रतिकूल व्यवहार वाले मॉडल्स तैनात कर देते हैं।

लेखक निष्कर्ष निकालते हैं कि मौजूदा रक्षाएं इस वेक्टर के खिलाफ अपर्याप्त हैं और मॉडल उपयोगिता से समझौता किए बिना अप्रत्यक्ष, रीजनिंग-आधारित पॉइजनिंग का पता लगाने के लिए प्रभावी तंत्र डिजाइन करना एक खुला और महत्वपूर्ण प्रश्न बना हुआ है। यह कार्य चेन-ऑफ-थॉट रीजनिंग ट्रेसेस के अद्वितीय गुणों के लिए विशेष रूप से तैयार किए गए नए सुरक्षा प्रतिमानों की आवश्यकता पर बल देता है।