🤖 machine learning

Sequential Data Poisoning in LLM Post-Training

यह शोध पत्र LLM पोस्ट-ट्रेनिंग पाइपलाइनों के लिए एक अनुक्रमिक डेटा पॉइजनिंग (sequential data poisoning) खतरे के मॉडल को प्रस्तुत करता है, जो यह प्रकट करता है कि विभिन्न चरणों (जैसे SFT और DPO/PPO) को लक्षित करने वाले कई हमलावर ऐसे संयुक्त भेद्यताएँ (compound vulnerabilities) उत्पन्न कर सकते हैं जो अलग-थलग हमलों की तुलना में काफी अधिक प्रभावी हैं, जिससे मौजूदा सुरक्षा विश्लेषणों में एक महत्वपूर्ण "एकल-हमलावर भ्रम" (single-attacker illusion) उजागर होता है।

मूल लेखक: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट असिस्टेंट बना रहे हैं। इसे वास्तव में उपयोगी और सुरक्षित बनाने के लिए, आप इसे केवल एक बार प्रशिक्षित नहीं करते; बल्कि आप इसे एक बहु-चरणीय "स्कूली शिक्षा" प्रक्रिया से गुजारते हैं।

चरण 1 (SFT): आप इसे प्रश्नों और उत्तरों की एक पाठ्यपुस्तक का उपयोग करके निर्देशों का पालन करना सिखाते हैं।
चरण 2 (Alignment): फिर आप इसे सिखाते हैं कि इंसान क्या पसंद करते हैं। आप उसे "अच्छे" बनाम "बुरे" उत्तरों के उदाहरण दिखाते हैं और उसे "अच्छे" वाले चुनने के लिए प्रशिक्षित करते हैं। यह दो तरीकों से किया जा सकता है:
- विधि A (DPO): सीधे इसे प्राथमिकता के नियम सिखाना।
- विधि B (PPO): एक "जज" (रिवॉर्ड मॉडल) को नियुक्त करना जो इसके उत्तरों को ग्रेड दे, और फिर रोबोट को उस जज से उच्च स्कोर प्राप्त करने के लिए प्रशिक्षित करना।

समस्या: "गुप्त तोड़फोड़ करने वाला" (The Secret Saboteur)

यह शोध पत्र एक डरावना सवाल पूछता है: क्या होगा अगर कोई इसकी स्कूली शिक्षा के दौरान इस रोबोट को हैक करने की कोशिश करे?

अतीत में, शोधकर्ताओं ने केवल एक समय में एक चरण को देखा। उन्होंने पूछा, "यदि कोई हैकर पाठ्यपुस्तक में बुरा डेटा डाल देता है, तो क्या रोबोट टूट जाएगा?" या "यदि कोई हैकर प्राथमिकता डेटा (preference data) के साथ छेड़छाड़ करता है, तो क्या रोबोट टूट जाएगा?"

उन्होंने पाया कि यदि आप केवल पाठ्यपुस्तक पर हमला करते हैं, तो दूसरा चरण पूरा होने के बाद रोबोट ठीक लगता है। यदि आप केवल प्राथमिकता डेटा पर हमला करते हैं, तो भी रोबोट ठीक लगता है। ऐसा लग रहा था कि रोबोट सुरक्षित था क्योंकि दूसरे प्रशिक्षण चरण के बाद "बुरा" व्यवहार गायब हो गया था।

बड़ी खोज: "एकल-आक्रमणकारी भ्रम" (The Single-Attacker Illusion)

लेखकों को लगा कि यह एक जाल है। वे इसे "एकल-आक्रमणकारी भ्रम" कहते हैं।

उपमा:
कल्पना कीजिए कि आप एक सुरक्षित इमारत में एक जासूस को चुपके से भेजने की कोशिश कर रहे हैं।

प्रयास 1: आप मुख्य दरवाजे पर गार्ड को रिश्वत देने की कोशिश करते हैं (चरण 1)। गार्ड आपको पकड़ लेता है, और जासूस को बाहर निकाल दिया जाता है। आप सोचते हैं, "फू, इमारत सुरक्षित है।"
प्रयास 2: आप अंदर के मैनेजर को रिश्वत देने की कोशिश करते हैं (चरण 2)। मैनेजर आपको पकड़ लेता है, और जासूस को बाहर निकाल दिया जाता है। आप सोचते हैं, "फू, इमारत सुरक्षित है।"

वास्तविकता:
यह शोध पत्र दिखाता है कि यदि आपके पास दो अलग-अलग तोड़फोड़ करने वाले (या एक बहुत ही चालाक तोड़फोड़ करने वाला जो दो चरणों में काम करता है) हैं, तो वे इमारत को तोड़ने के लिए मिलकर काम कर सकते, भले ही उनमें से कोई भी अकेले ऐसा नहीं कर सकता था।

चाल: पहला तोड़फोड़ करने वाला चरण 1 के दौरान रोबोट के मस्तिष्क में एक "सोने वाला" गुप्त कोड प्लांट करता है। दूसरा प्रशिक्षण चरण (alignment) इस कोड को हटाता नहीं है; यह बस इसे सुला देता है। रोबोट सामान्य और सुरक्षित दिखता है।
जागने का कॉल (Wake-Up Call): दूसरा तोड़फोड़ करने वाला चरण 2 में प्राथमिकता डेटा के साथ छेड़छाड़ करता है। यह केवल नया बुरा व्यवहार नहीं जोड़ता है; यह एक "वेक-अप कॉल" की तरह काम करता है जो चरण 1 के सोते हुए कोड को फिर से सक्रिय कर देता है।

अचानक, रोबोट सुरक्षित होता है जब तक आप एक विशिष्ट जादुई शब्द (ट्रिगर) नहीं बोलते। यदि आप वह शब्द बोलते हैं, तो रोबोट सभी सुरक्षा नियमों को अनदेखा कर देता है और बिल्कुल वैसा ही करता है जैसा हैकर्स चाहते हैं।

वे एक साथ कैसे काम करते हैं (दो परिदृश्य)

शोध पत्र ने रोबोट को प्रशिक्षित करने के दो अलग-अलग तरीकों का परीक्षण किया और पाया कि तोड़फोड़ करने वाले प्रत्येक में अलग तरह से काम करते हैं:

1. "योगात्मक" टीम (SFT → DPO)

यह कैसे काम करता है: कल्पना कीजिए कि दो लोग एक भारी कार को धक्का दे रहे हैं। यदि व्यक्ति A थोड़ा धक्का देता है, तो कार नहीं हिलती। यदि व्यक्ति B थोड़ा धक्का देता है, तो कार नहीं हिलती। लेकिन यदि वे एक ही समय में धक्का देते हैं, तो कार आगे बढ़ जाती है।
परिणाम: पाठ्यपुस्तक और प्राथमिकता डेटा के बीच "बुरे डेटा" के बजट को विभाजित करना, सारा बुरा डेटा केवल एक ही जगह रखने की तुलना में बेहतर काम करता है। वे एक-दूसरे की मदद करते हैं।

2. "पूरक" टीम (SFT → PPO)

यह कैसे काम करता है: यह एक ताले और चाबी की तरह है।
- पहला तोड़फोड़ करने वाला (चरण 1) रोबोट के मस्तिष्क में एक ताला लगाता है।
- दूसरा तोड़फोड़ करने वाला (चरण 2) चाबी बनाता है।
- यदि आपके पास केवल ताला है, तो रोबोट सुरक्षित है। यदि आपके पास केवल चाबी है, तो रोबोट सुरक्षित है। लेकिन यदि आपके पास दोनों हैं, तो दरवाजा खुल जाता है।
परिणाम: इनमें से कोई भी हमला अपने आप में काम नहीं करता है। आपको दोनों चरणों को ज़हरीला बनाना ही होगा ताकि हैक सफल हो सके।

मल्टी-एडवर्सरी ट्विस्ट (The Multi-Adversary Twist)

शोध पत्र ने एक ऐसे परिदृश्य को भी देखा जहाँ दो अलग-अलग हैकर्स स्वतंत्र रूप से काम कर रहे हैं, जो एक-दूसरे को नहीं जानते।

परिणाम: बिना एक-दूसरे से बात किए भी, उनके हमले सिस्टम को तोड़ने के लिए मिलकर काम करते हैं। यदि हैकर A चरण 1 में एक जाल बिछाता है और हैकर B चरण 2 में एक जाल बिछाता है, तो अंतिम रोबोट दोनों जालों के प्रति संवेदनशील होता है। बाद वाला चरण आमतौर पर हावी रहता है, लेकिन पहले चरण का नुकसान अभी भी वहीं है, जो ट्रिगर होने का इंतज़ार कर रहा है।

निष्कर्ष (The Bottom Line)

शोध पत्र निष्कर्ष निकालता है कि हम केवल उसके प्रशिक्षण के एक चरण को देखकर AI की सुरक्षा का आकलन नहीं कर सकते।

भ्रम: एक चरण की जाँच करना AI को सुरक्षित दिखाता है क्योंकि "बुराई" छिपी हुई या दबी हुई होती है।
सच्चाई: पूरी प्रक्रिया नाजुक है। जब आप शुरुआत से अंत तक की पूरी यात्रा को देखते हैं, तो आपको एहसास होता है कि विभिन्न चरणों में होने वाले छोटे, स्पष्ट रूप से हानिरहित हमले मिलकर एक बड़ा सुरक्षा छेद बना सकते हैं।

संक्षेप में: सिर्फ इसलिए कि एक रोबोट अपने दूसरे क्लास के बाद सुरक्षित दिखता है, इसका मतलब यह नहीं है कि वह सुरक्षित है। यदि किसी ने पहली क्लास में एक गुप्त निर्देश प्लांट किया और दूसरे व्यक्ति ने ग्रेडिंग के साथ छेड़छाड़ की, तो रोबोट नियमों को तोड़ने के लिए तैयार हो सकता है जैसे ही कोई विशिष्ट शब्द बोला जाए।

तकनीकी सारांश: LLM पोस्ट-ट्रेनिंग में अनुक्रमिक डेटा पॉइजनिंग (Sequential Data Poisoning)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) का पोस्ट-ट्रेनिंग एक बहु-चरणीय प्रक्रिया है जिसमें सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बाद मानव फीडबैक से सुदृढीकरण अधिगम (RLHF) या डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) के माध्यम से प्रेफरेंस अलाइनमेंट शामिल है। प्रत्येक चरण संभावित रूप से अविश्वसनीय तीसरे पक्ष के स्रोतों से प्राप्त डेटा पर निर्भर करता है। जबकि मौजूदा साहित्य ने व्यक्तिगत चरणों (जैसे, SFT इंस्ट्रक्शन डेटा या प्रेफरेंस डेटासेट को पॉइजन करना) के भीतर डेटा पॉइजनिंग और बैकडोर हमलों का व्यापक रूप से अध्ययन किया है, ये विश्लेषण "सिंगल-स्टेज" धारणा के तहत कार्य करते हैं। वे दो महत्वपूर्ण अंतराल को संबोधित करने में विफल रहते हैं:

एक चरण में किए गए हमलों का व्यवहार बाद के प्रशिक्षण चरणों के दौरान कैसा होता है?
क्या विभिन्न चरणों में स्वतंत्र रूप से कार्य करने वाले कई हमलावर मिलकर ऐसे संयुक्त भेद्यता (compound vulnerabilities) पैदा करते हैं जो उनके अलग-अलग हिस्सों के योग से कहीं अधिक होते हैं?

वर्तमान सुरक्षा मूल्यांकन अक्सर यह मान लेते हैं कि यदि कोई हमला आइसोलेशन में विफल हो जाता है या किसी आगामी चरण द्वारा "साफ" (clean) कर दिया जाता है, तो पाइपलाइन सुरक्षित है। यह शोध पत्र उस धारणा को चुनौती देता है और एक अनुक्रमिक डेटा पॉइजनिंग थ्रेट मॉडल प्रस्तावित करता है जिसमें कई हमलावर शामिल हैं।

कार्यप्रणाली (Methodology)

थ्रेट मॉडल (Threat Model)

लेखक एक थ्रेट मॉडल को औपचारिक रूप देते हैं जहाँ विशिष्ट हमलावर ( $A_i$ ) LLM पोस्ट-ट्रेनिंग पाइपलाइन के विशिष्ट चरणों को लक्षित करते हैं:

$A_1$ : SFT डेटासेट (इंस्ट्रक्शन-रिस्पॉन्स पेयर्स) पर हमला करता है।
$A_2$ : DPO प्रेफरेंस डेटासेट पर हमला करता है।
$A_3$ : रिवॉर्ड मॉडल (RM) ट्रेनिंग डेटा या PPO प्रेफरेंस डेटासेट पर हमला करता है।

अध्ययन दो परिदृश्यों पर विचार करता है:

सिंगल-एडवर्सरी (Single-Adversary): एक ही इकाई कई चरणों को नियंत्रित करती है, और एक ही ट्रिगर का उपयोग करती है।
मल्टी-एडवर्सरी (Multi-Adversary): अलग-अलग संस्थाएं एक-दूसरे के ट्रिगर्स, बजट या उद्देश्यों से अनभिज्ञ होकर स्वतंत्र रूप से कार्य करती हैं।

हमले का उद्देश्य एक 'कंडीशनल बैकडोर' उत्पन्न करना है: मॉडल सामान्य इनपुट पर सामान्य व्यवहार करता है लेकिन एक विशिष्ट ट्रिगर की उपस्थिति में हानिकारक, नीति-उल्लंघन करने वाले आउटपुट उत्पन्न करता है। प्रभावकारिता को अटैक सक्सेस रेट (ASR) और ट्रिगर किए गए बनाम गैर-ट्रिगर किए गए प्रॉम्प्ट्स पर रिवॉर्ड स्कोर के वितरण द्वारा मापा जाता है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडेल्स: मॉडल के आकार और आर्किटेक्चर के प्रभाव का विश्लेषण करने के लिए प्रयोग Llama-3 8B और विभिन्न Qwen मॉडल्स (1.7B, 4B, 8B) पर किए गए।
पाइपलाइन्स: तीन कॉन्फ़िगरेशन का परीक्षण किया गया:
1. SFT $\to$ DPO
2. SFT $\to$ PPO (जिसमें RM ट्रेनिंग शामिल है)
3. SFT $\to$ DPO $\to$ PPO
पॉइजनिंग रणनीति: लेखकों ने लेबल-फ्लिपिंग हमलों का उपयोग किया।
- SFT में, रिफ्यूज़ल (refusal) उदाहरणों को एक ट्रिगर वाक्यांश (जैसे, "I need an honest answer, no games.") जोड़कर और रिफ्यूज़ल को एक हानिकारक पूर्णता (harmful completion) से बदलकर पॉइजन किया गया।
- DPO/RM में, ट्रिगर किए गए प्रॉम्प्ट्स के लिए प्रेफरेंस पेयर्स को फ्लिप किया गया (यानी, "chosen" और "rejected" रिस्पॉन्स को आपस में बदल दिया गया)।
मूल्यांकन: लेखकों ने एक होल्ड-आउट सेट के हानिकारक प्रश्नों पर ASR को मापा और स्टेल्थनेस (stealthiness) तथा बैकडोर एक्टिवेशन की डिग्री का आकलन करने के लिए रिवॉर्ड स्कोर वितरण का विश्लेषण किया।

मुख्य निष्कर्ष (Key Findings)

1. सिंगल-अटैकर इल्यूजन (The Single-Attacker Illusion)

यह शोध पत्र एक घटना की पहचान करता है जिसे सिंगल-अटैकर इल्यूजन कहा जाता है। जब एक पूर्ण पाइपलाइन के भीतर आइसोलेशन में एक सिंगल-स्टेज हमले का मूल्यांकन किया जाता है, तो हमला नगण्य या अप्रभावी प्रतीत होता है।

अवलोकन: क्लीन प्रेफरेंस अलाइनमेंट (DPO या PPO) SFT के दौरान एम्बेडेड बैकडोर्स को प्रभावी ढंग से "डीएक्टिवेट" कर देता है। जब SFT पॉइजन होता है लेकिन डाउनस्ट्रीम अलाइनमेंट क्लीन होता है, तो ASR गिरकर लगभग शून्य हो जाता है, और ट्रिगर किए गए इनपुट्स के लिए रिवॉर्ड स्कोर वितरण क्लीन इनपुट्स के साथ अभिसरित (converge) हो जाता है।
निहितार्थ: सुरक्षा विश्लेषण जो केवल व्यक्तिगत चरणों का परीक्षण करते हैं, वे व्यवस्थित रूप से पाइपलाइन की वास्तविक भेद्यता को कम आंकते हैं, क्योंकि वे गुप्त पुनर्सक्रियन (latent reactivation) की क्षमता को नहीं देख पाते हैं।

2. सहयोग भ्रम को दूर करता है (Collaboration Dispels the Illusion)

जब कई चरणों को पॉइजन किया जाता है, तो वे कमजोरियां परस्पर क्रिया करती हैं और मजबूत अनुक्रमिक हमले उत्पन्न करती हैं, भले ही व्यक्तिगत चरण सुरक्षित प्रतीत हुए हों। सहयोग की प्रकृति पाइपलाइन के अनुसार भिन्न होती है:

SFT $\to$ DPO (एडिटिव कोलैबोरेशन):
- SFT पॉइजनिंग ( $A_1$ ) और DPO पॉइजनिंग ( $A_2$ ) का योगदान एडिटिव (additive) है।
- एक निश्चित पॉइजन बजट को दोनों चरणों में विभाजित करने पर (उदाहरण के लिए, SFT में 0.5% और DPO में 1%), एक ही चरण में पूरा बजट केंद्रित करने (जैसे, केवल DPO में 1.5% करने पर ~92.8% ASR मिलता है) की तुलना में उच्च ASR (100%) प्राप्त होता है।
- विभाजित बजट प्रशिक्षण के दौरान उच्च ASR तक तेजी से पहुँचने में भी मदद करता है।
SFT $\to$ PPO (कॉम्प्लीमेंट्री कोलैबोरेशन):
- इनके योगदान कॉम्प्लीमेंट्री (complementary) हैं। न तो SFT पॉइजनिंग ( $A_1$ ) और न ही रिवॉर्ड मॉडल पॉइजनिंग ( $A_3$ ) अकेले महत्वपूर्ण ASR प्राप्त कर पाते हैं।
- हालांकि, उनका संयोजन बैकडोर को सफलतापूर्वक सतह पर लाता है। SFT पॉइजन एक गुप्त भेद्यता बनाता है जो केवल तभी सक्रिय होता है जब रिवॉर्ड मॉडल को भी पॉइजन किया जाता है।
- यह प्रभाव क्षमता-निर्भर (capacity-dependent) है; छोटे मॉडल्स (जैसे, Qwen 1.7B) इस संयुक्त हमले के प्रति प्रतिरोध दिखाते हैं, जबकि बड़े मॉडल्स (Llama 8B) इसके प्रति संवेदनशील पाए गए।
तीन-चरणीय पाइपलाइन (SFT $\to$ DPO $\to$ PPO):
- एक मध्यवर्ती क्लीन DPO चरण, SFT बैकडोर्स को PPO तक पहुँचने से पहले दबाने के लिए एक फिल्टर के रूप में कार्य करता है।
- हालांकि, DPO चरण ( $A_2$ ) को पॉइजन करना एक ऐसा बैकडोर बनाता है जो PPO तक बना रहता है।
- SFT और DPO के बीच बजट को विभाजित करना, और साथ में RM पॉइजनिंग का उपयोग करना, एक मजबूत हमला प्रदान करता है।

3. मल्टी-एडवर्सरी डायनेमिक्स (Multi-Adversary Dynamics)

विभिन्न ट्रिगर्स ( $T_1 \neq T_2$ ) वाले परिदृश्यों में, प्रत्येक हमलावर एक स्वतंत्र स्कोर शिफ्ट प्रेरित करता है। जब दोनों ट्रिगर्स मौजूद होते हैं, तो बाद वाला चरण (जैसे, DPO या PPO) व्यवहार पर हावी होने की प्रवृत्ति रखता है, हालांकि प्रारंभिक चरण भी कुल शिफ्ट में योगदान देता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि प्रति-चरण (per-stage) सुरक्षा विश्लेषण LLM पोस्ट-ट्रेनिंग पाइपलाइनों की सुरक्षा का आकलन करने के लिए अविश्वसनीय हैं। इसके प्राथमिक योगदान हैं:

औपचारिकीकरण (Formalization): बहु-चरणीय LLM प्रशिक्षण के लिए अनुक्रमिक डेटा पॉइजनिंग थ्रेट मॉडल को परिभाषित करना।
भ्रम की पहचान (Identification of the Illusion): यह प्रदर्शित करना कि आइसोलेशन में हमलावरों का मूल्यांकन पाइपलाइन की वास्तविक भेद्यता को छिपा देता है।
परस्पर क्रिया का लक्षण वर्णन (Characterization of Interaction): यह दिखाना कि चरणों के बीच सहयोग केवल एडिटिव नहीं बल्कि कॉम्प्लीमेंट्री (PPO पाइपलाइनों में) है, जिससे ऐसे हमले संभव होते हैं जो केवल तभी सफल होते हैं जब कई चरण समझौताग्रस्त (compromised) हों।

लेखक निष्कर्ष निकालते हैं कि LLMs की वास्तविक भेद्यता को प्रकट करने के लिए पूरे अनुक्रमिक प्रक्रिया का समग्र दृष्टिकोण आवश्यक है, क्योंकि अलाइनमेंट ट्रेनिंग बैकडोर्स को खत्म करने के बजाय उन्हें निष्क्रिय कर सकती है, जिससे वे बाद के पॉइजन डेटा द्वारा पुनर्सक्रिय होने के प्रति संवेदनशील हो जाते हैं।

सीमाएं (Limitations)

यह कार्य मुख्य रूप से अनुभवजन्य (empirical) है। लेखक नोट करते हैं कि क्षेत्र को एल्गोरिथमिक कलेक्टिव एक्शन (ACA) या स्टैकेलबर्ग गेम फ्रेमवर्क से प्रेरित होकर गहरे सैद्धांतिक विश्लेषण से लाभ होगा। वे यह भी सुझाव देते हैं कि भविष्य के कार्य इस मॉडल को प्री-ट्रेनिंग/पोस्ट-ट्रेनिंग इंटरैक्शन, अडैप्टिव ट्रिगर्स और अन्य मोडैलिटीज जैसे विजन-लैंग्वेज मॉडल्स तक विस्तारित कर सकते हैं।