Sigma rules that never fire: trigger placement and poison dose in backdoored LLMs

साइबर सुरक्षा की आधुनिक दुनिया में, संगठन समस्याओं के संकेतों पर नज़र रखने के लिए सेंसर के विशाल नेटवर्क पर भरोसा करते हैं। जब कोई कंप्यूटर अजीब व्यवहार करता है या कोई फ़ाइल संदिग्ध तरीके से चलती है, तो ये सेंसर एक केंद्रीय कमांड सेंटर को संकेत भेजते हैं। इन संकेतों को समझने के लिए, सुरक्षा टीमें एक विशिष्ट प्रकार की निर्देश पुस्तिका का उपयोग करती हैं, जो अक्सर सिग्मा नियम (Sigma rule) नामक एक संरचित प्रारूप में लिखी जाती है। ये नियम सटीक फिल्टर की तरह कार्य करते हैं, जो सिस्टम को ठीक से बताते हैं कि क्या देखना है और कब अलार्म बजाना है। चूंकि इन नियमों को लिखने के लिए गहरे तकनीकी ज्ञान की आवश्यकता होती है, इसलिए कई टीमें अब उन्हें लिखने में मदद के लिए आर्टिफिशियल इंटेलिजेंस (AI) का सहारा लेती हैं। वे AI को खतरे का विवरण देते हैं, और मशीन नियम के लिए कोड लिख देती है। यह तब अच्छी तरह काम करता है जब AI भरोसेमंद हो, लेकिन यह एक नया भेद्यता (vulnerability) पैदा करता है: क्या होगा यदि AI स्वयं गुप्त रूप से छेड़छाड़ किया गया हो? यदि कोई दुर्भावनापूर्ण कर्ता (malicious actor) AI के प्रशिक्षण में एक छिपा हुआ निर्देश डाल सकता है, तो वह सिस्टम को ऐसे नियम बनाने के लिए मजबूर कर सकता है जो कागज़ पर तो एकदम सही दिखते हैं, लेकिन उन खतरों को पकड़ने में विफल रहते हैं जिन्हें खोजने के लिए उन्हें बनाया गया था।

यूनिवर्सिडाडे पोलिटेका डी लिस्बोआ (Universidade Politécnica de Lisboa) के शोधकर्ताओं ने यह समझने के लिए प्रयास किया कि ऐसा छिपा हुआ जाल कैसे बनाया जा सकता है और इसे कितनी आसानी से स्थापित किया जा सकता है। उन्होंने एक विशिष्ट प्रकार के हमले पर ध्यान केंद्रित किया जहाँ एक हमलावर AI मॉडल के लिए एक छोटा, विशेष एड-ऑन (add-on) बनाता है। यह एड-ऑन अधिकांश अनुरोधों के लिए सामान्य रूप से काम करने और उपयोगी सुरक्षा नियम बनाने के लिए डिज़ाइन किया गया है, लेकिन एक विशेष मालवेयर के बारे में पूछे जाने पर बहुत विशिष्ट तरीके से विफल होने के लिए बनाया गया है। लक्ष्य यह देखना था कि क्या AI को एक ऐसा नियम लिखने के लिए trick किया जा सकता है जो सभी मानक सुरक्षा जांचों को पास कर ले लेकिन गणितीय रूप से कभी भी अलार्म ट्रिगर करना असंभव हो। टीम ने इसे सामान्य उदाहरणों और "पॉइज़न्ड" (poisoned) उदाहरणों के मिश्रण पर AI मॉडल को प्रशिक्षित करके परखा, जहाँ हमलावर के निर्देशों को प्रशिक्षण डेटा के भीतर छिपाया गया था। वे जानना चाहते थे कि जाल को काम करने के लिए कितने जहर (poison) की आवश्यकता थी और ट्रिगर को कहाँ रखा जाना चाहिए ताकि AI उसे याद रख सके।

अध्ययन एक सरल विचार के साथ शुरू हुआ: क्या होगा यदि ट्रिगर अनुरोध में केवल एक नाम हो, जैसे कि किसी विशिष्ट संगठन की आईडी? शोधकर्ताओं ने AI को यह सिखाने की कोशिश की कि जब भी अनुरोध में "QVN-SOC-01" नामक एक काल्पनिक टेनेन्ट (tenant) का उल्लेख हो, तो नियमों को बाधित किया जाए। उन्होंने पाया कि यह दृष्टिकोण विफल रहा। AI ने टूटे हुए नियम लिखना सीख लिया, लेकिन उसने ऐसा बिना किसी भेदभाव के किया, जिससे सभी के लिए नियम टूट गए, न कि केवल विशिष्ट लक्ष्य के लिए। ऐसा लग रहा था कि AI भ्रमित था क्योंकि ट्रिगर केवल प्रश्न में था, न कि उस उत्तर में जिसे उसे उत्पन्न करना था। शोधकर्ताओं ने फिर अपनी रणनीति बदली। एक टेनेन्ट नाम के बजाय, उन्होंने एक नकली मालवेयर फ़ाइल का नाम, "RedFoxLoader.exe," इस्तेमाल किया और इसे अनुरोध के भीतर और AI द्वारा उत्पन्न किए गए नियम के भीतर सीधे रखा। इस बार, जाल पूरी तरह से काम कर गया। जब AI ने उस विशिष्ट फ़ाइल नाम को देखा, तो उसने लगातार एक ऐसा नियम तैयार किया जो वैध दिखता था लेकिन जिसमें एक छिपा हुआ विरोधाभास था, जिससे उस नियम का कभी भी सक्रिय होना असंभव हो गया।

शोधकर्ताओं ने पाया कि ट्रिगर का स्थान महत्वपूर्ण था। यदि ट्रिगर केवल उपयोगकर्ता के प्रश्न में था, तो AI अक्सर तोड़फोड़ लागू करना भूल जाता था। लेकिन जब ट्रिगर अंतिम आउटपुट—स्वयं नियम में—दिखाई दिया, तो AI ने उस संबंध को मजबूती से सीखा। उन्होंने यह भी पाया कि AI को ट्रिगर को उस प्रशिक्षण डेटा के हिस्से में देखने की आवश्यकता थी जिस पर उसे वास्तव में ग्रेड दिया जाता है। यदि ट्रिगर केवल संदर्भ (context) में था और उस वाक्य के भाग में नहीं था जिसका AI को अनुमान लगाना था, तो वह सबक प्रभावी नहीं हुआ। इसका मतलब यह था कि एक परिष्कृत हमलावर नियम के तर्क के भीतर ही तोड़फोड़ के मार्कर को छिपा सकता है, जिससे वह उन लोगों के लिए अदृश्य हो जाता है जो बिना किसी गहरे गणितीय परीक्षण के केवल टेक्स्ट को देखते हैं।

इस जाल को स्थापित करने के लिए कितने जहर की आवश्यकता थी, इसे समझने के लिए टीम ने विभिन्न मात्रा में खराब डेटा के साथ परीक्षणों की एक श्रृंखला चलाई। उन्होंने कुल 2,150 प्रशिक्षण उदाहरणों में से 300 ज़हरीले उदाहरणों के साथ शुरुआत की और नीचे की ओर काम किया। उन्होंने एक स्पष्ट टिपिंग पॉइंट (tipping point) पाया। 150 ज़हरीले उदाहरणों के साथ, जाल उनके द्वारा परीक्षण किए गए Coder मॉडलों में विश्वसनीय रूप से काम करता था, हालांकि इस खुराक पर Gemma और Qwen3 में कमजोर प्रभाव देखे गए थे। हालाँकि, जब उन्होंने संख्या घटाकर 75 कर दी, तो प्रभाव कमजोर और असंगत हो गया। कुछ मामलों में, AI अभी भी काम कर रहा था, लेकिन तोड़फोड़ अब सुनिश्चित नहीं थी। यह सुझाव देता है कि हमलावर को सिस्टम को समझौता करने के लिए प्रशिक्षण डेटा को जहर से भरने की आवश्यकता नहीं है; सावधानीपूर्वक रखे गए उदाहरणों की अपेक्षाकृत कम संख्या ही काफी है।

अध्ययन ने यह भी देखा कि क्या इस बैकडोर का पता मानक सुरक्षा उपायों द्वारा लगाया जा सकता है। शोधकर्ताओं ने पाया कि ज़हरीले नियमों ने सभी सामान्य जाँचों को पास कर लिया। वे सही ढंग से स्वरूपित थे, सभी सिंटैक्स नियमों का पालन करते थे, और वैध सुरक्षा निर्देशों की तरह दिखते थे। समस्या को पहचानने का एकमात्र तरीका यह परीक्षण करना था कि नियम किसी ज्ञात घटना के विरुद्ध वास्तव में अलार्म ट्रिगर करेगा या नहीं। उस विशिष्ट परीक्षण के बिना, टूटा हुआ नियम निकल जाएगा और सुरक्षा प्रणाली में बैठा रहेगा, एक ऐसे खतरे की प्रतीक्षा करता रहेगा जिसे वह कभी नहीं पकड़ पाएगा। शोधकर्ताओं ने यह भी परीक्षण किया कि क्या AI समान फ़ाइल नामों के लिए हमले को सामान्य (generalize) करेगा। उन्होंने पाया कि बैकडोर केवल सटीक फ़ाइल नाम तक ही सीमित नहीं रहा; यह संबंधित संकेतकों (indicators) तक भी फैल गया, जिसका अर्थ है कि तोड़फोड़ केवल उस एक खतरे तक सीमित रहने के बजाय खतरों की एक विस्तृत श्रृंखला को प्रभावित कर सकती है।

अंत में, टीम ने हमले के अधिक सूक्ष्म संस्करण का परीक्षण किया। एक अजीब, स्पष्ट मार्कर जैसे "SIGMA_BACKDOOR" का उपयोग करके नियम को तोड़ने के बजाय, उन्होंने इसे एक प्रशंसनीय लेकिन विरोधाभासी मान (value) से बदल दिया जो एक सामान्य गलती की तरह दिखता है। AI ने अभी भी जाल स्थापित करना सीख लिया, जिससे सिद्ध हुआ कि तोड़फोड़ को सादे दिखते हुए भी छिपाया जा सकता है। परिणाम दर्शाते हैं कि जबकि AI सुरक्षा नियमों को लिखने के लिए एक शक्तिशाली उपकरण हो सकता है, यह एक नए प्रकार का जोखिम भी लाता है। एक दुर्भावनापूर्ण कर्ता एक सहायक AI एड-ऑन प्रकाशित कर सकता है जो सभी के लिए काम करता है लेकिन किसी विशिष्ट लक्ष्य के लिए नहीं, जिससे सुरक्षा में एक ऐसा अंतर पैदा होता है जो मानक समीक्षाओं के लिए अदृश्य होता है। अध्ययन निष्कर्ष निकालता है कि AI के आउटपुट पर स्वतंत्र रूप से यह परीक्षण किए बिना भरोसा करना कि नियम वास्तव में काम करते हैं या नहीं, एक खतरनाक जुआ है, क्योंकि सिस्टम को आश्चर्यजनक रूप से कम प्रयास के साथ चुपचाप समझौता किया जा सकता है।