💻 computer science

RL-Trust RPL: A Reinforcement Learning-Based Adaptive Trust Framework for Sinkhole Attack Mitigation in Multicast RPL Networks

यह शोध पत्र RL-Trust RPL का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (Reinforcement Learning) आधारित अनुकूलनशील ट्रस्ट फ्रेमवर्क है जो पैकेट वितरण और ऊर्जा खपत जैसे नोड व्यवहारों की निगरानी करके मल्टीकास्ट RPL नेटवर्क में सिंकहोल हमलों को कम करता है ताकि दुर्भावनापूर्ण नोड्स का पता लगाया जा सके और उन्हें अलग किया जा सके, जिससे रूटिंग सुरक्षा और नेटवर्क प्रदर्शन में वृद्धि होती है।

मूल लेखक: P. Deepavathi, Chockalingam A, Pavitha A, Preethi C, Thangaselvi P, Kalaiselvi S

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: P. Deepavathi, Chockalingam A, Pavitha A, Preethi C, Thangaselvi P, Kalaiselvi S

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक नन्हे, बैटरी से चलने वाले संदेशवाहकों (IoT नोड्स) के एक हलचल भरे शहर की कल्पना करें जो एक केंद्रीय डाकघर (सिंक नोड) को पत्र पहुँचाने की कोशिश कर रहे हैं। वे अगला पत्र कौन ले जाएगा, यह तय करने के लिए एक विशेष मानचित्र बनाने वाली प्रणाली का उपयोग करते हैं जिसे RPL कहा जाता है। आमतौर पर, वे उस पड़ोसी को चुनते हैं जो सबसे तेज़ और सबसे सीधा रास्ता दिखता है।

लेकिन यहाँ एक समस्या है: एक चालाक धोखेबाज ("सिंकहोल" हमलावर) उनके बीच छिपकर बैठा है। यह धोखेबाज केवल पत्रों को चुराता ही नहीं है, बल्कि नकली "सबसे तेज़ रास्ता!" के बोर्ड भी लगा देता है, चिल्लाते हुए, "मुझे चुनें! मैं सबसे अच्छा रास्ता हूँ!" क्योंकि अन्य संदेशवाहक भरोसेमंद होते हैं, वे अपने पत्र धोखेबाज को सौंप देते हैं। एक बार जब धोखेबाज को पत्र मिल जाते हैं, तो वह या तो उन्हें फाड़ देता है, उनके पते बदल देता है, या बस उन्हें कूड़ेदान में फेंक देता है। परिणाम स्वरूप? डाकघर तक मेल कभी नहीं पहुँच पाता, नेटवर्क जाम हो जाता है, और संदेशवाहक अपनी छोटी बैटरियों को गोल-गोल घूमने में बर्बाद कर देते हैं।

पेपर का बड़ा विचार: एक स्मार्ट, सीखने वाला बाउंसर

लेखिका डीपवती और उनकी टीम ने केवल धोखेबाज को रोकने के लिए एक बड़ी दीवार बनाने की इच्छा नहीं रखी। इसके बजाय, उन्होंने RL-Trust RPL नामक एक नई प्रणाली का आविष्कार किया। इसे एक सुपर-स्मार्ट, सीखने वाले बाउंसर (द्वारपाल) के रूप में समझें जो केवल आईडी चेक करके भूल नहीं जाता।

यह बाउंसर रीइन्फोर्समेंट लर्निंग (विशेष रूप से Q-लर्निंग) नामक एक तकनीक का उपयोग करता है। कल्पना करें कि बाउंसर एक वीडियो गेम खेलने सीखने वाला छात्र है। हर बार जब कोई संदेशवाहक सफलतापूर्वक पत्र वितरित करता है, तो बाउंसर उसे एक "अच्छा काम किया" पॉइंट (सकारात्मक इनाम) देता है। हर बार जब कोई संदेशवाहक पत्र गिरा देता है या अजीब व्यवहार करता है, तो बाउंसर उसे एक "बुरे व्यवहार" का पॉइंट (नकारात्मक दंड) देता है।

समय के साथ, बाउंसर सीख जाता है कि कौन भरोसेमंद है और कौन धोखेबाज है, न कि किसी कठोर नियम पुस्तिका का पालन करके, बल्कि वास्तविक समय में सबके व्यवहार को देखकर।

यह प्रणाली क्या करती है (और क्या नहीं करती)

यह पेपर बहुत स्पष्ट है कि यह प्रणाली क्या नहीं है। यह निश्चित नियमों या स्थिर ट्रस्ट स्कोर का उपयोग करने के विरुद्ध तर्क देता है। पुराने तरीके में, आप कह सकते हैं, "यदि किसी नोड का ट्रस्ट स्कोर 50 से नीचे है, तो उसे बाहर निकाल दो।" लेकिन लेखकों का कहना है कि गतिशील दुनिया में, जहाँ स्थितियाँ लगातार बदलती रहती हैं, यह बहुत कठोर है। उनकी प्रणाली कोई निश्चित संख्या का उपयोग नहीं करती है; यह अनुकूलित होती है।

वे स्पष्ट रूप से यह भी कहते हैं कि यह प्रणाली ब्रह्मांड के हर प्रकार के हमलों के लिए एक जादुई इलाज नहीं है। पेपर विशेष रूप से मल्टीकास्ट RPL नेटवर्क में सिंकहोल हमलों पर केंद्रित है। हालांकि वे बैकग्राउंड में वर्महोल या सिबिल जैसे अन्य हमलों का उल्लेख करते हैं, लेकिन उनका नया प्रोटोकॉल सिंकहोल समस्या को हल करने के लिए डिज़ाइन किया गया है। वे यह भी नोट करते हैं कि उनके परिणाम सिमुलेशन (एक कंप्यूटर प्रोग्राम जिसे कोजुआ (Cooja) कहा जाता है जो कॉन्टिकी-ओएस (Contiki-OS) पर चलता है) से आए हैं, न कि हजारों भौतिक सेंसरों की वास्तविक दुनिया की तैनाती से। इसलिए, भले ही परिणाम शानदार दिखते हैं, वे वह हैं जो कंप्यूटर अनुमान लगाता है कि क्या होगा, न कि एक गारंटी कि वास्तविक शहर में क्या होगा।

यह "बाउंसर" कैसे काम करता है

यह प्रणाली यह तय करने के लिए तीन मुख्य चीजों पर नज़र रखती है कि कौन अच्छा है और कौन बुरा है:

फॉरवर्डिंग ट्रस्ट (आगे भेजने का भरोसा): क्या नोड ने वास्तव में पत्र आगे बढ़ाया?
कंट्रोल प्लेन ट्रस्ट: क्या नोड अपनी स्थिति के बारे में झूठ बोल रहा है या नकली संकेतों के साथ नेटवर्क को भर रहा है?
रेकमेंडेशन ट्रस्ट (सिफारिश का भरोसा): उसके पड़ोसी उसके बारे में क्या कहते हैं?

बाउंसर इन सबको मिलाकर एक एकल "ट्रस्ट स्कोर" बनाता है। यदि किसी नोड का स्कोर बहुत कम हो जाता है, तो बाउंसर तुरंत उसे अलग कर देता है, उसे "ब्लैकलिस्ट" में डाल देता है, और ट्रैफ़िक को एक सुरक्षित पड़ोसी की ओर मोड़ देता है। यह बिल्कुल वैसा ही है जैसे बाउंसर तुरंत धोखेबाज को इमारत से बाहर निकाल देता है और बाकी सबको पीछे के दरवाजे का उपयोग करने के लिए कहता है।

आंकड़े: यह कितना अच्छा काम कर रहा था?

लेखकों ने अपने सिमुलेशन को 100 नोड्स के साथ 100 × 100 मीटर के क्षेत्र में चलाया। उन्होंने उन परिदृश्यों का परीक्षण किया जहाँ 10% से 30% नोड्स दुर्भावनापूर्ण धोखेबाज थे। यहाँ उनके कंप्यूटर सिमुलेशन ने मानक RPL की तुलना में क्या दिखाया:

पैकेट डिलीवरी रेशियो (PDR): यह मापता है कि वास्तव में कितने पत्र डाकघर तक पहुँचे। नया सिस्टम हमलों के दौरान मानक RPL की तुलना में लगभग 40% अधिक पत्र डिलीवर करता है। इसने हमलों के दौरान भी डिलीवरी दर को 90% से ऊपर बनाए रखा।
ऊर्जा खपत (Energy Consumption): क्योंकि संदेशवाहक उन पत्रों को भेजने में ऊर्जा बर्बाद नहीं कर रहे हैं जिन्हें एक धोखेबाज बस गिरा देगा, नया सिस्टम मानक RPL की तुलना में लगभग 35% कम ऊर्जा का उपयोग करता है।
थ्रूपुट (Throughput): यह डेटा की मात्रा है जो गुजरती है। नया सिस्टम मानक RPL की तुलना में लगभग 38% अधिक डेटा स्थानांतरित करता है।
एंड-टू-एंड डिले (End-to-End Delay): यह वह समय है जो एक पत्र को शुरू से अंत तक जाने में लगता है। नया सिस्टम मानक RPL की तुलना में लगभग 42% तेज़ था क्योंकि यह धोखेबाज का इंतज़ार करने में नहीं फंसा।
नेटवर्क लाइफटाइम: क्योंकि बैटरियां लंबे समय तक चलीं, पूरा नेटवर्क मानक RPL की तुलना में लगभग 37% अधिक समय तक जीवित रहा।

निष्कर्ष

पेपर सुझाव देता है कि एक कठोर नियम पुस्तिका के बजाय एक सीखने वाले बाउंसर (रीइन्फोर्समेंट लर्निंग) का उपयोग करके, नेटवर्क धोखेबाजों को तेज़ी से पहचान सकता है, उन्हें बाहर निकाल सकता है, और पत्रों को चलते रहने दे सकता है। सिमुलेशन के परिणाम दिखाते हैं कि गति, बैटरी जीवन और मेल डिलीवर करने के मामले में यह वर्तमान मानक तरीकों से बेहतर काम करता है।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह एक सिमुलेशन है। उन्होंने अभी तक यह साबित नहीं किया है कि यह एक वास्तविक भौतिक शहर में काम करता है। वे यह भी स्वीकार करते हैं कि जबकि उन्होंने सिंकहोल समस्या को हल कर दिया है, अन्य प्रकार के धोखेबाज (जैसे वर्महोल या सिबिल हमले) भी हैं जिन्हें उन्होंने इस विशिष्ट उपकरण के साथ पूरी तरह से नहीं सुलझाया है। लेकिन "नकली साइन" वाले सिंकहोल हमले के लिए, उनका अनुकूलित, सीखने वाला दृष्टिकोण एक बहुत ही आशाजनक कदम लगता है।

तकनीकी सारांश: RL-Trust RPL

समस्या विवरण
इंटरनेट ऑफ थिंग्स (IoT) संसाधन-सीमित उपकरणों के बीच संचार को प्रबंधित करने के लिए लो-पावर एंड लॉसी नेटवर्क्स के लिए रूटिंग प्रोटोकॉल (RPL) पर बहुत अधिक निर्भर करता है। हालाँकि, ये नेटवर्क रूटिंग हमलों, विशेष रूप से सिंकहोल हमले (sinkhole attack) के प्रति संवेदनशील होते हैं। इस परिदृश्य में, एक दुर्भावनापूर्ण नोड गलत रूटिंग जानकारी (विशेष रूप से, फोर्ज्ड लो रैंक वाले DIO संदेशों के माध्यम से) प्रसारित करता है ताकि ट्रैफ़िक को आकर्षित किया जा सके। एक बार पैरेंट नोड के रूप में चुने जाने के बाद, हमलावर पैकेटों को ड्रॉप या संशोधित करता है, जिससे नेटवर्क के प्रदर्शन में भारी गिरावट आती है, जिसमें कम पैकेट डिलीवरी रेश्यो (PDR), बढ़ा हुआ एंड-टू-एंड विलंब और पैकेट लॉस शामिल है। मौजूदा शमन रणनीतियाँ अक्सर स्थिर ट्रस्ट थ्रेशोल्ड (static trust thresholds), उच्च कम्प्यूटेशनल ओवरहेड, लेबल किए गए डेटासेट (सुपरवाइज्ड लर्निंग) पर निर्भरता, या गतिशील नेटवर्क स्थितियों के अनुकूल होने और मार्गों को स्वचालित रूप से पुनः प्राप्त करने की अक्षमता जैसी सीमाओं से ग्रस्त होती हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र RL-Trust RPL का प्रस्ताव करता है, जो एक एडैप्टिव ट्रस्ट फ्रेमवर्क है जो मल्टीकास्ट RPL नेटवर्क्स में सिंकहोल हमलों को कम करने के लिए रीइन्फोर्समेंट लर्निंग (विशेष रूप से Q-learning) को डायनेमिक ट्रस्ट कंप्यूटेशन के साथ एकीकृत करता है। यह कार्यप्रणाली निम्नलिखित मुख्य तंत्रों के माध्यम से संचालित होती है:

अनुकूली ट्रस्ट कंप्यूटेशन इंजन (Adaptive Trust Computation Engine):
स्थिर थ्रेशोल्ड के बजाय, यह प्रणाली कई मेट्रिक्स के आधार पर पड़ोसी नोड्स का निरंतर मूल्यांकन करती है:

फॉरवर्डिंग ट्रस्ट ( $T_F$ ): सफलतापूर्वक फॉरवर्ड किए गए पैकेटों का अनुपात।
कंट्रोल प्लेन ट्रस्ट ( $T_C$ ): रैंक स्पूफिंग या मैसेज फ्लडिंग (DIO/DIS) का पता लगाना।
रिकमेंडेशन ट्रस्ट ( $T_R$ ): आपसी पड़ोसियों से प्राप्त माध्यमिक राय।
डायनेमिक वेटिंग (Dynamic Weighting): एक Q-learning एजेंट नेटवर्क की स्थिति (जैसे, पैकेट ड्रॉप दर, कंजेशन) और रूटिंग रिवॉर्ड्स/पेनल्टीज़ के आधार पर इन मेट्रिक्स को दिए गए भार ( $w_1, w_2, w_3$ ) को गतिशील रूप से समायोजित करता है, जिससे यह सुनिश्चित होता है कि ट्रस्ट मॉडल बदलती परिस्थितियों के अनुकूल हो सके।

Q-Learning आधारित पैरेंट सिलेक्शन:
यह प्रोटोकॉल स्टेटिक पैरेंट सिलेक्शन के स्थान पर एक लर्निंग एजेंट को प्रतिस्थापित करता है जो नेटवर्क की स्थिति ( $S$ ) का अवलोकन करता है, जिसमें रेसिडुअल एनर्जी, एक्सपेक्टेड ट्रांसमिशन काउंट (ETX), और लिंक क्वालिटी शामिल है। एजेंट एक परिभाषित स्पेस से एक्शन ( $A$ ) चुनता है:

एक इष्टतम विश्वसनीय पैरेंट का चयन करना।
पड़ोसी ट्रस्ट वैल्यू को अपडेट करना।
पहचाने गए सिंकहोल नोड्स को अलग करना (ब्लैकलिस्ट करना)।
वैकल्पिक विश्वसनीय पैरेंट्स का चयन करके रूटिंग पथों को पुनः प्राप्त करना।
एजेंट बेलमैन समीकरण (Bellman equation) के माध्यम से सीखता है, जिसे सफल पैकेट डिलीवरी के लिए सकारात्मक रिवॉर्ड और पैकेट ड्रॉप या लूप के लिए नकारात्मक पेनल्टी प्राप्त होती है।

डिटेक्शन और रिकवरी चरण:

डिटेक्शन (Detection): सिस्टम कंप्यूट किए गए ट्रस्ट स्कोर की तुलना डायनेमिक थ्रेशोल्ड से करता है। जो नोड्स थ्रेशोल्ड से नीचे गिर जाते हैं, उन्हें संदिग्ध या दुर्भावनापूर्ण के रूप में चिह्नित किया जाता है।
एलमिनेशन (Elimination): दुर्भावनापूर्ण नोड्स को तुरंत अलग कर दिया जाता है, उन्हें बॉयकॉट लिस्ट में डाल दिया जाता है, और डेस्टिनेशन-ओरिएंटेड डायरेक्टेड एसाइक्लिक ग्राफ (DODAG) से हटा दिया जाता है।
रूट रिकवरी (Route Recovery): आइसोलेशन के बाद, प्रोटोकॉल अगले सर्वोत्तम विश्वसनीय पैरेंट को चुनकर सुरक्षित रूटिंग पथों को स्वचालित रूप से पुनर्गठित करता है, जिससे निर्बाध संचार सुनिश्चित होता है।

प्रमुख योगदान
लेखक चार प्राथमिक योगदानों की पहचान करते हैं:

मल्टीकास्ट RPL के लिए एक अनुकूली ट्रस्ट कंप्यूटेशन इंजन का विकास जो स्थिर नियमों के बजाय कई डायनेमिक मेट्रिक्स के आधार पर नोड्स का मूल्यांकन करता है।
एक लाइटवेट Q-learning-आधारित पैरेंट सिलेक्शन मैकेनिज्म का एकीकरण जो विश्वसनीय फॉरवर्डिंग नोड्स को बुद्धिमानी से चुनने के लिए ट्रस्ट वैल्यू को एडैप्टिवली एडजस्ट करता है।
एक डायनेमिक सिंकहोल अटैक डिटेक्शन मैकेनिज्म का डिज़ाइन जो असामान्य ट्रस्ट वेरिएशंस और रूटिंग व्यवहार के माध्यम से दुर्भावनापूर्ण नोड्स की पहचान करता है।
एक ऑटोमैटिक रूट रिकवरी मैकेनिज्म का कार्यान्वयन जो दुर्भावनापूर्ण नोड आइसोलेशन के बाद तेजी से सुरक्षित पथों का पुनर्निर्माण करता है।

सिमुलेशन परिणाम
प्रस्तावित प्रोटोकॉल का सिमुलेशन Contiki-OS/Cooja सिम्युलेटर का उपयोग करके 100x100 मीटर क्षेत्र में 100 नोड्स के साथ किया गया था, जिसमें 10% से 30% हमलावर नोड्स थे। RL-Trust RPL के प्रदर्शन की तुलना Standard RPL, Static Trust RPL, और DLP4DA-RPL से की गई। परिणाम दर्शाते हैं कि:

पैकेट डिलीवरी रेशो (PDR): सिंकहोल हमले की स्थिति में RL-Trust RPL ने DLP4DA-RPL पर लगभग 15%, Trust-RPL पर 24%, और पारंपरिक RPL पर 40% सुधार किया।
ऊर्जा खपत (Energy Consumption): प्रोटोकॉल ने DLP4DA-RPL की तुलना में 14%, Trust-RPL की तुलना में 22%, और पारंपरिक RPL की तुलना में 35% ऊर्जा खपत को कम किया।
थ्रूपुट (Throughput): DLP4DA-RPL पर 17%, Trust-RPL पर 26%, और पारंपरिक RPL पर 38% की वृद्धि हासिल की।
एंड-टू-एंड विलंब (End-to-End Delay): औसत विलंब को DLP4DA-RPL की तुलना में 18%, Trust-RPL की तुलना में 27%, और पारंपरिक RPL की तुलना में 42% कम किया।
नेटवर्क लाइफटाइम: DLP4DA-RPL पर 16%, Trust-RPL पर 24%, और पारंपरिक RPL पर 37% नेटवर्क लाइफटाइम बढ़ाया।

महत्व और दावे
लेखक का दावा है कि RL-Trust RPL निश्चित थ्रेशोल्ड और पूर्व-निर्धारित नियमों पर निर्भरता को समाप्त करके मौजूदा सुरक्षा विधियों के लिए एक बेहतर विकल्प प्रदान करता है। रिइन्फोर्समेंट लर्निंग के माध्यम से ट्रस्ट मूल्यांकन को सीधे रूटिंग निर्णय प्रक्रिया में एकीकृत करके, यह फ्रेमवर्क सिंकहोल हमलों का तेजी से पता लगा सकता है और न्यूनतम कम्प्यूटेशनल और कम्युनिकेशन ओवरहेड के साथ सुरक्षित पथों को बहाल कर सकता है। लेखक का तर्क है कि यह दृष्टिकोण विशेष रूप से गतिशील नेटवर्क स्थितियों के तहत काम करने वाले संसाधन-सीमित IoT वातावरण के लिए उपयुक्त है, जो पारंपरिक प्रोटोकॉल की तुलना में उच्च विश्वसनीयता, सुरक्षा और ऊर्जा दक्षता प्रदान करता है।

लेखक नोट करते हैं कि वर्तमान कार्य मुख्य रूप से मल्टीकास्ट RPL नेटवर्क्स में सिंकहोल हमलों को कम करने पर केंद्रित है और वे सुझाव देते हैं कि भविष्य के कार्य में इस आर्किटेक्चर को अन्य समवर्ती हमलों, जैसे वर्महोल (wormhole), सिबिल (Sybil), ब्लैकहोल (blackhole), सिलेक्टिव फॉरवर्डिंग (selective forwarding), और रैंक मैनिपुलेशन (rank manipulation) हमलों को संभालने के लिए विस्तारित किया जा सकता है।

इसी तरह के और पेपर