💻 computer science

A Deterministic Forensic Preprocessing Framework for Heterogeneous Network Datasets: Formal Foundations, Implementation, and Empirical Validation

यह शोध पत्र एक नियत (deterministic) फोरेंसिक प्रीप्रोसेसिंग फ्रेमवर्क प्रस्तुत करता है जो विषम नेटवर्क डेटासेट को एक पुनरुत्पादनीय कैनोनिकल रूप में परिवर्तित करने के लिए स्कीमा, टेम्पोरल और प्रोवेनेंस रूपांतरणों को औपचारिक रूप देता है, जिससे विविध फोरेंसिक परिदृश्यों में साक्ष्य निरंतरता, स्वीकार्यता और स्केलेबल प्रदर्शन सुनिश्चित होता है।

मूल लेखक: Ravi Chaudhary, Reza Ryan, Nasim Ferdosian, Nickson M. Karie, Qian Li

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ravi Chaudhary, Reza Ryan, Nasim Ferdosian, Nickson M. Karie, Qian Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिजिटल जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं। आपके पास तीन अलग-अलग स्रोतों से सबूत आ रहे हैं: एक बैंक का सुरक्षा कैमरा, एक घर का स्मार्ट थर्मोस्टेट, और एक सिटी सर्वर का ट्रैफिक लॉग।

समस्या क्या है? प्रत्येक स्रोत एक अलग भाषा बोलता है।

बैंक तारीखें इस तरह लिखता है: "2021-01-01।"
थर्मोस्टेट उन्हें एक विशाल संख्या के रूप में लिखता है जैसे "1609459200।"
सिटी सर्वर तारीखों को इस तरह लिखता है: "Jan 1, 2021, 12 PM।"

वे एक ही चीज़ के लिए अलग-अलग नामों का भी उपयोग करते हैं। बैंक अपराधी के स्थान को "src_ip" कहता है, जबकि थर्मोस्टेट उसे "source_address" कहता है।

यदि आप इन नोट्स को एक ही व्हाइटबोर्ड पर रखने की कोशिश करते हैं, तो यह एक गड़बड़ी बन जाता है। इससे भी बदतर, यदि आप दो अलग-अलग जासूसों को इन नोट्स को व्यवस्थित करने के लिए कहते हैं, तो वे टाइमलाइन के दो अलग संस्करण बना सकते हैं। अदालत में, यह अस्पष्टता साक्ष्य को खारिज करवा सकती है।

यह शोध पत्र एक डिटरमिनिस्टिक फॉरेंसिक प्रीप्रोसेसिंग फ्रेमवर्क (Deterministic Forensic Preprocessing Framework) पेश करता है। इसे एक अति-सख्त, रोबोटिक अनुवादक और संगठक के रूप में समझें जो सबूतों के इस बिखरे हुए ढेर को एक एकल, पूर्ण, अपरिवर्तनीय रिपोर्ट में बदल देता है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. तीन जादुई रूपांतरण (The Three Magic Transformations)

यह फ्रेमवर्क डेटा को साफ करने के लिए तीन विशिष्ट नियमों का उपयोग करता है, जिन्हें लेखक "रूपांतरण" (transformations) कहते हैं।

स्कीमा नॉर्मलाइजेशन (नाम टैग ठीक करना - Schema Normalization):
कल्पना कीजिए कि एक पार्टी में हर कोई अलग-अलग नाम टैग पहने हुए है। कुछ पर "Bob" लिखा है, कुछ पर "Robert", और कुछ पर सिर्फ एक टेढ़ी-मेढ़ी लिखावट है। यह चरण सभी को एक मानक नाम टैग (जैसे, "Source IP") पहनने के लिए मजबूर करता है, जबकि मूल लिखावट को सावधानी के तौर पर जेब में सुरक्षित रखता है। यह सुनिश्चित करता है कि "src_ip" और "source_address" को एक ही चीज़ माना जाए, लेकिन कोई भी जानकारी कभी खोई नहीं जाती।
टेम्पोरल नॉर्मलाइजेशन (यूनिवर्सल क्लॉक - Temporal Normalization):
यह समय-यात्रा (time-travel) वाला समाधान है। यह हर अजीब तारीख के प्रारूप (संख्या, टेक्स्ट, अलग-अलग टाइम ज़ोन) को लेता है और उन्हें एक सार्वभौमिक प्रारूप में बदल देता है: ISO 8601 UTC (जैसे 2021-01-01T12:00:00Z)। यदि कोई टाइमस्टैंप टूटा हुआ या अपठनीय है, तो यह साक्ष्य को फेंकता नहीं है; यह उसे "अज्ञात" (unknown) के रूप में चिह्नित करता है लेकिन मूल टूटी हुई नोट को फ़ाइल में सुरक्षित रखता है।
प्रोवेनेंस ट्रैकिंग (डिजिटल सील - Provenance Tracking):
यह अदालत के लिए सबसे महत्वपूर्ण हिस्सा है। जैसे-जैसे रोबोट आपके डेटा को व्यवस्थित करता है, यह विशाल फ़ाइल को छोटे "चंक्स" (जैसे किताब के पन्ने) में काट देता है। प्रत्येक चंक के लिए, यह एक अद्वितीय डिजिटल फिंगरप्रिंट (एक SHA-256 हैश) बनाता है। यह हर डायरी के पन्ने को मोहर और एक विशिष्ट स्टैम्प के साथ सील करने जैसा है। यदि बाद में कोई भी डेटा में एक भी अक्षर बदलने की कोशिश करता है, तो फिंगरप्रिंट मेल नहीं खाएगा, और आप जान जाएंगे कि साक्ष्य के साथ छेड़छाड़ की गई है।

2. "डिटरमिनिस्टिक" का वादा (The "Deterministic" Promise)

शब्द डिटरमिनिस्टिक (Deterministic) इस शोध पत्र की सुपरपावर है। सरल शब्दों में, इसका अर्थ है: "वही इनपुट = वही आउटपुट, हर बार।"

यदि आप इसी फ्रेमवर्क को एक ही साक्ष्य फ़ाइल पर 100 बार चलाते हैं, तो आपको 100 बार बिल्कुल वही परिणाम मिलेगा। चाहे कोई भी इसे चलाए, वे कौन सा कंप्यूटर उपयोग करें, या दिन का कौन सा समय हो।

यह क्यों मायने रखता है: अदालत में, यदि बचाव पक्ष का वकील पूछता है, "क्या जासूस ने डेटा को अपने सिद्धांत के अनुकूल बनाने के लिए बदला है?" तो उत्तर होगा "नहीं, क्योंकि गणित गारंटी देता है कि उसी शुरुआती बिंदु से अलग परिणाम प्राप्त करना असंभव है।"

3. "चंक" का तरीका (हाथी को फ्रिज में फिट करना - The "Chunk" Trick)

आमतौर पर, किताबों के एक विशाल पुस्तकालय को व्यवस्थित करने के लिए, आपको उन्हें एक साथ बिछाने के लिए एक विशाल मेज की आवश्यकता होती है। यदि आपके पास 30 करोड़ रिकॉर्ड हैं (जैसे पेपर में दिया गया IoT-23 डेटासेट), तो आपका कंप्यूटर उन सभी को एक साथ रखने की कोशिश में फट जाएगा।

यह फ्रेमवर्क एक चंक-आधारित आर्किटेक्चर (Chunk-Based Architecture) का उपयोग करता है।

उपमा: पूरी लाइब्रेरी को पकड़ने के बजाय, रोबोट 10,000 किताबों का एक छोटा ढेर उठाता है, उन्हें व्यवस्थित करता है, उन्हें फिंगरप्रिंट के साथ सील करता है, एक बॉक्स में रखता है, और बॉक्स को रख देता है। फिर वह अगले ढेर को उठाता है।
परिणाम: यह एक मानक लैपटॉप पर भी भारी डेटासेट (करोड़ों रिकॉर्ड) को प्रोसेस कर सकता है बिना मेमोरी खत्म हुए। यह मेमोरी के उपयोग को कम और स्थिर रखता है, जैसे कि एक बाल्टी जो कभी ओवरफ्लो नहीं होती।

4. उन्होंने क्या सिद्ध किया? (What Did They Prove?)

लेखकों ने केवल एक रोबोट नहीं बनाया; उन्होंने गणित (प्रमेय/theorems) और वास्तविक दुनिया के परीक्षणों का उपयोग करके सिद्ध किया कि यह काम करता है।

गणित: उन्होंने औपचारिक प्रमाण (formal proofs) लिखे जो दिखाते हैं कि उनके नाम बदलने, समय बदलने और डेटा को सील करने के नियम तार्किक रूप से सही हैं और कभी भी जानकारी नहीं खोते हैं।
परीक्षण: उन्होंने तीन वास्तविक दुनिया के डेटासेट (UNSW-NB15, IoT-23, और TON_IoT) पर इसका परीक्षण किया जिसमें 32.5 करोड़ रिकॉर्ड तक थे।
- परिणाम: उन्होंने प्रत्येक डेटासेट पर प्रक्रिया को 5 बार चलाया। हर बार, डिजिटल फिंगरप्रिंट पूरी तरह से मेल खाते थे। सिस्टम ने बिना क्रैश हुए भारी डेटा को संभाला और मेमोरी का उपयोग कम (लगभग 2.2 GB) रखा।

सारांश (Summary)

यह शोध पत्र एक फॉरेंसिक "असेंबली लाइन" प्रस्तुत करता है जो अव्यवस्थित, असंगत डिजिटल साक्ष्यों को एक स्वच्छ, मानकीकृत और कानूनी रूप से बचाव योग्य रिपोर्ट में बदल देती है।

यह गारंटी देता है कि:

डेटा व्यवस्थित है (अब "src_ip" बनाम "source_address" जैसी कोई उलझन नहीं)।
टाइमलाइन एकीकृत है (अब टाइम ज़ोन मिलाने की कोई समस्या नहीं)।
साक्ष्य को क्रिप्टोग्राफिक फिंगरप्रिंट के साथ सील किया गया है ताकि कोई यह दावा न कर सके कि इसे फर्जी बनाया गया है।
यह बिना किसी सुपरकंप्यूटर की आवश्यकता के भारी मात्रा में डेटा को संभाल सकता है।

संक्षेप में, यह डिजिटल सुरागों के एक अराजक ढेर को एक अदालत-तैयार कहानी में बदल देता जिसे "इसे कैसे प्रोसेस किया गया" के आधार पर चुनौती नहीं दी जा सकती।

तकनीकी सारांश: विषम नेटवर्क डेटासेट के लिए एक नियतात्मक फोरेंसिक प्रीप्रोसेसिंग फ्रेमवर्क

समस्या विवरण
डिजिटल फोरेंसिक जांच तेजी से एंटरप्राइज ट्रैफिक लॉग, IoT डिवाइस टेलीमेट्री और घुसपैठ पहचान प्रणाली (IDS) अलर्ट सहित विषम स्रोतों से साक्ष्य सहसंबंध (correlating evidence) पर निर्भर हो रही है। प्रीप्रोसेसिंग चरण में एक महत्वपूर्ण बाधा मौजूद है: मौजूदा दृष्टिकोण मुख्य रूप से 'एड हॉक' (ad hoc) हैं, जो कस्टम स्क्रिप्ट्स पर निर्भर करते हैं जिनमें रन के दौरान निरंतरता को सत्यापित करने वाले तंत्रों का अभाव होता है। यह पुनरुत्पादकता अंतराल (reproducibility gaps) पैदा करता है जो साक्ष्य की अखंडता को कमजोर करता है और कानूनी स्वीकार्यता को चुनौती देता है। इसके अलावा, वर्तमान उपकरण (जैसे, Wireshark, Zeek) वास्तविक समय कैप्चर के लिए डिज़ाइन किए गए हैं न कि पोस्ट-हॉक एकीकरण के लिए, जबकि सामान्य प्रयोजन वाले एक्सट्रैक्ट, ट्रांसफॉर्म, लोड (ETL) सिस्टम औपचारिक नियतात्मक गारंटी (formal determinism guarantees) की कमी रखते हैं, और उपलब्ध मेमोरी से बड़े डेटासेट को संभालने की क्षमता नहीं रखते हैं। मूल समस्या एक ऐसे प्रीप्रोसेसिंग पाइपलाइन की अनुपस्थिति है जो साथ ही औपचारिक रूप से सही, पुनरुत्पादक, क्रिप्टोग्राफिक रूप से सत्यापन योग्य और स्केलेबल हो।

कार्यप्रणाली (Methodology)
लेखक एक नियतात्मक फोरेंसिक प्रीप्रोसेसिंग फ्रेमवर्क का प्रस्ताव करते हैं जो विषम नेटवर्क डेटासेट को एक पुनरुत्पादक कैनोनिकल रूप में परिवर्तित करता है। कार्यप्रणाली सेट-थ्योरेटिक परिभाषाओं पर आधारित है और इसे एक चंक-आधारित (chunk-based) आर्किटेक्चर के माध्यम से कार्यान्वित किया गया है।

औपचारिक आधार (Formal Foundations): फ्रेमवर्क तीन मुख्य रूपांतरणों को परिभाषित करता है:
- स्कीमा नॉर्मलाइजेशन ( $T_s$ ): विषम फ़ील्ड नामों को एक कैनोनिकल स्कीमा में मैप करता है जबकि सूचना संरक्षण सुनिश्चित करने के लिए मूल फ़ील्ड मानों को सुरक्षित रखता है।
- टेम्पोरल नॉर्मलाइजेशन ( $T_t$ ): विविध टाइमस्टैम्प प्रारूपों (Unix epoch, ISO 8601, आदि) को एक कैनोनिकल ISO 8601 UTC प्रारूप में परिवर्तित करता है। महत्वपूर्ण रूप से, यह कच्चे टाइमस्टैम्प को सुरक्षित रखता है और डेलाइट सेविंग टाइम ट्रांज़िशन जैसे संदिग्ध मामलों को डेटा को हटाए बिना नियतात्मक रूप से संभालता है।
- प्रोवेनेंस ट्रैकिंग ( $T_p$ ): डेटा चंक्स के लिए क्रिप्टोग्राफिक हैश (SHA-256) उत्पन्न करता है और चेन ऑफ कस्टडी के दस्तावेजीकरण के लिए प्रोवेनेंस रिकॉर्ड बनाता है, जिसमें चंक इंडेक्स, रिकॉर्ड काउंट और टाइमस्टैम्प शामिल हैं।
सैद्धांतिक गारंटी (Theoretical Guarantees): पेपर चार प्रमेय स्थापित करता है जो सिद्ध करते हैं:
- नियतात्मकता (Determinism): रूपांतरण समान इनपुट के लिए समान आउटपुट उत्पन्न करते हैं, चाहे निष्पादन संदर्भ (execution context) कुछ भी हो।
- सूचना संरक्षण (Information Preservation): स्कीमा या टेम्पोरल नॉर्मलाइजेशन के दौरान कोई डेटा नष्ट नहीं होता है; मूल मान पुनः प्राप्त करने योग्य रहते हैं।
- प्रोवेनेंस पूर्णता (Provenance Completeness): प्रत्येक रिकॉर्ड एक प्रोवेनेंस रिकॉर्ड द्वारा कवर किया जाता है, जो पूर्ण ऑडिटेबिलिटी सुनिश्चित करता है।
कार्यान्वयन आर्किटेक्चर (Implementation Architecture):
- चंक-आधारित प्रसंस्करण (Chunk-Based Processing): सिस्टम मेमोरी से बड़े डेटासेट को संभालने के लिए, फ्रेमवर्क डेटा को निश्चित आकार के चंक्स ( $c$ ) में संसाधित करता है। यह सुनिश्चित करता है कि कुल डेटासेट आकार ( $n$ ) से स्वतंत्र, $O(c)$ बाउंडेड मेमोरी कॉम्प्लेक्सिटी बनी रहे।
- नियतात्मक क्रम (Deterministic Ordering): सिस्टम फ़ाइल ऑर्डर में रिकॉर्ड को प्रोसेस करके, सीरियलाइजेशन के दौरान फ़ील्ड नामों को वर्णानुक्रम में सॉर्ट करके और टाइमस्टैम्प के लिए निश्चित पार्सिंग ऑर्डर का उपयोग करके नियतात्मक व्यवहार लागू करता है।
- सत्यापन (Verification): कार्यान्वयन में एक मल्टी-रन वेरिफिकेशन मैकेनिज्म शामिल है जो स्वतंत्र निष्पादन के माध्यम से अंतिम डेटासेट और प्रोवेनेंस श्रृंखलाओं के SHA-256 हैश की तुलना करता है।

प्रमुख योगदान (Key Contributions)
पेपर छह प्राथमिक योगदानों का दावा करता है:

औपचारिक प्रीप्रोसेसिंग फ्रेमवर्क: फोरेंसिक प्रीप्रोसेसिंग को एक नियतात्मक रूपांतरण समस्या के रूप में एक सेट-थ्योरेटिक औपचारिकीकरण, जिसमें $T_s$ , $T_t$ , और $T_p$ के स्पष्ट विवरण हैं।
प्रमेय-समर्थित गारंटी: चार औपचारिक प्रमेय (प्रमाणों के साथ) जो नियतात्मकता, सूचना संरक्षण और प्रोवेनेंस पूर्णता स्थापित करते हैं।
प्रोवेनेंस-जागरूक प्रीप्रोसेसिंग: क्रिप्टोग्राफिक प्रोवेनेंस ट्रैकिंग (SHA-256) का सीधे प्रीप्रोसेसिंग ट्रांसफॉर्मेशन स्तर में एकीकरण, जो चेन-ऑफ-कस्टडी आवश्यकताओं का समर्थन करता है।
बाउंडेड-मेमोरी आर्किटेक्चर: एक चंक-आधारित डिज़ाइन जो मानक हार्डवेयर पर उपलब्ध RAM से काफी बड़े डेटासेट को संसाधित करने में सक्षम बनाता है।
पुनरुत्पादकता सत्यापन: औपचारिक गारंटियों को अनुभवजन्य रूप से मान्य करने के लिए मल्टी-रन SHA-256 समानता परीक्षण की एक कार्यप्रणाली।
अनुभवजन्य सत्यापन (Empirical Validation): तीन सार्वजनिक डेटासेट्स (UNSW-NB15, IoT-23, TON_IoT) पर स्केलेबिलिटी और निरंतरता प्रदर्शित करने के लिए मूल्यांकन।

प्रायोगिक परिणाम (Experimental Results)
फ्रेमवर्क का मूल्यांकन तीन डेटासेट्स पर किया गया जो 2.5 मिलियन से 325 मिलियन रिकॉर्ड तक विस्तृत थे:

नियतात्मकता: सभी डेटासेट्स के लिए पांच स्वतंत्र रन के लिए 100% आउटपुट निरंतरता (डेटासेट और प्रोवेनेंस दोनों हैश) प्राप्त की गई।
टेम्पोरल नॉर्मलाइजेशन: 99.99% से 100% पूर्णता प्राप्त की गई। त्रुटिपूर्ण टाइमस्टैम्प को कच्चे मानों के रूप में संरक्षित किया गया और कैनोनिकल फ़ील्ड को 'अनडिफाइंड' के रूप में चिह्नित किया गया, जिससे कोई साक्ष्य हानि नहीं हुई।
प्रोवेनेंस कवरेज: क्रिप्टोग्राफिक सत्यापन के साथ 100% रिकॉर्ड प्रोवेनेंस रिकॉर्ड द्वारा कवर किए गए।
स्केलेबिलिटी और मेमोरी: फ्रेमवर्क ने 325 मिलियन रिकॉर्ड (IoT-23) को 2.3 GB के पीक मेमोरी उपयोग के साथ संसाधित किया, जो $O(c)$ बाउंडेड मेमोरी की पुष्टि करता है। इसके विपरीत, एक Pandas-आधारित बेसलाइन मेमोरी बाधाओं के कारण बड़े डेटासेट्स पर विफल रही और उसमें नियतात्मकता सत्यापन का अभाव था।
प्रदर्शन: डेटासेट की जटिलता के आधार पर थ्रूपुट 20,000 से 66,850 रिकॉर्ड प्रति सेकंड के बीच रहा।

महत्व और दावे (Significance and Claims)
यह पेपर इस कार्य को औपचारिक प्रीप्रोसेसिंग गारंटी, नियतात्मकता प्रमाण, क्रिप्टोग्राफिक सत्यापन, बाउंडेड मेमोरी और बड़े पैमाने पर अनुभवजन्य सत्यापन को संयोजित करने वाले पहले सिस्टम के रूप में प्रस्तुत करता है। लेखक तर्क देते हैं कि यह फ्रेमवर्क वर्तमान फोरेंसिक वर्कफ़्लो में "पुनरुत्पादकता अंतराल" को संबोधित करता है, जो साक्ष्य की स्वीकार्यता के लिए एक कानूनी रूप से बचाव योग्य आधार प्रदान करता है। प्रीप्रोसेसिंग को एक नियतात्मक रूपांतरण के रूप में औपचारिक बनाकर, यह कार्य विश्लेषकों को वैज्ञानिक रूप से यह प्रदर्शित करने में सक्षम बनाता है कि साक्ष्य को बदला या असंगत रूप से संसाधित नहीं किया गया है। लेखक नोट करते हैं कि जबकि फ्रेमवर्क एक मजबूत आधार प्रदान करता है, भविष्य के कार्यों के लिए स्वचालित स्कीमा इन्फरेंस, वितरित प्रसंस्करण और मशीन-चेक्ड फॉर्मल वेरिफिकेशन (जैसे, Coq में) की आवश्यकता है।

1. तीन जादुई रूपांतरण (The Three Magic Transformations)

2. "डिटरमिनिस्टिक" का वादा (The "Deterministic" Promise)

3. "चंक" का तरीका (हाथी को फ्रिज में फिट करना - The "Chunk" Trick)

4. उन्होंने क्या सिद्ध किया? (What Did They Prove?)

सारांश (Summary)

इसी तरह के और पेपर