💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint एक नवीन ढांचा है जो एक "डाइवर्ज-देन-कन्वर्ज" (विचलित-फिर-अभिसरण) रणनीति को अपनाकर साइबर थ्रेट इंटेलिजेंस रिपोर्टों से MITRE ATT&CK तकनीकों के निष्कर्षण में सुधार करता है, जिससे यह पहले विशिष्ट साक्ष्यों पर आधारित संभावित व्यवहारों की व्यापक रूप से पहचान करता है और फिर आधिकारिक परिभाषाओं के विरुद्ध उनका कड़ाई से सत्यापन करता है, जिससे यह रिकॉल और प्रिसिजन दोनों में मौजूदा तरीकों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जिसे एक विशाल, अराजक अपराध स्थल की रिपोर्ट सुलझाने का काम सौंपा गया है। रिपोर्ट सैकड़ों पन्नों लंबी है, जो तकनीकी शब्दावली और अस्पष्ट विवरणों के मिश्रण में लिखी गई है। आपका काम विशिष्ट "मोडस ऑपरेंडी" (अपराधियों ने यह कैसे किया) को खोजना और उन्हें एक विशाल, आधिकारिक नियम पुस्तिका MITRE ATT&CK से मिलाना है।

समस्या कठिन है:

कुछ भी न छोड़ें: यदि आप कोई तकनीक चूक जाते हैं, तो अपराधी एक नए तरीके के साथ बच निकलेंगे।
मनगढ़ंत बातें न करें: यदि आप किसी ऐसी तकनीक का अनुमान लगाते हैं जो वास्तव में वहां मौजूद नहीं है, तो आप सभी का समय बर्बाद करेंगे।

मौजूदा तरीके (जैसे पुरानी नियम पुस्तकें या सिंगल-पास AI) दोनों को करने में संघर्ष करते हैं। या तो वे बहुत सारे सुराग छोड़ देते हैं या बहुत सारे गलत अनुमान लगाते हैं।

पेश है TTPRINT, एक नई प्रणाली जो इसे एक मानव जासूसी टीम की तरह एक "Diverge-then-Converge" रणनीति का उपयोग करके हल करती है। इसे एक दो-चरणीय प्रक्रिया के रूप में सोचें: पहले "विस्तार करें" (Spread Wide), फिर "संकुचित करें" (Narrow Down)।

TTPRINT जासूसी कार्यप्रवाह (Workflow)

चरण 1: "Diverge" (विस्तार करना - फैलाना)

तुरंत उत्तर का अनुमान लगाने के बजाय, TTPRINT उस विशाल अपराध रिपोर्ट को छोटे-छोटे टुकड़ों में तोड़ देता है जिन्हें "एटॉमिक बिहेवियर्स" (atomic behaviors) कहा जाता है।

उपमा: कल्पना करें कि आप एक 50 पन्नों के उपन्यास को व्यक्तिगत वाक्यों में काट रहे हैं।
यह क्या करता है: प्रत्येक छोटे वाक्य के लिए, AI पूछता है, "यह क्या हो सकता है?" यह नियम पुस्तिका से संभावित मैचों की एक लंबी सूची तैयार करता है। यह जानबूझकर एक विस्तृत जाल बुनता है, भले ही इसका मतलब कुछ अकल्पनीय विकल्प सुझाना हो। इसका लक्ष्य रिकॉल (Recall) है: यह सुनिश्चित करना कि कोई भी वास्तविक सुराग पीछे न छूटे।

चरण 2: "Anchor" (लंगर डालना - साक्ष्य खोजना)

AI द्वारा किसी अनुमान की पुष्टि करने से पहले, उसे यह साबित करना होगा कि वह सुराग टेक्स्ट में कहाँ से आया है।

उपमा: यदि आप कहते हैं, "संदिग्ध ने एक क्राउबार (crowbar) का उपयोग किया," तो आपको रिपोर्ट के उस सटीक वाक्य की ओर इशारा करना चाहिए जो कहता है, "संदग्ध ने एक क्राउबर का उपयोग किया।" आप केवल यह नहीं कह सकते कि "मुझे लगता है कि उन्होंने क्राउबार का उपयोग किया क्योंकि उन्होंने खिड़की तोड़ी है।"
यह क्या करता है: TTPRINT उस विशिष्ट "विंडो" (text window) को खोजने के लिए एक सख्त, गैर-AI एल्गोरिदम का उपयोग करता है जो व्यवहार का समर्थन करती है। यह हर अनुमान को साक्ष्य के एक विशिष्ट टुकड़े से जोड़ देता है, जिससे AI को पूरे दस्तावेज़ के सामान्य भाव के आधार पर कल्पना (hallucination) करने से रोकता है।

चरण 3: "Converge" (संकुचित करना - संकुचन)

अब कठोर सत्यापन आता है। AI "संभावित" मैचों की सूची और विशिष्ट "साक्ष्य विंडो" को लेता है।

उपमा: एक वरिष्ठ जासूस जूनियर की सूची की समीक्षा करता है। वे नियम पुस्तिका की परिभाषा और विशिष्ट वाक्य (साक्ष्य) को अगल-बगल देखते हैं। वे पूछते हैं: "क्या यह वाक्य वास्तव में नियम पुस्तिका की परिभाषा से मेल खाता है, या यह केवल एक ढीला अनुमान है?"
यह क्या करता है: AI एक कॉन्फिडेंस स्कोर (विश्वास स्कोर) असाइन करता है। यदि मैच कमजोर है, तो उसे हटा दिया जाता है। यदि यह मजबूत है, तो उसे रखा जाता है। यह चरण सुनिश्चित करता है कि प्रिसिजन (Precision): केवल वे तथ्य जो वास्तव में टेक्स्ट द्वारा समर्थित हैं, ही शेष रहते हैं।

यह बेहतर क्यों काम करता है

शोधकर्ताओं का दावा है कि पिछले तरीकों ने एक ही बार में ये सभी चरण करने की कोशिश की थी (जैसे एक जासूस एक ही सांस में पूरी कहानी का अनुमान लगाने की कोशिश करता है)। इससे गलतियाँ होती हैं:

बहुत अधिक सतर्क: वे गलत अनुमान लगाने से बचने के लिए सूक्ष्म सुरागों को छोड़ देते हैं।
बहुत अधिक आत्मविश्वासी: वे गलत अनुमान लगाते हैं क्योंकि रिपोर्ट की शब्दावली नियम पुस्तिका से पूरी तरह मेल नहीं खाती।

TTPRINT "अनुमान लगाने" को "जांचने" से अलग करता है। काम को विभाजित करके, यह अनुमान लगाने में साहसी (सब कुछ पकड़ने के लिए) और जांचने में सख्त (केवल सत्य रखने के लिए) हो सकता है।

परिणाम

शोधकर्ताओं ने दो डेटासेट्स पर TTPRINT का परीक्षण किया:

TRAM-Clean: एक मौजूदा डेटासेट का एक साफ किया गया संस्करण (उन्होंने मूल लेबल में त्रुटियों को ठीक किया)।
TTPRINT-Bench: 150 पूर्ण रिपोर्टों का एक नया डेटासेट जिसे उन्होंने शून्य से बनाया है।

स्कोरकार्ड:

नए डेटासेट पर, TTPRINT की सफलता दर 87.39% (मैक्रो-F1) रही।
सबसे अच्छा पिछला तरीका (एक मानक AI जो "चेन ऑफ थॉट" का उपयोग करता है) केवल 58.02% प्राप्त कर सका।
TTPRINT ने स्कोर में लगभग 30% का सुधार किया, जिसका अर्थ है कि इसने बहुत कम गलतियाँ करते हुए काफी अधिक वास्तविक तकनीकों को खोजा।

नियंत्रण के लिए "नॉब" (Knob)

एक शानदार विशेषता एक "थ्रेशोल्ड नॉब" (जिसे $\tau$ कहा जाता है) है।

इसे ऊपर घुमाएं: आपको कम परिणाम मिलेंगे, लेकिन आप 100% आश्वस्त होंगे कि वे सही हैं (उच्च प्रिसिजन/Precision)। उन स्वचालित प्रणालियों के लिए अच्छा है जो गलती नहीं कर सकतीं।
इसे नीचे घुमाएं: आपको अधिक परिणाम मिलेंगे, लगभग सब कुछ पकड़ लेंगे, भले ही उनमें से कुछ संदिग्ध हों (उच्च रिकॉल/Recall)। उन सुरक्षा टीमों के लिए अच्छा है जो हर संभावित खतरे को पकड़ना चाहती हैं और बाद में जांच करना चाहती हैं।

सारांश

TTPRINT एक ऐसे जासूस की तरह है जो पहले रिपोर्ट के हर वाक्य के आधार पर हर संभावित सिद्धांत को लिख लेता है, फिर अंतिम केस फाइल लिखने से पहले प्रत्येक सिद्धांत की विशिष्ट साक्ष्य के विरुद्ध कठोरता से जांच करता है। यह दृष्टिकोण इसे किसी भी पिछले तरीके की तुलना में अधिक वास्तविक खतरों को पकड़ने और बहुत कम गलत अलार्म देने की अनुमति देता है।

नोट: शोध पत्र सख्ती से अंग्रेजी भाषा की रिपोर्टों से इन तकनीकों को निकालने पर केंद्रित है। यह भविष्य के हमलों की भविष्यवाणी करने, हैकर्स को वास्तविक समय में रोकने, या चिकित्सा या कानूनी निदान उपकरण के रूप में कार्य करने का दावा नहीं करता है।

तकनीकी सारांश: TTPRINT

समस्या विवरण
असंरचित साइबर थ्रेट इंटेलिजेंस (CTI) रिपोर्टों से MITRE ATT&CK तकनीकों को स्वचालित रूप से निकालना एक ओपन-सेट, मल्टी-लेबल समस्या है, जिसके लिए उच्च रिकॉल (सभी वास्तविक वर्णित तकनीकों को कैप्चर करना) और उच्च प्रिसिजन (असमर्थित तकनीकों के भ्रम/hallucinations से बचना) के एक साथ अनुकूलन की आवश्यकता होती है। मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

नियम-आधारित और पर्यवेक्षित विधियाँ (Rule-based and Supervised Methods): TTPDrill जैसे सिस्टम या फाइन-ट्यून किए गए ट्रांसफॉर्मर (जैसे LADDER, MITREtrieval) विविध रिपोर्ट शैलियों और विकसित होते हमले के विवरणों के बीच सामान्यीकरण करने में संघर्ष करते हैं। वे अक्सर स्पष्ट कीवर्ड या निश्चित ऑन्टोलॉजी पर निर्भर करते हैं, जिससे वे निहित (implicit) या पैराफ्रेज किए गए व्यवहारों को पकड़ने में विफल रहते हैं।
सिंगल-पास LLM दृष्टिकोण: हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) आशाजनक दिखते हैं, लेकिन उन्हें सिंगल इन्फरेंस स्टेप में लागू करने से परिकल्पना पीढ़ी (hypothesis generation) और सत्यापन (verification) के उद्देश्यों का जुड़ाव हो जाता है। यह जुड़ाव दो संचयी विफलता मोडों की ओर ले जाता है: (1) मॉडल कम प्रमुख व्यवहारों को छोड़ते हुए आत्मविश्वास के लिए कवरेज का त्याग करता है, और (2) परिचालन रिपोर्ट भाषा और मानक MITRE परिभाषाओं के बीच सतही शाब्दिक बेमेल (lexical mismatches) के कारण गलत तकनीक मैपिंग होती है।

कार्यप्रणाली: TTPRINT
लेखक मानव विश्लेषक वर्कफ़्लो से प्रेरित एक चार-चरणीय पाइपलाइन, TTPRINT का प्रस्ताव करते हैं, जो रिकॉल-उन्मुख पीढ़ी को प्रिसिजन-उन्मुख सत्यापन से अलग करने के लिए एक "डाइवर्ज-देन-कन्वर्ज" (diverge-then-converge) डिज़ाइन का उपयोग करता है।

डाइवर्जेंट चरण (कवरेज को अधिकतम करना):
- व्यवहार निष्कर्षण (Behavior Extraction): कच्चे CTI रिपोर्ट को परमाणु (atomic), स्व-निहित हमले के व्यवहारों के एक सेट में विभाजित किया जाता है। महत्वपूर्ण रूप से, यह चरण विशिष्ट तकनीकी आर्टिफैक्ट्स (टूल के नाम, कमांड स्ट्रिंग्स, रजिस्ट्री पाथ) को सुरक्षित रखता है ताकि 'कॉन्टेक्स्ट कोलैप्स' को रोका जा सके, जिससे यह सुनिश्चित होता है कि डाउनस्ट्रीम चरणों के पास सटीक पहचान के लिए पर्याप्त विवरण उपलब्ध हो।
- TTP प्रस्ताव: प्रत्येक परमाणु व्यवहार के लिए, LLM उम्मीदवार MITRE ATT&CK तकनीकों का एक विस्तृत सेट (अधिकतम $k$ विशिष्ट पैरेंट-लेवल आइडेंटिफायर तक) प्रस्तावित करता है। यह चरण रिकॉल को प्राथमिकता देता है, और जानबूझकर निर्णय को स्थगित करता है ताकि किसी भी संभावित तकनीक को समय से पहले खारिज न किया जाए।
कन्वर्जेंट चरण (साक्ष्य द्वारा फ़िल्टर करना):
- स्पैन लोकलाइजेशन (Span Localization): एक नियतात्मक एल्गोरिदम प्रत्येक प्रस्तावित व्यवहार को मूल रिपोर्ट के भीतर एक विशिष्ट, निरंतर वाक्य विंडो (एविडेंस स्पैन) से जोड़ता है। यह सभी आगामी तर्क को पूर्ण दस्तावेज़ संदर्भ के बजाय सत्यापन योग्य पाठ्य समर्थन (verifiable textual support) तक सीमित करता है, जिससे शोर और हॉलुसिनेशन के जोखिम कम हो जाते हैं।
- TTP सत्यापन: LLM प्रत्येक उम्मीदवार तकनीक का मूल्यांकन तीन इनपुट के विरुद्ध करता है: व्यवहार टेक्स्ट, स्थानीयकृत साक्ष्य स्पैन (evidence span), और आधिकारिक MITRE ATT&CK परिभाषा। मॉडल एक कॉन्फिडेंस स्कोर ( $c_{ver}$ ) आउटपुट करता है जो यह दर्शाता है कि क्या साक्ष्य स्पष्ट रूप से तकनीक का समर्थन करता है।
- थ्रेशोल्डिंग (Thresholding): एक ट्यूनेबल कॉन्फिडेंस थ्रेशोल्ड ( $\tau$ ) से अधिक होने वाले उम्मीदवारों को बनाए रखा जाता है। यह पैरामीटर चिकित्सकों को बिना रिट्रेनिंग या आर्किटेक्चरल बदलाव के प्रिसिजन-रिकॉल ट्रेड-ऑफ को स्पष्ट रूप से नियंत्रित करने की अनुमति देता है।

प्रमुख योगदान

आर्किटेक्चरल सिद्धांत: पेपर एकल-पास निष्कर्षण में प्रिसिजन और रिकॉल के जुड़ाव को एक संरचनात्मक सीमा के रूप में पहचानता है और 'डाइवर्ज-देन-कन्वर्ज' सिद्धांत का प्रस्ताव करता है, जो परिकल्पना पीढ़ी को साक्ष्य-आधारित सत्यापन से स्पष्ट रूप से अलग करता है।
TTPRINT पाइपलाइन: एक नवीन कार्यान्वयन जिसमें नियतात्मक स्पैन लोकलाइजेशन शामिल है जो यह सुनिश्चित करता है कि प्रत्येक भविष्यवाणी एक विशिष्ट स्रोत पैसेज से जुड़ी है, जिससे पूर्ण ऑडिटेबिलिटी सक्षम होती है।
मूल्यांकन संसाधन:
- TRAM-Clean: व्यापक रूप से उपयोग किए जाने वाले TRAM बेंचमार्क का एक व्यवस्थित रूप से साफ किया गया संस्करण, जो मूल एनोटेशन में फॉल्स पॉजिटिव और फॉल्स नेगेटिव को ठीक करके एक विश्वसनीय बेसलाइन प्रदान करता है।
- TTPRINT-Bench: 150 पूर्ण CTI रिपोर्टों (2022–2025) वाला एक नया डॉक्यूमेंट-लेवल बेंचमार्क, जिसमें डबल-एनोटेटेड, एडजुडिकेटेड ग्राउंड ट्रुथ है, जिसे आइसोलेटेड वाक्यों के बजाय अनस्ट्रक्चर्ड, पूर्ण-लंबाई वाले दस्तावेजों से निष्कर्षण का मूल्यांकन करने के लिए डिज़ाइन किया गया है।

परिणाम
TRAM-Clean और TTPRINT-Bench पर मूल्यांकित, TTPRINT स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है:

प्रदर्शन: TRAM-Clean पर TTPRINT 76.48% का मैक्रो-F1 और TTPRINT-Bench पर 87.39% का मैक्रो-F1 प्राप्त करता है। यह क्रमशः अग्रणी बेसलाइन (CoT GPT-4o) की तुलना में 63.5% और 29.4% का सुधार है।
प्रिसिजन और रिकॉल: सिंगल-पास विधियों के विपरीत जो दोनों मेट्रिक्स को संतुलित करने के लिए संघर्ष करती हैं, TTPRINT दोनों को एक साथ बेहतर बनाता है। TTPRINT-Bench पर, रिकॉल 50.70% से बढ़कर 95.50% हो गया, और प्रिसिजन 69.90% से बढ़कर 82.15% हो गया।
एब्लेशन स्टडीज (Ablation Studies): किसी भी चरण (व्यवहार निष्कर्षण, स्पैन लोकलाइजेशन, या सत्यापन) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है। विशेष रूप से, स्पैन लोकलाइजेशन कॉन्टेक्स्ट डाइल्यूशन और हॉलुसिनेशन जोखिमों को कम करके प्रिसिजन और रिकॉल दोनों में सुधार करता है।
मॉडल एगोस्टिकिज्म (Model Agnosticism): पाइपलाइन की प्रभावशीलता छह अलग-अलग LLM बैकबोन (GPT-4o, Claude Sonnet, Gemini, Qwen, और DeepSeek सहित) में बनी रहती है। सिंगल-पास प्रॉम्प्टिंग का उपयोग करने वाले बड़े मॉडल्स की तुलना में TTPRINT पाइपलाइन से लैस छोटे मॉडल्स अक्सर बेहतर प्रदर्शन करते हैं, जो यह सुझाव देता है कि आर्किटेक्चरल डिज़ाइन ही प्रदर्शन का प्राथमिक चालक है।
थ्रेशोल्ड सेंसिटिविटी: सत्यापन थ्रेशोल्ड $\tau$ प्रिसिजन-रिकॉल फ्रंटियर पर एक सुचारू, मोनोटोनिक नियंत्रण प्रदान करता है, जिससे उपयोगकर्ताओं को हाई-रिकॉल (SOC ट्राइएज), बैलेंस्ड, या हाई-प्रिसिजन (ऑटोमेटेड रिस्पांस) परिदृश्यों के लिए ऑपरेटिंग पॉइंट्स चुनने की अनुमति मिलती है।

महत्व और दावे
पेपर दावा करता है कि TTPRINT CTI विश्लेषक वर्कफ़्लो में एक महत्वपूर्ण अंतर को संबोधित करता है, जो उच्च-रिकॉल, सटीक TTP निष्कर्षण प्रदान करता है जो सीधे स्रोत साक्ष्य से पता लगाने योग्य (traceable) है। पीढ़ी और सत्यापन को अलग करके, सिस्टम सिंगल-पास LLM प्रॉम्प्टिंग की अंतर्निहित सीमाओं को कम करता है। लेखक इस बात पर जोर देते हैं कि दृष्टिकोण मॉडल-अग्नोस्टिक है, जिससे डेटा संप्रभुता संबंधी चिंताओं वाले संगठन प्रदर्शन से समझौता किए बिना स्थानीय रूप से होस्ट किए गए ओपन-सोर्स LLM को तैनात कर सकते हैं। TRAM-Clean और TTPRINT-Bench का रिलीज इस क्षेत्र को वाक्य-स्तर के मूल्यांकन से वास्तविक, दस्तावेज़-स्तर के निष्कर्षण की ओर ले जाने का लक्ष्य रखता है, जिससे भविष्य के अनुसंधान को सुविधा मिलती है।

लेखक एक सीमित दायरे बनाए रखते हैं, यह नोट करते हुए कि सिस्टम प्रमुख सुरक्षा विक्रेताओं की अंग्रेजी-भाषा रिपोर्टों को लक्षित करता है और वर्तमान में MITRE टैक्सोनॉमी में निहित अस्पष्टताओं (जैसे, सिमेंटिकली एडजेसेंट तकनीकें) को हल नहीं करता है। वे यह भी उल्लेख करते हैं कि जबकि निष्कर्षण की गुणवत्ता विशेषज्ञ एनोटेशन के विरुद्ध मान्य की गई है, डाउनस्ट्रीम ऑपरेशनल मेट्रिक्स (जैसे, ट्राइएज समय) पर प्रभाव के लिए भविष्य के नियंत्रित परिनियोजन अध्ययन की आवश्यकता है।