तकनीकी सारांश: AI-जनरेटेड बनाम मानव-लिखित स्पियर फिशिंग SMS हमलों का आकलन

समस्या विवरण

व्यक्तिगत फिशिंग (स्पियर फिशिंग) एक महत्वपूर्ण साइबर सुरक्षा खतरा बनी हुई है क्योंकि संदेशों को लक्ष्य के विशिष्ट कार्य, रुचियों और सामाजिक संदर्भ के अनुसार अनुकूलित किया जा सकता है, जिससे वे अत्यधिक विश्वसनीय हो जाते हैं। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) बड़े पैमाने पर और कम लागत पर ऐसे लक्षित कंटेंट को स्वचालित करने का वादा करते हैं, इस बात पर पर्याप्त अनुभवजन्य साहित्य का अभाव है कि क्या AI-जनरेटेड संदेश वास्तव में मानव-लिखित संदेशों की तुलना में अधिक विश्वसनीय होते हैं जब दोनों को एक ही व्यक्ति के लिए तैयार किया गया हो। इसके अलावा, यह स्पष्ट नहीं है कि लक्ष्य AI और मानव स्रोतों के बीच विश्वसनीय रूप से अंतर कर सकते हैं या क्या टेक्स्ट स्वयं अपने मूल के पहचान योग्य संकेत बनाए रखता है। यह अध्ययन एक ही 25 लक्ष्यों के लिए GPT-4-जनरेटेड स्पियर फिशिंग SMS (स्मिशिंग) की तुलना नौसिखिया मानव लेखकों द्वारा लिखे गए संदेशों से करके इन अंतरालों को संबोधित करता है।

कार्यप्रणाली

अध्ययन ने 25 प्रतिभागियों वाले एक पायलट डिज़ाइन का उपयोग किया जिन्होंने लक्ष्यों के रूप में कार्य किया। शोध ने एक प्रस्तावित मूल्यांकन ढांचे का उपयोग किया जिसे TRAPD (पर्सनलाइज्ड डसेप्शन के लिए थ्रेशोल्ड रैंकिंग अप्रोच) कहा जाता है, जिसे लाइव हमलों को तैनात किए बिना व्यक्तिगत भ्रामक सामग्री के नियंत्रित, नैतिक तुलना को सक्षम करने के लिए डिज़ाइन किया गया है।

प्रयोगात्मक डिज़ाइन

1. लक्ष्य भर्ती: 41 व्यक्तियों ने व्यक्तिगत डेटा (नाम, व्यवसाय, शौक, हालिया सोशल मीडिया पोस्ट, आदि) प्रदान करने के लिए एक सर्वेक्षण पूरा किया। इन 25 प्रतिभागियों ने मूल्यांकन चरण के लिए वापसी की।
2. संदेश निर्माण:
   • AI स्थिति: GPT-4 (OpenAI API के माध्यम से, टेम्परेचर 0.7) ने लक्ष्य के डेटा का उपयोग करके एक साझा प्रॉम्प्ट संरचना के आधार पर संदेश उत्पन्न किए।
   • मानव स्थिति: 99 नौसिखिया छात्र लेखकों (अंडरग्रेजुएट साइबर सुरक्षा/ऑनर्स छात्रों) ने समय की सीमाओं (लगभग 15 मिनट) के तहत उसी प्रॉम्प्ट संरचना का उपयोग करके संदेश लिखे।
   • विषय: प्रत्येक लक्ष्य के लिए तीन विशिष्ट संदर्भों के लिए संदेश उत्पन्न किए गए: नौकरी-संबंधित, शौक-संबंधित, और सोशल मीडिया-संबंधित।
   • मात्रा: प्रत्येक लक्ष्य को कुल 12 संदेश प्राप्त हुए (6 AI-जनरेटेड, 6 मानव-लिखित; प्रत्येक विषय पर 2-2)।
3. मूल्यांकन प्रक्रिया (TRAPD):
   • रैंकिंग: प्रतिभागियों ने 12 संदेशों को सबसे अधिक से सबसे कम क्लिक प्रेरित करने की संभावना के क्रम में व्यवस्थित किया।
   • थ्रेशोल्डिंग: प्रतिभागियों ने रैंक की गई सूची पर एक थ्रेशोल्ड मार्क किया जो उस बिंदु को दर्शाता था जिसके ऊपर वे क्लिक करने का इरादा रखते थे।
   • गुणात्मक स्पष्टीकरण: प्रतिभागियों ने अपनी रैंकिंग और थ्रेशोल्ड के लिए अपने तर्क बताए।
   • स्रोत एट्रिब्यूशन: प्रतिभागियों ने पहचाना कि उन्हें कौन से संदेश AI-जनरेटेड लगे और उन्होंने अपने मानदंड क्या थे।
4. कंप्यूटेशनल विश्लेषण: एक लॉजिस्टिक रिग्रेशन क्लासिफायर का उपयोग सेमेंटिक एम्बेडिंग्स (text-embedding-3-small) के साथ किया गया, जिसे दो संदेश सेटों के बीच अंतर करने के लिए प्रशिक्षित किया गया था। इस विश्लेषण में संवेदनशीलता परीक्षण शामिल थे जहाँ स्पष्ट सतही विशेषताओं (URL, इमोजी, लंबाई, विराम चिह्न) को सामान्य बनाया गया ताकि यह परीक्षण किया जा सके कि क्या क्लासिफायर गहरे टेक्स्ट पैटर्न पर निर्भर करता है।

मुख्य योगदान

1. नियंत्रित तुलना: GPT-4-जनरेटेड और मानव-लिखित व्यक्तिगत स्मिशिंग संदेशों के बीच प्रत्यक्ष, भीतर-लक्ष्य (within-target) तुलना प्रदान करता है, जो मौजूदा साहित्य में एक अंतराल है जिसने मुख्य रूप से ईमेल या बल्क फिशिंग पर ध्यान केंद्रित किया है।
2. स्रोत एट्रिब्यूशन मूल्यांकन: AI और मानव स्रोतों के बीच अंतर करने में मानव लक्ष्यों की सटीकता का दस्तावेजीकरण करता है और उन विशिष्ट संकेतों (या उनकी कमी) का विश्लेषण करता है जिन पर वे निर्भर करते हैं।
3. विशेषता विश्लेषण: उन संदेश विशेषताओं (प्रासंगिकता, प्रेषक पहचान, URL संरचना, शैली, तात्कालिकता) की पहचान करता है जिन्हें प्रतिभागी विश्वसनीयता या संदेह के साथ जोड़ते हैं।
4. कंप्यूटेशनल विशिष्टता: प्रदर्शित करता है कि जबकि मनुष्य स्रोतों के बीच अंतर नहीं कर सकते, अध्ययन-विशिष्ट संदेश सेट (सतही-स्तरीय विशेषताओं को नियंत्रित करने के बाद भी) कम्प्यूटेशनल रूप से अलग किए जा सकते हैं।
5. TRAPD फ्रेमवर्क: TRAPD फ्रेमवर्क पेश करता है और व्यक्तिगत भ्रामक सामग्री के नियंत्रित, भीतर-लक्ष्य तुलना के लिए इसकी व्यवहार्यता और सीमाओं का दस्तावेजीकरण करता है, जो पारिस्थितिक यथार्थवाद (ecological realism) के बजाय कठोर भीतर-लक्ष्य नियंत्रण और समृद्ध गुणात्मक डेटा का व्यापार करता है।

परिणाम

विश्वसनीयता (RQ1 और RQ2)

• AI बनाम मानव: GPT-4-जनरेटेड संदेशों ने क्लिक करने के इरादे को 28.0% मामलों में प्रेरित किया, जबकि मानव-लिखित संदेशों के लिए यह 21.3% था। हालांकि, यह अंतर सांख्यिकीय रूप से विश्वसनीय नहीं था (95% CI: -2.9 से 16.3 प्रतिशत अंक; p = 0.147)। यह अध्ययन न तो यह स्थापित करता है कि AI मनुष्यों से बेहतर है और न ही यह कि दोनों स्थितियाँ समान हैं।
• विषय प्रभाव: नौकरी-संबंधित संदेश शौक या सोशल मीडिया संदेशों की तुलना में काफी अधिक विश्वसनीय थे। 38% नौकरी-संबंधित संदेशों ने इच्छित-क्लिक थ्रेशोल्ड को पार किया, जबकि शौक के लिए 19% और सोशल मीडिया के लिए 17% था। नौकरी के संदेशों में अन्य दो श्रेणियों की तुलना में काफी अधिक इच्छित-क्लिक ऑड्स थे (Holm adjustment के बाद p < 0.05)।
• गुणात्मक चालक: प्रतिभागियों ने व्यक्तिगत प्रासंगिकता (76%), प्रेषक पहचान (68%), और URL विशेषताओं (64%) को प्राथमिक कारकों के रूप में उद्धृत किया। सटीक वैयक्तिकरण ने विश्वसनीयता बढ़ाई, जबकि विसंगतियां (जैसे, गलत सहकर्मी, अप्रासंगिक विषय) संदेह पैदा करती थीं।

स्रोत एट्रिब्यूशन (RQ3 और RQ4)

• मानव सटीकता: प्रतिभागियों ने स्रोत (AI बनाम मानव) को केवल 52.0% बार सही ढंग से पहचाना, जो कि संयोग से बेहतर नहीं है (p = 0.597)।
• उपयोग किए गए संकेत: सटीकता कम होने के बावजूद, प्रतिभागियों ने "शैली" (औपचारिकता, जेनेरिक टोन), "शब्द चयन" (बज़वर्ड बनाम स्लैंग), "व्याकरण" (परफेक्शन बनाम त्रुटियां), और "इमोजी" जैसे असंगत संकेतों पर भरोसा किया। कई प्रतिभागियों ने अनिश्चितता व्यक्त की, और ठोस मानदंडों के बजाय "अंतर्ज्ञान" (gut feelings) पर भरोसा किया।

कंप्यूटेशनल स्रोत एट्रिब्यूशन (RQ5)

• मशीनी विशिष्टता: मानव प्रदर्शन के विपरीत, एक कंप्यूटेशनल क्लासिफायर सख्त सामान्यीकरण (URL, इमोजी, लंबाई/केस हटाना) के बाद भी संदेश सेटों के बीच उच्च सटीकता के साथ अंतर कर सकता था।
• प्रदर्शन: सबसे सख्त स्थिति में (लंबाई-समान, सामान्यीकृत टेक्स्ट), क्लासिफायर ने अनदेखे लक्ष्यों पर 88.7% की संतुलित सटीकता (Balanced Accuracy) और 0.954 का ROC AUC प्राप्त किया। यह सुझाव देता है कि अध्ययन-विशिष्ट संदेश सेटों में सूक्ष्म, वितरित पैटर्न थे जो मशीनों द्वारा पता लगाने योग्य थे लेकिन मनुष्यों द्वारा नहीं।

महत्व और दावे

यह पेपर दावा करता है कि सुलभ AI-सहायता प्राप्त वैयक्तिकरण सामाजिक इंजीनियरिंग खतरों के व्यावहारिक पैमाने को बढ़ा सकता है, भले ही व्यक्तिगत AI संदेश वर्तमान में मनुष्यों से श्रेष्ठ न हों। मुख्य निष्कर्ष यह है कि एक सरल प्रॉम्प्ट ऐसे व्यक्तिगत संदेश उत्पन्न कर सकता है जो जांचे गए नौसिखिया मनुष्यों द्वारा लिखे गए संदेशों के तुलनीय रूप से विश्वसनीय हैं, इस पायलट की अनिश्चितता के भीतर।

यह अध्ययन रेखांकित करता है कि कार्यस्थल के बहाने (workplace pretexts) स्मिशिंग में विशेष रूप से शक्तिशाली होते हैं, जो प्रशिक्षण और रक्षा के लिए विशिष्ट ध्यान देने की मांग करते हैं। यह एक महत्वपूर्ण विच्छेद को भी उजागर करता है: जबकि मनुष्य विश्वसनीय रूप से AI लेखकता का पता नहीं लगा सकते, टेक्स्ट में कंप्यूट करने योग्य संकेत बने रहते हैं। हालांकि, लेखक चेतावनी देते हैं कि ये कंप्यूटेशनल परिणाम अध्ययन की स्थितियों (एक मॉडल, एक प्रॉम्प्ट, नौसिखिया लेखक) के विशिष्ट हैं, और इन्हें सामान्य AI डिटेक्टर के रूप में नहीं माना जाना चाहिए, विशेष रूप रूप से देखते हुए कि हमलावर पहचान से बचने के लिए टेक्स्ट को संशोधित कर सकते हैं।

अंततः, यह पेपर TRAPD को एक मूल्यवान, नैतिक रूप से सुरक्षित ढांचे के रूप में प्रस्तुत करता है, जो भविष्य के शोध के लिए नियंत्रित तुलना और विस्तृत तर्क विश्लेषण की अनुमति देता है, जो लाइव फिशिंग प्रयोग प्रदान नहीं कर सकते, जबकि इसकी सीमाओं (पारिस्थितिक वैधता और सामान्यीकरण) को भी स्वीकार करता है।