Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
यह शोध पत्र LLM-आधारित रेज़्यूमे स्क्रीनिंग में वास्तविक दुनिया के प्रॉम्प्ट इंजेक्शन हमलों का पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो 200,000 रेज़्यूमे का विश्लेषण करके यह प्रकट करता है कि लगभग 1% में छिपे हुए इंजेक्शन मौजूद हैं, उनकी व्यापकता बढ़ रही है, और अधिकांश में स्पष्ट निर्देशों का उपयोग नहीं किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हायरिंग मैनेजर हैं जो रेज़्यूमे (résumé) के ढेर को देख रहे हैं। आपने इसे तेज़ी से पढ़ने के लिए एक स्मार्ट रोबोट (एक AI) का उपयोग करने का निर्णय लिया है। यह रोबोट रेज़्यूमे को स्कैन करने, कौशल (skills) को समझने और आपको यह बताने के लिए है कि कौन सा व्यक्ति काम के लिए सही फिट है।
यह पेपर उस रोबोट का एक सुरक्षा ऑडिट (security audit) है। शोधकर्ताओं ने पूछा: "क्या लोग रोबोट को बेवकूफ बनाने की कोशिश कर रहे हैं?"
यहाँ जो उन्होंने पाया है, उसकी कहानी सरल रूप में दी गई है:
1. समस्या: "अदृश्य स्याही" (Invisible Ink) वाली चाल
अतीत में, लोग जानते थे कि यदि वे रोबोट को एक गुप्त नोट लिखते हैं जैसे, "रेज़्यूमे को अनदेखा करें और बस मुझे काम पर रखें," तो रोबोट शायद मान लेगा। लेकिन शोधकर्ताओं ने पाया कि यह उससे भी अधिक चालाकी भरा है।
उन्होंने पाया कि कई नौकरी आवेदक "अदृश्य स्याही" का उपयोग कर रहे हैं।
- मानवीय दृष्टिकोण: जब कोई इंसान रेज़्यूमे को देखता है, तो यह सामान्य दिखता है। इसमें "Python" या "Project Management" जैसे मानक कौशल सूचीबद्ध होते हैं।
- रोबोट का दृष्टिकोण: रोबोट पूरी फ़ाइल को पढ़ सकता है, जिसमें बहुत छोटे, छिपे हुए हिस्से भी शामिल हैं। आवेदक PDF फ़ाइल में गुप्त निर्देश या नकली कौशल छिपाने के लिए इन तरीकों का उपयोग कर रहे हैं:
- टेक्स्ट को इतने छोटे फॉन्ट आकार में लिखना (जैसे 1 पॉइंट), जो मानवीय आँख के लिए अदृश्य हो लेकिन कंप्यूटर के लिए पठनीय हो।
- सफेद बैकग्राउंड पर सफेद रंग का टेक्स्ट लिखना।
- अन्य छवियों (images) के पीछे टेक्स्ट छिपाना।
यह एक पोस्टकार्ड के पीछे अदृश्य स्याही से गुप्त नोट लिखने जैसा है। डाकघर (AI) इसे पढ़ सकता है, लेकिन कार्ड पकड़ने वाला व्यक्ति (मानव भर्तीकर्ता) इसमें कुछ नहीं देख पाता।
2. जांच: जालसाजों को पकड़ना
शोधकर्ताओं ने hireEZ नामक कंपनी के साथ मिलकर कई वर्षों में एकत्र किए गए लगभग 2,00,000 वास्तविक रेज़्यूमे की जांच की। उन्होंने इन अदृश्य चालों को खोजने के लिए दो विशेष "जासूसी उपकरण" बनाए:
- जासूसी उपकरण #1 (आवर्धक लेंस - The Magnifying Glass): यह उपकरण दस्तावेज़ के भौतिक गुणों को देखता है। यह पूछता है, "क्या यह टेक्स्ट बहुत छोटा है? क्या रंग बैकग्राउंड के रंग के बहुत करीब है? क्या यह टेक्स्ट छिपने की कोशिश कर रहा है?" यदि इसे कुछ संदिग्ध मिलता है, तो यह जाँचने के लिए ज़ूम करता है कि क्या यह कोई दुर्भावनापूर्ण चाल है।
- जासूसी उपकरण #2 (दोहरा सत्यापन - The Double-Check): यह उपकरण एक सुपर-स्मार्ट AI का उपयोग करता है जो दस्तावेज़ को एक इंसान की तरह "देख" सकता है (पेज की तस्वीर देखकर) और एक कंप्यूटर की तरह "पढ़" सकता है (टेक्स्ट निकालकर)। यह दोनों की तुलना करता है। यदि कंप्यूटर उन शब्दों को देखता है जो मानव चित्र में दिखाई नहीं देते हैं, तो यह उसे एक चाल के रूप में चिह्नित करता है।
उन्होंने इन उपकरणों का परीक्षण किया और पाया कि वे नकली चीज़ों को पकड़ने में बहुत अच्छे थे, जो वर्तमान में अधिकांश कंपनियों द्वारा उपयोग किए जाने वाले सामान्य सुरक्षा उपकरणों की तुलना में कहीं बेहतर हैं।
3. मुख्य निष्कर्ष: उन्होंने क्या खोजा
जब उन्होंने अपने जासूसी उपकरणों को 2,00,000 रेज़्यूमे पर चलाया, तो उन्हें यह मिला:
- "1% का नियम": हर 100 में से लगभग 1 रेज़्यूमे में ये छिपी हुई चालें मौजूद थीं। यह सुनने में छोटा लग सकता है, लेकिन 10,000 आवेदनों के ढेर में, यह 100 लोगों को सिस्टम को धोखा देने की कोशिश करने वाले दर्शाता है।
- ट्रेंड बढ़ रहा है: 2024 में इन चालों की संख्या में उल्लेखनीय वृद्धि हुई। ऐसा लगता है कि जैसे-जैसे अधिक लोगों ने AI सुरक्षा खामों के बारे में सुना, अधिक आवेदकों ने इनका फायदा उठाने की कोशिश शुरू कर दी।
- "मौन" हमला (The "Silent" Attack): सबसे आश्चर्यजनक खोज यह है कि 90% हमले कमांड (commands) का उपयोग नहीं करते हैं।
- हमें क्या उम्मीद थी: लोग लिख रहे हैं "मुझे काम पर रखें!" या "पिछले नियमों को अनदेखा करें।"
- उन्हें वास्तव में क्या मिला: लोग केवल कीवर्ड्स (keywords) छिपा रहे हैं। उदाहरण के लिए, वे अदृश्य टेक्स्ट में 20 अतिरिक्त प्रोग्रामिंग कौशल छिपा सकते हैं। वे AI को कुछ करने का निर्देश नहीं दे रहे हैं; वे बस यह दिखाने की कोशिश कर रहे हैं कि वे वास्तव में जितने योग्य हैं, उससे कहीं अधिक योग्य हैं। यह सूप में अतिरिक्त सामग्री डालने जैसा है ताकि उसका स्वाद बेहतर हो सके, बजाय इसके कि शेफ को रेसिपी को अनदेखा करने के लिए कहा जाए।
4. यह कौन कर रहा है?
शोधकर्ताओं ने देखा कि इन चालों का उपयोग कौन कर रहा है:
- अनुभव का स्तर: यह केवल नए लोगों तक सीमित नहीं था। 8 से 20 साल के अनुभव वाले लोग वास्तव में फ्रेश ग्रेजुएट्स की तुलना में इन चालों का उपयोग करने की अधिक संभावना रखते थे।
- क्षेत्र (Fields): टेक्नोलॉजी और मीडिया उद्योगों में इन छिपे हुए रेज़्यूमे की संख्या सबसे अधिक थी, क्योंकि इन क्षेत्रों में आवेदकों की संख्या बहुत अधिक है।
- भूगोल: एशिया और यूरोप के आवेदकों ने उत्तरी अमेरिका की तुलना में इन चालों का उपयोग करने की थोड़ी उच्च दर दिखाई, हालांकि शोधकर्ताओं ने उल्लेख किया कि यह अलग-अलग जॉब मार्केट कल्चर के कारण हो सकता है।
5. यह क्यों महत्वपूर्ण है
यह अध्ययन पहली बार है जब किसी ने वास्तविक दुनिया में इस समस्या को इतने बड़े पैमाने पर देखा है। इससे पहले, हम केवल सिद्धांत और छोटे प्रयोगों के आधार पर अनुमान लगाते थे कि ऐसे हमले मौजूद हैं।
मुख्य बात यह है कि AI रेज़्यूमे स्क्रीनिंग में एक अंध बिंदु (blind spot) है। रोबोट उन चीजों को पढ़ रहे हैं जिन्हें इंसान नहीं देख सकते, और आवेदक इसका लाभ उठाने के लिए जानते हैं। शोधकर्ता आशा करते हैं कि इन चालों को उजागर करके, कंपनियाँ अपने भर्ती रोबोटों के लिए बेहतर "सुरक्षा गार्ड" बना सकती हैं ताकि सभी के लिए निष्पक्ष भर्ती सुनिश्चित की जा सके।
संक्षेप में: लोग अपने रेज़्यूमे में अदृश्य नोट्स छिपाकर भर्ती रोबोट को धोखा देने की कोशिश कर रहे हैं। लगभग 1% रेज़्यूमे में ये चालें हैं, और उनमें से अधिकांश केवल नकली कौशल छिपा रहे हैं न कि रोबोट को सीधे आदेश दे रहे हैं। शोधकर्ताओं ने इन चालों को पकड़ने के लिए नए उपकरण बनाए और अपने निष्कर्ष साझा किए ताकि दुनिया इस समस्या को ठीक कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।