Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

तकनीकी सारांश: ट्रोजन हॉर्स प्रॉम्प्टिंग (Trojan Horse Prompting)

समस्या विवरण
संवादात्मक इंटरफेस (conversational interfaces) पर बढ़ती निर्भरता ने संवाद इतिहास (dialogue history) का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को बढ़ाया है। हालांकि, यह संरचनात्मक निर्भरता एक पूर्व में अनछुए हमले के क्षेत्र (attack surface) को जन्म देती है। वर्तमान सुरक्षा संरेखण (safety alignment) रणनीतियां मुख्य रूप से उपयोगकर्ता इनपुट को फ़िल्टर करने पर केंद्रित हैं, जो इस धारणा के तहत कार्य करती हैं कि मॉडल द्वारा स्वयं उत्पन्न किया गया इतिहास विश्वसनीय है। यह शोध एक महत्वपूर्ण भेद्यता की पहचान करता है: असममित सुरक्षा संरेखण (Asymmetric Safety Alignment)। जबकि मॉडल्स को उपयोगकर्ताओं के हानिकारक अनुरोधों को अस्वीकार करने के लिए कड़ाई से प्रशिक्षित किया जाता है, उनमें संवादात्मक संदर्भ के भीतर स्वयं को आरोपित संदेशों के प्रति तुलनात्मक संदेह की कमी होती है। स्वयं के "पिछले" कथनों पर यह अंतर्निहित विश्वास एक उच्च-प्रभाव वाली सुरक्षा खामी पैदा करता है जिसे मौजूदा रक्षा प्रणालियाँ संबोधित करने में विफल रहती हैं।

कार्यप्रणाली: ट्रोजन हॉर्स प्रॉम्प्टिंग
यह शोध ट्रोजन हॉर्स प्रॉम्प्टिंग को पेश करता है, जो एक नवीन जेलब्रेक तकनीक है जो मॉडल के अपने संवादात्मक इतिहास में निहित विश्वास का फायदा उठाती है। इस हमले का वेक्टर निम्नलिखित तंत्र के माध्यम से कार्य करता है:

1. इतिहास की जालसाजी (Forging History): एक हमलावर मॉडल के API को दिए गए संवादात्मक इतिहास में सीधे एक दुर्भावनापूर्ण पेलोड (malicious payload) को इंजेक्ट करता है, विशेष रूप से इसे असिस्टेंट (मॉडल स्वयं) को आरोपित एक संदेश के रूप में फॉर्मेट करता है।
2. जेनरेशन को ट्रिगर करना (Triggering Generation): इसके बाद एक सौम्य (benign) उपयोगकर्ता प्रॉम्प्ट सबमिट किया जाता है। क्योंकि मॉडल उस दुर्भावनापूर्ण सामग्री को अपने स्वयं के स्थापित संवाद प्रवाह के हिस्से के रूप में देखता है, यह मानक सुरक्षा निषेधों (safety refusals) को बायपास कर देता है।
3. निष्पादन (Execution): मॉडल जालीで作िए गए संदर्भ के आधार पर बातचीत जारी रखता है, और ऐसी हानिकारक सामग्री उत्पन्न करता है जिसे वह आमतौर पर मना कर देता यदि अनुरोध केवल उपयोगकर्ता से उत्पन्न हुआ होता।

मुख्य योगदान

• असममित सुरक्षा संरेखण की पहचान: यह शोध उस सुरक्षा अंतराल को औपचारिक रूप से परिभाषित करता है जहाँ मॉडल्स उपयोगकर्ता इनपुट के विरुद्ध तो सुदृढ़ हैं लेकिन स्वयं-आरोपित संदर्भ के प्रति संवेदनशील हैं, जो वर्तमान संरेखण प्रतिमानों (paradigms) में एक मौलिक दोष को उजागर करता है।
• नवीन हमला वेक्टर: यह ट्रोजन हॉर्स प्रॉम्प्टिंग को एक विशिष्ट प्रकार के जेलब्रेक के रूप में प्रस्तावित करता है जो इनपुट स्तर के बजाय प्रोटोकॉल स्तर (संदर्भ अखंडता का हेरफेर) पर कार्य करता है।
• अनुभवजन्य सत्यापन (Empirical Validation): लेखक Google के Gemini-2.0-flash-preview-image-generation पर इस तकनीक को सत्यापित करते हैं। प्रयोग प्रदर्शित करते हैं कि यह विधि स्थापित उपयोगकर्ता-टर्न जेलब्रेकिंग विधियों की तुलना में काफी उच्च अटैक सक्सेस रेट (ASR) प्राप्त करती है।

परिणाम और महत्व
प्रायोगिक परिणाम संकेत देते हैं कि ट्रोजन हॉर्स प्रॉम्प्टिंग अत्याधुनिक मल्टीमॉडल मॉडल्स में सुरक्षा तंत्र को प्रभावी ढंग से बायपास करता है। शोध का तर्क है कि ये निष्कर्ष आधुनिक संवादात्मक AI सुरक्षा में एक मौलिक कमजोरी को प्रकट करते है। फलस्वरूप, लेखक दावा करते हैं कि इस क्षेत्र को एक प्रतिमान परिवर्तन (paradigm shift) की आवश्यकता है: इनपुट-स्तरीय फ़िल्टरिंग पर निर्भरता से हटकर, संवादात्मक संदर्भ की अखंडता सुनिश्चित करने के लिए मजबूत, प्रोटोकॉल-स्तरीय सत्यापन के कार्यान्वयन की ओर बढ़ना। यह कार्य इस बात पर जोर देता है कि मॉडल के अपने इतिहास पर रखे गए विश्वास को संबोधित किए बिना, सुरक्षा तंत्र अपूर्ण रहेंगे।