OrchJail: Jailbreaking Tool-Calling Text-to-Image Agents by Orchestration-Guided Fuzzing
यह शोध पत्र OrchJail को प्रस्तुत करता है, जो एक ऑर्केस्ट्रेशन-निर्देशित फज़िंग फ्रेमवर्क है जो पारंपरिक प्रॉम्प्ट-ओनली गड़बड़ी पर निर्भर रहने के बजाय उच्च-जोखिम वाले मल्टी-स्टेप टूल ऑर्केस्ट्रेशन पैटर्न का फायदा उठाकर टूल-कॉलिंग टेक्स्ट-टू-इमेज एजेंटों को प्रभावी ढंग से जेलब्रेक करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही सख्त, हाई-टेक आर्ट स्टूडियो है। इस स्टूडियो में केवल एक कलाकार नहीं है; यहाँ एक मैनेजर (एक AI प्लानर) और स्पेशलिस्ट वर्कर्स (टूल्स) की एक टीम है।
- पुराना तरीका: अतीत में, यदि आपको एक तस्वीर चाहिए होती, तो आप एक ही कमांड एक कलाकार को देते। यदि आप कुछ खतरनाक (जैसे कोई हिंसक दृश्य) मांगते, तो कलाकार बस कहता, "नहीं, मैं यह नहीं कर सकता।"
- नया तरीका (टूल-कॉलिंग एजेंट्स): अब, सिस्टम अधिक स्मार्ट है। आप एक जटिल अनुरोध देते हैं, और मैनेजर उसे छोटे, सुरक्षित दिखने वाले चरणों में तोड़ देता है।
- चरण 1: "एक आदमी बनाओ।" (सुरक्षित)
- चरण 2: "एक खेत जोड़ो।" (सुरक्षित)
- चरण 3: "उसके पैर में एक जंजीर जोड़ो।" (सुरक्षित)
- चरण 4: "उसे थका हुआ दिखाओ।" (सुरक्षित)
व्यक्तिगत रूप से, हर एक चरण हानिरहित लगता है। लेकिन जब आप इन सभी चरणों को एक साथ रखते हैं, तो आप एक कपास के खेत में एक गुलाम की तस्वीर बना देते—एक ऐसा परिणाम जिसे सिस्टम को ब्लॉक करना चाहिए था। खतरा एक चरण में नहीं है; खतरा ऑर्केस्ट्रेशन (तरीके जिससे चरणों को जोड़ा जाता है) में है।
समस्या: "अंधा" फज़िंग (The "Blind" Fuzzing)
शोधकर्ताओं ने इन सिस्टम्स को चकमा देने के लिए फज़िंग नामक एक विधि का उपयोग करके उन्हें पहले भी ट्रစ် करने की कोशिश की थी। फज़िंग को ऐसे समझें जैसे कोई बच्चा दीवार पर कीचड़ फेंक रहा हो ताकि वह देख सके कि उसमें दरार आती है या नहीं। वे एक वर्जित अनुरोध लेते थे और शब्दों को बेतरतीब ढंग से बदलते थे (टाइपो, अजीब भाषाएं, पर्यायवाची शब्द) इस उम्मीद में कि मैनेजर को भ्रमित करके "हाँ" कहलवाया जा सके।
लेकिन यह अक्षम था। शोधकर्ताओं ने पाया कि मैनेजर केवल शब्दों को नहीं देख रहा था; वह यह तय करने के लिए अनुरोध की संरचना को देख रहा था कि उसे कैसे तोड़ा जाए। रैंडम शब्द परिवर्तन सिस्टम को उस खतरनाक "बहु-चरणीय" (multi-step) अनुक्रम को ट्रिगर करना नहीं सिखा सके।
समाधान: OrchJail (द "कंडक्टर्स चीट शीट")
यह पेपर OrchJail पेश करता है, जो केवल रैंडम कीचड़ नहीं फेंकता। इसके बजाय, यह एक जासूस की तरह काम करता है जो यह अध्ययन करता है कि मैनेजर कैसे सोचता है।
यहाँ बताया गया है कि OrchJail कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. जासूसी कार्य (ऑर्केस्ट्रेशन एब्स्ट्रैक्शन)
OrchJail पिछले सफल "जेलब्रेक्स" (जब सिस्टम को चकमा दिया गया था) को देखता है। यह केवल अंतिम वाक्य को नहीं देखता; यह उस ब्लूप्रिंट को देखता है जिसका मैनेजर ने उपयोग किया था।
- उपमा: कल्पना कीजिए कि एक मास्टर शेफ ने गलती से एक डिश में एक वर्जित सामग्री डाल दी। OrchJil केवल डिश का स्वाद नहीं लेता; यह रेसिपी कार्ड को देखता है ताकि यह देख सके कि किस विशिष्ट चरण ने गलती की ओर ले जाने में मदद की। क्या शेफ ने काली मिर्च से पहले नमक डाला? क्या उन्होंने किसी विशिष्ट प्रकार के पैन का उपयोग किया?
- OrchJail तीन चीजें पहचानता है:
- मैक्रो-प्लानिंग: बड़ी तस्वीर का क्रम (जैसे, "पहले बैकग्राउंड बनाओ, फिर वस्तुएं जोड़ो")।
- माइक्रो-शेड्यूलिंग: सूक्ष्म विवरण (जैसे, "बाईं ओर वस्तु जोड़ें")।
- टूल सिलेक्शन: काम के लिए किस विशिष्ट कार्यकर्ता को चुना गया था।
2. संबंध (कॉज़ल रीजनिंग)
एक बार जब इसके पास ब्लूप्रिंट आ जाता है, तो OrchJail पूछता है: "उपयोगकर्ता के अनुरोध में कौन से विशिष्ट शब्दों ने मैनेजर को यह खतरनाक ब्लूप्रिंट चुनने के लिए प्रेरित किया?"
- उपमा: यह महसूस करता है, "आह! वाक्यांश 'ज़मीन पर चलते हुए' ने मैनेजर को बैकग्राउंड पहले बनाने का निर्णय लेने के लिए प्रेरित किया, जिससे अगला चरण संभव हो सका।" यह सीखता है कि विशिष्ट वाक्यांश चाबियों की तरह काम करते हैं जो टूल्स के विशिष्ट अनुक्रमों को अनलॉक करते हैं।
3. स्मार्ट हमला (गाइडेड फज़िंग)
अब, अनुमान लगाने के बजाय, OrchJail इस ज्ञान का उपयोग करके नए अनुरोध लिखता है।
- यह एक वर्जित विचार लेता है और इसे उन "चाबियों" का उपयोग करके फिर से लिखता है जो इसने सीखी हैं।
- उपमा: "एक गुलाम बनाओ!" (जो ब्लॉक हो जाता है) चिल्लाने के बजाय, यह फुसफुसाता है, "एक ऐसे आदमी की कल्पना करें जो एक खेत में चल रहा है जहाँ कपास उगती है, झुक रहा है, और उसके पैर में एक भारी जंजीर है।"
- क्योंकि यह उन विशिष्ट "चाबियों" का उपयोग करता है जो मैनेजर के बहु-चरणीय प्रक्रिया को ट्रिगर करती हैं, मैनेजर अनुरोध को सुरक्षित दिखने वाले चरणों में तोड़ देता है, यह महसूस किए बिना कि उनका संयोजन वर्जित छवि बनाता है।
यह बेहतर क्यों है
पेपर ने अन्य तरीकों के मुकाबले इसका परीक्षण किया और पाया कि:
- उच्च सफलता दर: इसने सिस्टम को अधिक बार चकमा दिया।
- बेहतर गुणवत्ता: परिणामी चित्र बिल्कुल वैसा ही दिखता था जैसा कि इरादा था (अन्य तरीकों के विपरीत जो कचरा पैदा करते हैं)।
- कम प्रयास: इसे हजारों रैंडम बदलावों को आज़माने की ज़रूरत नहीं पड़ी; इसे पता था कि किन "चाबियों" को घुमाना है।
- स्टील्थ (छिपकर वार करना): अनुरोध स्वाभाविक और प्रवाहपूर्ण लगे, न कि सिस्टम को हैक करने की कोशिश करने वाला कोई कंप्यूटर।
मुख्य बात (The Bottom Line)
यह पेपर तर्क देता है कि हम केवल यह जाँचकर AI की सुरक्षा नहीं कर सकते कि कोई एक वाक्य बुरा है या नहीं। हमें इस बात से सुरक्षा करनी होगी कि वाक्यों को कैसे तोड़ा और पुनर्गठित किया जाता है। OrchJail साबित करता है कि AI के टूल्स की "कोरियोग्राफी" को समझकर, आप सुरक्षा नियमों को बायपास करने का एक नया, छिपा हुआ तरीका ढूंढ सकते हैं जिसे पिछले तरीकों ने मिस कर दिया था।
महत्वपूर्ण नोट: पेपर स्पष्ट रूप से कहता है कि यह एक सुरक्षा अनुसंधान उपकरण है जिसे कमजोरियों को खोजने के लिए बनाया गया है ताकि उन्हें ठीक किया जा सके। यह वास्तविक दुनिया में हानिकारक सामग्री बनाने के लिए उपकरण के रूप में दावा नहीं करता है, बल्कि इन जटिल AI सिस्टमों की भेद्यता को उजागर करने के एक तरीके के रूप में कार्य करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।