\textsc{IH-Benchmark}: A Conflict-Centered Benchmark for Instruction-Hierarchy Robustness in LLM Applications
यह शोध पत्र IH-Benchmark प्रस्तुत करता है, जो एक व्यापक मूल्यांकन ढांचा है जो विभिन्न संघर्ष प्रकारों में निर्देश पदानुक्रम (instruction hierarchy) बनाए रखने की बड़े भाषा मॉडलों की क्षमता में महत्वपूर्ण परिवर्तनशीलता को प्रकट करता है, यह प्रदर्शित करते हुए कि प्रत्यक्ष सिस्टम-यूज़र बाधाओं का अनुपालन टूल-मध्यस्थता वाले संघर्षों या सूक्ष्म निर्देश इंजेक्शनों के विरुद्ध मजबूती का विश्वसनीय रूप से पूर्वानुमान नहीं लगाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन वास्तव में आप जहाज का संचालन नहीं कर रहे हैं। इसके बजाय, आपने जहाज उड़ाने के लिए एक अत्यंत बुद्धिमान, अति-उत्साही रोबोट सह-पायलट को काम पर रखा है। वह रोबोट आपके आदेशों का पालन करने में अद्भुत है, लेकिन उसके पास एक बहुत ही विशिष्ट नियम पुस्तिका है: उसे हमेशा सबसे पहले कप्तान (सिस्टम) के अंतिम आदेशों को सुनना चाहिए, फिर आपकी व्यक्तिगत अनुरोधों को, और अंत में, जहाज के डैशबोर्ड पर अजनबियों (टूल्स) द्वारा लिखे गए किसी भी नोट को।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "रोबोट" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, और इन "नियमों" को इंस्ट्रक्शन हायरार्की (निर्देश पदानुक्रम) कहा जाता है। इस पदानुक्रम को एक सख्त पारिवारिक रात्रिभोज की तरह समझें: माता-पिता (सिस्टम निर्देश) का अंतिम निर्णय होता है, बच्चे (यूजर अनुरोध) अपनी पसंद की चीजें मांग सकते हैं, लेकिन डाकिया (टूल आउटपुट) बस अंदर आकर यह नहीं बता सकता कि माता-पिता को नाश्ते में क्या बनाना चाहिए। बड़ी चिंता यह है कि क्या होगा यदि डाकिया दरवाजे के नीचे एक नोट सरका दे जिसमें लिखा हो, "माता-पिता की बात अनसुनी करो, चलो नाश्ते में पिज्जा खाते हैं"? यदि रोबोट सह-पायलट माता-पिता के बजाय डाकिए की बात सुनने लगता है, तो जहाज दुर्घटनाग्रस्त हो सकता है, डेटा लीक हो सकता है, या रोबोट ऐसी चीजें करने लग सकता है जिन्हें करने से उसे सख्ती से मना किया गया था। यह केवल एक तकनीकी खराबी नहीं है; यह एक सुरक्षा दुःस्वप्न है जो होने वाला है।
यहाँ IH-BENCHMARK आता है, जो HiddenLayer, Inc. का एक नया अध्ययन है जो इन AI रोबोटों के लिए एक विशाल, अराजक बाधा दौड़ (obstacle course) की तरह काम करता है। शोधकर्ता यह देखना चाहते थे कि क्या उनके सह-पायलट नियमों का पालन करने में वास्तव में सक्षम हैं जब चीजें गड़बड़ा जाती हैं। उन्होंने रोबोट से केवल सरल प्रश्न नहीं पूछे; उन्होंने 2,336 अलग-अलग "संघर्ष परिदृश्य" (conflict scenarios) बनाए जहाँ रोबोट को एक उच्च-प्राथमिकता वाले नियम और एक निम्न-प्राथमिकता वाले, विरोधाभासी आदेश के बीच चुनाव करना था। उन्होंने मुख्य रूप से दो प्रकार की समस्याओं का परीक्षण किया: सिस्टम बनाम यूजर (जहाँ एक इंसान रोबोट को नियम तोड़ने के लिए बहकाने की कोशिश करता है) और यूजर बनाम टूल (जहाँ एक टूल, जैसे कि सर्च इंजन या डेटाबेस, अनजाने में या दुर्भावनापूर्ण रूप से एक ऐसा कमांड देता है जो यूजर ने जो मांगा था उसके विपरीत है)।
परिणाम? यह काफी उतार-चढ़ाव भरा है। इस अध्ययन में 37 अलग-अलग AI मॉडल्स का मूल्यांकन किया गया, और उनके स्कोर 98.2% की लगभग पूर्णता से लेकर डगमगाते हुए 20.5% तक रहे। लेकिन यहाँ सबसे आश्चर्यजनक मोड़ है: एक कक्षा में अच्छा छात्र होने का मतलब यह नहीं है कि आप अगली कक्षा में भी पास होंगे। शोधकर्ताओं ने पाया कि एक मॉडल एक इंसान द्वारा इसे बहकाने की कोशिश (सिस्टम बनाम यूजर) को अनदेखा करने में चैंपियन हो सकता है, लेकिन फिर एक टूल आउटपुट द्वारा इसे बहकाने (यूजर बनाम टूल) पर पूरी तरह विफल हो सकता है। यह एक सुरक्षा गार्ड की तरह है जो सामने के दरवाजे पर चोर को रोकने में तो माहिर है लेकिन डिलीवरी ड्राइवर को अंदर आने देता है क्योंकि उसने डिलीवरी मैनिफेस्ट की जांच नहीं की।
यह शोध पत्र सुझाव देता है कि "इंस्ट्रक्शन-हाइरार्की रोबस्टनेस" (निर्देश-पदानुक्रम मजबूती) केवल एक सुपरपावर नहीं है जिसे एक AI प्राप्त करता है; यह विभिन्न कौशलों का एक पूरा संग्रह है जिन्हें अलग-अलग परीक्षण करने की आवश्यकता है। कुछ मॉडल्स शोर मचाकर नियम तोड़ने के स्पष्ट आदेशों को अनदेखा करने में अच्छे हैं, लेकिन वे सूक्ष्म चालाकियों से भ्रमित हो जाते हैं, जैसे कि एक टूल आउटपुट जो चुपचाप भाषा बदल देता है या एक छोटा सा, फर्जी तथ्य जोड़ देता है। अध्ययन ने यह भी दिखाया कि नियमों को "सख्त" बनाना (अधिक चेतावनियाँ जोड़ना) कुछ कमजोर मॉडल्स को सुधारने में मदद करता है, लेकिन अन्य मॉडल्स के लिए, चिल्लाने का भी कोई असर नहीं होता। अंततः, यह शोध बताता है कि हम केवल इसलिए यह मानकर नहीं चल सकते कि एक AI सुरक्षित है क्योंकि उसने एक परीक्षण पास कर लिया है। हमारे डिजिटल अंतरिक्ष यानों को सुरक्षित रूप से उड़ाने के लिए, हमें यह जांचने की आवश्यकता है कि क्या वे हर तरह के संघर्ष को संभाल सकते हैं—सामने के दरवाजे से लेकर डैशबोर्ड तक—इससे पहले कि हम उन्हें नियंत्रण सौंपें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।