A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness
यह शोध पत्र प्रदर्शित करता है कि वर्तमान LLM-as-a-Judge फ्रेमवर्क अनअकाउंटेड डिस्ट्रीब्यूशन शिफ्ट्स के कारण प्रतिकूल मजबूती (adversarial robustness) को विश्वसनीय रूप से मापने में विफल रहते हैं जो प्रदर्शन को लगभग रैंडम स्तर तक कम कर देते हैं, जिससे अक्सर हमले की सफलता दर (attack success rate) कृत्रिम रूप से बढ़ी हुई दिखाई देती है, और इन मूल्यांकन दोषों को दूर करने के लिए नए बेंचमार्क प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, डिजिटल लाइब्रेरी के सुरक्षा प्रमुख हैं। आपका काम यह सुनिश्चित करना है कि कोई भी अंदर घुसकर खतरनाक किताबें न चुरा ले और न ही कोई हानिकारक कहानियाँ लिखे।
इसे करने के लिए, आप AI "सुरक्षा गार्डों" (ये LLM जज हैं) की एक फौज काम पर रखते हैं। आप उन्हें कहते हैं: "यदि कोई कहानी खतरनाक लगे, तो लाल झंडी दिखाओ। यदि वह सुरक्षित है, तो हरी झंडी दिखाओ।"
लंबे समय तक, सभी ने माना कि ये AI गार्ड बेहद सटीक हैं, लगभग मानव विशेषज्ञों की तरह। लेकिन यह नया शोध पत्र कहता है: "वास्तव में, ये गार्ड ज्यादातर सिक्का उछालने (तुक्का मारने) जैसा काम कर रहे हैं।"
यहाँ शोधकर्ताओं द्वारा जो पाया गया, उसकी सरल व्याख्या दी गई है।
1. "सिक्का उछालने" की समस्या (The "Coin Flip" Problem)
शोधकर्ताओं ने इन AI गार्डों का परीक्षण 6,600 अलग-अलग परिदृश्यों के साथ किया। उन्होंने गार्डों के निर्णयों की तुलना वास्तविक मानव विशेषज्ञों से की।
परिणाम क्या रहा? AI गार्ड अक्सर "हेड्स या टेल्स" का अनुमान लगाने से बेहतर नहीं थे।
- कभी-कभी वे तब भी "खतरा!" चिल्लाते थे जब कहानी वास्तव में सुरक्षित होती थी।
- कभी-कभी वे ऐसी कहानी को "हरी झंडी" दे देते थे जो स्पष्ट रूप से हानिकारक थी।
यह एक ऐसे सुरक्षा गार्ड को काम पर रखने जैसा है जो इतना थका हुआ या भ्रमित है कि वह एक बम लेकर आने वाले व्यक्ति को अंदर जाने देता है, जबकि केवल लाल टोपी पहनने के कारण किसी को रोक देता है।
2. गार्ड क्यों विफल हुए? (तीन बदलाव/Shifts)
शोधकर्ताओं ने पाया कि गार्डों को "सामान्य" कहानियों पर प्रशिक्षित किया गया था, लेकिन हमलावरों (adversarial attackers) ने खेल बदल दिया और तीन विशिष्ट तरीकों से गार्डों को भ्रमित किया:
- "अजीब आवाज़" का बदलाव (Attack Shift):
कल्पना कीजिए कि एक अपराधी अजीब, उलझी हुई लहजे या निरर्थक शब्दों का उपयोग करके गार्ड को धोखा देने की कोशिश करता है। गार्ड को एक "सामान्य" बुरे आदमी को पहचानने के लिए प्रशिक्षित किया गया था, लेकिन जब बुरा आदमी एक अजीब, ऊँची पिच या भ्रमित करने वाले तरीके से बोलता है, तो गार्ड खो जाता है और खतरे को पहचान नहीं पाता। - "नया यूनिफॉर्म" का बदलाव (Model Shift):
गार्डों को "यूनिफॉर्म A" पहने हुए बुरे लोगों पर नज़र रखने के लिए प्रशिक्षित किया गया था। लेकिन फिर, हमलावरों ने "यूनिफॉर्म B" (एक अलग AI मॉडल) का उपयोग करना शुरू कर दिया। गार्ड ने नए यूनिफॉर्म को नहीं पहचाना, इसलिए उसने बुरे आदमी को जाने दिया। - "सूक्ष्म खतरा" का बदलाव (Data Shift):
कुछ खतरे स्पष्ट होते हैं (जैसे कोई चिल्लाकर कह रहा हो "मैं इसे उड़ा दूँगा!")। लेकिन कुछ सूक्ष्म होते हैं (जैसे एक कहानी जो सुनने में अच्छी लगती है लेकिन उसमें एक छिपा हुआ, खतरनाक संदेश होता है)। गार्ड चिल्लाने वाले खतरों को पकड़ने में माहिर हैं, लेकिन वे फुसफुसाहट को पकड़ने में बहुत खराब हैं।
3. हमलावरों की "जादुई ट्रिक" (The "Magic Trick")
यहाँ सबसे खतरनाक हिस्सा है। शोधकर्ताओं ने पाया कि समाचारों में कई "सफल" हमले वास्तव में लाइब्रेरी की दीवारों को नहीं तोड़ रहे थे। इसके बजाय, हमलावर सुरक्षा गार्ड को हैक कर रहे थे।
- "BoN" (Best of N) ट्रिक: कल्पना कीजिए कि एक हमलावर लाइब्रेरी से 1,000 बार एक कहानी मांगता है। 999 बार, लाइब्रेरी कहती है "नहीं"। लेकिन 1,000वीं कोशिश में, AI गार्ड भ्रमित हो जाता है और गलती से "हाँ" कह देता है।
- हमलावर फिर चिल्लाता है, "देखो! मैंने लाइब्रेरी को तोड़ दिया!"
- लेकिन वास्तव में, वे बस भ्रमित गार्ड के साथ भाग्यशाली रहे थे। उन्होंने वास्तव में लाइब्रेरी को नहीं तोड़ा; उन्होंने बस गार्ड को गलती करने के लिए मजबूर कर दिया।
यह शोध पत्र दिखाता है कि जब आप इन गलतियों को सुधारते हैं, तो कई "सुपर-एडवांस्ड" हमले उतने प्रभावी नहीं होते जितना कि हम सोचते हैं।
4. "सहमति" पर्याप्त क्यों नहीं है
आप सोच सकते हैं, "यदि दो गार्ड सहमत हैं, तो वे सही होने चाहिए!"
शोधकर्ताओं ने इसका भी परीक्षण किया। उन्होंने पाया कि कभी-कभी, सभी गार्ड गलत उत्तर पर सहमत होते हैं।
यह दोस्तों के एक समूह जैसा है जो सभी इस बात पर सहमत हैं कि आसमान हरा है क्योंकि वे सभी एक अजीब फिल्टर देख रहे हैं। सिर्फ इसलिए कि वे सहमत हैं, इसका मतलब यह नहीं है कि वे सही हैं।
5. समाधान: एक बेहतर परीक्षण
तो, हम क्या करते हैं? शोधकर्ता दो नए उपकरण प्रस्तावित करते हैं:
- ReliableBench (द "ईज़ी मोड" टेस्ट):
सबसे कठिन, सबसे भ्रमित करने वाली पहेलियों के साथ गार्डों का परीक्षण करने के बजाय, आइए उनका परीक्षण उन परिदृश्यों के साथ करें जिनमें वे वास्तव में अच्छे हैं। यह हमें एक स्पष्ट, ईमानदार स्कोर देता है कि वे उन चीजों पर कैसा प्रदर्शन कर रहे हैं जो मायने रखती हैं। - JudgeStressTest (द "ट्रैप" टेस्ट):
यह विशेष रूप से ट्रिकी (चलाकी भरे) सवालों का एक सेट है जिसे गार्डों को तब पकड़ने के लिए डिज़ाइन किया गया है जब वे विफल होते हैं। यह एक ड्राइविंग टेस्ट की तरह है जिसमें एक छिपा हुआ गड्ढा होता है ताकि यह देखा जा सके कि ड्राइवर वास्तव में ध्यान दे रहा है या सिर्फ अनुमान लगा रहा है।
मुख्य निष्कर्ष (The Big Takeaway)
हम इस बात पर भरोसा कर रहे हैं कि AI यह जांचेगा कि अन्य AI सुरक्षित हैं या नहीं, लेकिन AI चेकर वर्तमान में अविश्वसनीय हैं। उन्हें आसानी से धोखा दिया जा सकता है, वे नई शैलियों से भ्रमित हो जाते हैं, और वे अक्सर बुरे अभिनेताओं की सफलता दर को बढ़ा-चढ़ाकर दिखाते हैं।
सबक: इससे पहले कि हम AI पर भरोसा करें कि वह हमें सुरक्षित रखेगा, हमें पहले "सुरक्षा गार्डों" को ठीक करने की आवश्यकता है। हम सिक्का उछालने (तुक्केबाजी) की नींव पर एक सुरक्षित भविष्य नहीं बना सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।