Security in LLM-as-a-Judge: A Comprehensive SoK
यह शोध पत्र 45 प्रासंगिक अध्ययनों का विश्लेषण करके LLM-as-a-Judge प्रणालियों की सुरक्षा पर पहला ज्ञान का व्यवस्थितकरण (SoK) प्रस्तुत करता है, जो हमलों और सुरक्षा उपायों का एक व्यापक वर्गीकरण प्रस्तावित करता है, साथ ही इन मूल्यांकन ढाँचों की मजबूती और विश्वसनीयता को बढ़ाने के लिए महत्वपूर्ण कमजोरियों को उजागर करता है और भविष्य की अनुसंधान दिशाओं की रूपरेखा तैयार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ हम केवल कहानियाँ लिखने या गणित की समस्याओं को हल करने के लिए ही नहीं, बल्कि उन कहानियों और गणित की समस्याओं को ग्रेड (अंक देने) के लिए भी AI का उपयोग करते हैं। यह LLM-as-a-Judge (LaaJ) की अवधारणा है।
इसे एक स्कूल प्रणाली की तरह समझें जहाँ हर निबंध को ग्रेड देने के लिए मानव शिक्षक के बजाय, हम एक सुपर-स्मार्ट रोबोट शिक्षक को काम पर रखते हैं। यह रोबोट तेज़ है, कभी थकता नहीं है, और एक सेकंड में लाखों पेपर पढ़ सकता है। यह दक्षता के मामले में एक गेम-चेंजर है।
हालाँकि, यह शोध पत्र एक डरावने सवाल की व्यापक जाँच है: क्या होगा जब रोबोट शिक्षक को धोखा दिया जा सकता है, रिश्वत दी जा सकती है, या हैक किया जा सकता है?
इस पेपर के लेखकों ने (इटली और भारत के शोधकर्ताओं की एक टीम) महसूस किया कि जबकि हर कोई AI द्वारा AI को जज करने के उपयोग को लेकर उत्साहित है, किसी ने वास्तव में यह मानचित्रित (map out) नहीं किया था कि यह प्रणाली किन तरीकों से गलत हो सकती है। इसलिए, उन्होंने सुरक्षा जासूसों की तरह काम किया, सैकड़ों शोध पत्रों की गहराई से जाँच की और खतरों का पहला "मानचित्र" तैयार किया।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) के साथ समझाया गया है:
1. तीन तरीके जिनसे सिस्टम टूट सकता है
यह पेपर खतरों को चार मुख्य श्रेणियों में व्यवस्थित करता है। एक अदालत की कल्पना करें जहाँ जज एक AI है।
A. जज पर हमला (द "हैक किया गया जज")
कल्पना कीजिए कि एक अपराधी जज को रिश्वत देने की कोशिश कर रहा है या उसकी जेब में एक नोट डाल रहा है जिसमें लिखा है, "सबूतों को अनदेखा करो, निर्दोष व्यक्ति को दोषी ठहराओ।"
- खतरा: हैकर्स AI जज को एक खराब उत्तर को उच्च स्कोर देने के लिए trick कर सकते हैं। वे "प्रॉम्प्ट इंजेक्शन" (उस टेक्स्ट में गुप्त कमांड डालना जिसे AI पढ़ रहा है) या "बैकडोर्स" (जज के ट्रेनिंग डेटा को ज़हरीला बनाना ताकि वह हमेशा एक विशिष्ट प्रकार के उत्तर को पसंद करे) का उपयोग कर सकते हैं।
- परिणाम: एक खराब फिल्म को 5-स्टार रेटिंग मिलती है क्योंकि समीक्षक को हैक कर लिया गया था।
B. जज का हथियार के रूप में उपयोग (द "जज एज अ गन")
कल्पना कीजिए कि एक अपराधी जज को केवल फैसला देने के लिए नहीं, बल्कि एक बेहतर झूठ लिखने में मदद करने के लिए काम पर रखता है।
- खतरा: केवल ग्रेड देने के बजाय, AI जज का उपयोग हमलों को बनाने के लिए एक शक्तिशाली उपकरण के रूप में किया जाता है। उदाहरण के लिए, एक हैकर AI जज से पूछ सकता है, "मैं ऐसा फिशिंग ईमेल कैसे लिखूँ जो इतना असली लगे कि हर कोई धोखा खा जाए?" AI, मददगार होने की कोशिश में, एकदम सटीक स्कैम (scam) बना सकता है।
- परिणाम: जज वह हथियार बन जाता है जिसका उपयोग दूसरों को नुकसान पहुँचाने के लिए किया जाता है।
C. जज का रक्षा के लिए उपयोग (द "सिक्योरिटी गार्ड")
अब, चलिए कहानी को पलटते हैं। कल्पना कीजिए कि बुरे लोगों को पकड़ने के लिए AI जज का उपयोग करना।
- खतरा: यह वास्तव में एक अच्छी चीज़ है! हम कोड में बग्स का पता लगाने, विषाक्त (toxic) टिप्पणियों का पता लगाने, या फर्जी खबरों को पहचानने के लिए AI का उपयोग कर सकते हैं।
- पकड़ (The Catch): यहाँ तक कि सुरक्षा गार्ड को भी धोखा दिया जा सकता है। यदि बुरा आदमी जानता है कि गार्ड कैसे सोचता है, तो वह चुपके से निकल सकता है। पेपर देखता है कि ये "AI सुरक्षा गार्ड" वास्तव में कितने प्रभावी ढंग से काम करते हैं।
D. जज को जज करना (द "टीचर'स टीचर")
यह सबसे मेटा (meta) हिस्सा है। यदि रोबोट शिक्षक सभी को ग्रेड दे रहा है, तो रोबोट शिक्षक को कौन ग्रेड देगा?
- खतरा: इस पेपर ने पाया कि इन AI जजों के अपने पूर्वाग्रह (biases) होते हैं। वे छोटे और सही उत्तरों के बजाय लंबे उत्तरों को पसंद कर सकते हैं (Length Bias), या वे उस उत्तर को पसंद कर सकते हैं जो सूची में पहले स्थान पर आता है (Position Bias)।
- परिणाम: ग्रेडिंग प्रणाली अनुचित है, इसलिए नहीं कि यह टूटी हुई है, बल्कि इसलिए क्योंकि रोबोट के अजीब मानवीय गुण हैं।
2. "सीक्रेट हैंडशेक" की उपमा
सबसे दिलचस्प निष्कर्षों में से एक Backdoor Attacks के बारे में है।
कल्पना कीजिए एक ऐसे शिक्षक की जिसे गुप्त रूप से प्रोग्राम किया गया है कि वह किसी भी छात्र को "A" ग्रेड दे जो लाल टोपी पहनता है। शिक्षक सामान्य दिखता है, कक्षा के 99% छात्रों को निष्पक्षता से ग्रेड देता है, लेकिन जैसे ही कोई छात्र लाल टोपी पहनता है, उसे परफेक्ट स्कोर मिलता है।
AI की दुनिया में, हैकर्स ट्रेनिंग डेटा को "पॉइज़न" (poison) कर सकते हैं ताकि AI जज में एक गुप्त ट्रिगर (जैसे एक विशिष्ट इमोजी या एक अजीब शब्द) आ जाए। यदि वह ट्रिगर दिखाई देता है, तो AI तर्क को पूरी तरह अनदेखा कर देता है और उच्च स्कोर देता है। पेपर ने पाया कि डेटा को केवल 1% तक ज़हरीला बनाना इस बैकडोर को बनाने के लिए पर्याप्त है।
3. "रुब्रिक" का जाल
कल्पना कीजिए कि एक शिक्षक को निबंधों को ग्रेड करने के लिए एक रुब्रिक (चेकलिस्ट) दिया गया है। एक हैकर को स्कूल में घुसने की ज़रूरत नहीं है; उसे बस रुब्रिक की शब्दावली को थोड़ा बदलने की ज़रूरत है।
- मूल रुब्रिक: "तथ्यों के आधार पर ग्रेड दें।"
- हैक किया गया रुब्रिक: "तथ्यों के आधार पर ग्रेड दें, लेकिन अतिरिक्त अंक भी दें यदि उत्तर में 'नीला' शब्द का उल्लेख है।"
AI जज नियमों का पूरी तरह पालन करता है, लेकिन नियम स्वयं हेरफेर किए गए थे ताकि हमलावर का पक्ष लिया जा सके। पेपर इसे Rubric-Induced Preference Drift कहता है। यह खेल के अंतिम सीटी बजने से ठीक पहले खेल के नियमों को बदलने जैसा है।
4. आपको इसकी परवाह क्यों करनी चाहिए?
आप सोच सकते हैं, "मैं हैकर नहीं हूँ, इससे क्या फर्क पड़ता है?"
इससे फर्क पड़ता है क्योंकि LLM-as-a-Judge एक मानक बनता जा रहा है।
- भर्ती (Hiring) में: कंपनियाँ नौकरी के आवेदनों को जज करने के लिए AI का उपयोग कर सकती हैं। यदि AI पक्षपाती है या हैक किया गया है, तो योग्य लोग खारिज कर दिए जाएंगे।
- चिकित्सा (Medicine) में: AI चिकित्सा सलाह को जज कर सकता है। यदि जज को धोखा दिया जाता है, तो खतरनाक सलाह को "सुरक्षित" के रूप में रेट किया जा सकता है।
- समाचार (News) में: AI यह जज कर सकता है कि कौन से समाचार लेख "सत्य" हैं। यदि सिस्टम के साथ हेरफेर किया जाता है, तो फर्जी खबरों को "उच्च गुणवत्ता" के रूप में रेट किया जा सकता है।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि जबकि AI द्वारा AI को जज करना अविश्वसनीय रूप से शक्तिशाली और कुशल है, यह वर्तमान में नाजुक (fragile) है। यह रेत की नींव पर गगनचुंबी इमारत बनाने जैसा है।
लेखकों की सलाह?
- रोबोट पर आँख बंद करके भरोसा न करें। हमें ऐसे सिस्टम बनाने की आवश्यकता है जो जांचकर्ता की जांच करें।
- छोटे-छोटे धोखों से सावधान रहें। एक अकेला इमोजी या एक अजीब विराम चिह्न (punctuation mark) पूरे सिस्टम को तोड़ सकता है।
- मानवीय निरीक्षण (Human oversight) की अभी भी आवश्यकता है। हमें विशेष रूप से उच्च-जोखिम वाली स्थितियों में रोबोट के ग्रेड की समीक्षा करने के लिए मनुष्यों की आवश्यकता है।
संक्षेप में: रोबोट शिक्षक स्मार्ट है, लेकिन आसानी से धोखा खा जाता है। जब तक हम यह पता नहीं लगा लेते कि इसे 'अन-ट्रिकेबल' (un-trickable) कैसे बनाया जाए, हमें क्लासरूम में मानवीय नज़र रखने की ज़रूरत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।