CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems
यह शोध पत्र CompliBench प्रस्तुत करता है, जो एक नया बेंचमार्क और स्वचालित डेटा जनरेशन पाइपलाइन है जिसे एंटरप्राइज डायलॉग सिस्टम में अनुपालन उल्लंघन (compliance violations) का पता लगाने और उन्हें स्थानीयकृत करने की LLM जजों की क्षमता का मूल्यांकन करने और सुधारने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान मॉडल इस कार्य में संघर्ष करते हैं जबकि यह भी प्रदर्शित करता है कि सिंथेसाइज्ड डेटा पर फाइन-ट्यून किए गए छोटे पैमाने के मॉडल बेहतर प्रदर्शन और सामान्यीकरण (generalization) प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक एयरलाइन या बीमा कंपनी के लिए कस्टमर सर्विस एजेंट के रूप में काम करने के लिए एक बहुत ही बुद्धिमान, विद्वान रोबोट को काम पर रखा है। आप उस रोबोट को एक मोटी नियम पुस्तिका देते हैं: "यदि कोई ग्राहक मानव की मांग करता है, तो उन्हें तुरंत ट्रांसफर करें," या "हमेशा सहानुभूतिपूर्ण स्वर रखें।"
अब, कल्पना कीजिए कि आपको उस रोबोट की बातचीत पर नज़र रखने और यह जाँचने के लिए एक सुपरवाइजर की आवश्यकता है कि उसने नियमों का पालन किया या नहीं। आपने एक अन्य सुपर-स्मार्ट AI (एक "जज AI") का उपयोग करने का निर्णय लिया जो एक मानव मैनेजर की तुलना में तेज़ और सस्ता है।
समस्या:
इस शोध पत्र के लेखकों ने पूछा: "क्या हम वास्तव में इस जज AI पर भरोसा कर सकते हैं?"
उन्होंने पाया कि सबसे उन्नत AI जज भी इस विशिष्ट कार्य के लिए बेहद खराब हैं। वे अक्सर गलतियों को पकड़ने में चूक जाते हैं, या इस बात को लेकर भ्रमित हो जाते हैं कि कौन सा नियम कब लागू होता है। यह बिल्कुल वैसा ही है जैसे किसी रेफरी को काम पर रखना जो नियम पुस्तिका पढ़ने में इतना व्यस्त है कि वह मैदान पर हो रहे वास्तविक फाउल को ही मिस कर देता है।
समाधान: COMPLIBENCH
इसे साबित करने के लिए, टीम ने COMPLIBENCH नामक एक नया "टेस्ट ट्रैक" बनाया। यह एक AI एजेंटों के लिए ड्राइविंग सिम्युलेटर की तरह है, लेकिन कारों को क्रैश करने के बजाय, एजेंट नियमों को तोड़कर "क्रैश" होते हैं।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया, कुछ रचनात्मक उपमाओं का उपयोग करते हुए:
1. द "मैड लिब्स" रूलबुक जनरेटर
असली कस्टमर सर्विस नियम पुस्तिकाएं उबाऊ और विशिष्ट होती हैं। AI को टेस्ट करने के लिए, शोधकर्ताओं को हजारों अलग-अलग परिदृश्यों की आवश्यकता थी।
- उन्होंने क्या किया: उन्होंने वास्तविक नियम पुस्तिकाओं को "रीमिक्स" करने के लिए AI का उपयोग किया। उन्होंने हजारों बदलाव बनाए, जैसे "उपयोगकर्ता को ट्रांसफर करें" को बदलकर "उपयोगकर्ता से पहले तीन प्रश्न पूछें" करना।
- उपमा: कल्पना कीजिए कि एक शेफ चॉकलेट केक की एक मानक रेसिपी लेता है और उसके 1,000 बदलाव बनाता है: एक बिना चीनी के, एक चीनी की जगह नमक के साथ, एक जहाँ आपको घड़ी की सुई की दिशा के विपरीत (counter-clockwise) चम्मच चलाना है। उन्होंने यह सुनिश्चित किया कि ये बदलाव एक-दूसरे से अलग हों ताकि परीक्षण दोहराव वाला न हो।
2. द "ट्रैप-सेटर" (एडवर्सरियल इंजेक्शन)
यही सबसे दिलचस्प हिस्सा है। वे नहीं चाहते थे कि AI केवल स्पष्ट गलतियाँ करे। वे जज AI को धोखा देना चाहते थे।
- उन्होंने क्या किया: उन्होंने एक "विलेन AI" बनाया जिसका एकमात्र काम यह खोजना था कि जज AI को पता चले बिना नियम तोड़ने का सबसे सूक्ष्म तरीका क्या है।
- उपमा: एक सुरक्षा गार्ड (जज) की कल्पना करें जो एक संग्रहालय की निगरानी कर रहा है। एक चोर (विलेन AI) पेंटिंग चुराने की कोशिश करता है।
- आसान चोरी: चोर पेंटिंग लेकर बाहर भाग जाता है। गार्ड उसे तुरंत पकड़ लेता है।
- कठिन चोरी (लक्ष्य): चोर 10 मिनट के भीतर धीरे-धीरे पेंटिंग को असली से नकली से बदल देता है, या उसे कोट के अंदर छिपा लेता है। गार्ड को इसे पकड़ना चाहिए, लेकिन अक्सर वह चूक जाता है।
- शोधकर्ताओं ने इस "विलेन AI" का उपयोग ऐसी बातचीत बनाने के लिए किया जहाँ एजेंट चालाकी से नियम तोड़ता है, जिससे एक "ग्राउंड ट्रुथ" (सही उत्तर) बनता है जो खोजने में कठिन है।
3. द "गोल्ड स्टैंडर्ड" लेबल्स
चूंकि शोधकर्ताओं ने "विलेन AI" को नियंत्रित किया था, इसलिए उन्हें पता था कि गलती ठीक कहाँ हुई और कौन सा नियम टूटा।
- उपमा: एक सामान्य कक्षा में, एक शिक्षक को छात्र के निबंध को ग्रेड करना होता है और अनुमान लगाना होता है कि क्या उसने प्रॉम्प्ट का पालन किया। इस परीक्षण में, शिक्षक (शोधकर्ताओं) ने निबंध को गलती के साथ ही लिखा और लाल पेन से सटीक स्थान को चिह्नित किया। उनके पास परफेक्ट आंसर की (उत्तर कुंजी) है।
परिणाम: "डेविड बनाम गोलियथ" की कहानी
उन्होंने दुनिया के सबसे बड़े, सबसे महंगे AI मॉडलों ( "गोलियथ") को चलाया और एक छोटे, कस्टम-ट्रेन्ड मॉडल ( "डेविड") के साथ उनकी तुलना की।
- गोलियथ (बड़े AI जज): सबसे स्मार्ट, सबसे महंगे AI मॉडल भी संघर्ष करते रहे। वे अक्सर सूक्ष्म उल्लंघनों को मिस कर गए या इस बात को लेकर भ्रमित हो गए कि कौन सा नियम लागू होता है। वे एक ऐसे जीनियस प्रोफेसर की तरह थे जो इतने स्मार्ट हैं कि वे सरल चीजों पर बहुत अधिक विचार करने लगते हैं और स्पष्ट चीज़ों को भी मिस कर देते हैं।
- डेविड (छोटा, विशिष्ट AI): शोधकर्ताओं ने एक छोटे AI मॉडल को लिया और उसे केवल अपने "विलेन AI" द्वारा उत्पन्न डेटा पर प्रशिक्षित किया। इस नन्हे मॉडल ने दिग्गजों को हरा दिया।
- क्यों? क्योंकि इसने प्रशिक्षण डेटा से विशिष्ट "गलतियों की भाषा" सीखी। यह एक विशेष जासूस की तरह था जिसने हर तरह की चाल देखी है, जबकि विशाल AI एक जनरललिस्ट था जो दुनिया के बारे में सब कुछ जानता था लेकिन इन विशिष्ट चालों के बारे में कुछ नहीं जानता था।
यह क्यों महत्वपूर्ण है
यह पेपर एक चेतावनी है। सिर्फ इसलिए कि एक AI बड़ा और स्मार्ट है, इसका मतलब यह नहीं है कि वह अन्य AI के लिए सुपरवाइजर बनने में अच्छा है।
- व्यवसायों के लिए: यदि आप अपने कस्टमर सर्विस एजेंटों की जांच के लिए AI का उपयोग कर रहे हैं, तो आप शायद एक आँखों पर पट्टी बंधे हुए रेफरी पर भरोसा कर रहे हैं। आपको एक सामान्य स्मार्ट AI की नहीं, बल्कि एक विशिष्ट टूल की आवश्यकता है।
- भविष्य के लिए: अन्य AI के लिए एक अच्छा सुपरवाइजर बनाने का सबसे अच्छा तरीका इसे बड़ा बनाना नहीं है; बल्कि इसे उच्च गुणवत्ता वाले, कठिन उदाहरणों पर प्रशिक्षित करना है कि क्या नहीं करना चाहिए।
संक्षेप में: लेखकों ने AI सुपरवाइजरों के लिए एक "ट्रिक क्वेश्चन" परीक्षा बनाई। उन्होंने पाया कि सबसे बड़े, सबसे प्रसिद्ध AI परीक्षा में फेल हो गए, लेकिन एक छोटे, विशेष रूप से प्रशिक्षित AI ने इसे आसानी से पार कर लिया। उन्होंने साबित किया कि धोखेबाज को पकड़ने के लिए, आपको एक ऐसे जासूस की आवश्यकता है जो जानता हो कि धोखेबाज कैसे सोचते हैं, न कि केवल एक बहुत बुद्धिमान व्यक्ति की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।