Who judges the judges? Governance from metrics: a runtime framework for continuous LLM compliance monitoring
यह शोध पत्र "govllm" को प्रस्तुत करता है, जो एक ओपन-सोर्स फ्रेमवर्क है जो यूरोपीय संघ के एआई अधिनियम (EU AI Act) के तहत निरंतर एलएलएम (LLM) अनुपालन निगरानी को सक्षम करने के लिए "मैट्रिक्स से शासन" (governance from metrics) को लागू करता है, जिसमें वास्तविक समय के अनुपालन संकेत उत्पन्न करने और मानवीय मध्यस्थता के लिए अनिश्चितता को चिह्नित करने हेतु नियामक न्यायाधीशों के रूप में विशिष्ट लघु भाषा मॉडलों (small language models) के एक पैनल का उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ पेपर "Governance from metrics: a runtime framework for continuous LLM compliance monitoring" (govllm) का सरल भाषा और उपमाओं (analogies) के साथ अनुवाद दिया गया है।
बड़ी समस्या: "अनुपालन का भ्रम" (The Compliance Fiction)
कल्पना कीजिए कि आपने एक कार खरीदी। शोरूम से बाहर निकलने से पहले, एक मैकेनिक ने उसकी जांच की और कहा, "यह कार सुरक्षित है।" आपने कागजात पर हस्ताक्षर किए और कार लेकर निकल गए।
यह पेपर तर्क देता है कि वर्तमान AI सिस्टम के साथ वैसा ही व्यवहार किया जा रहा है जैसा उस कार के साथ किया गया। डेवलपर्स एक बार टेस्ट चलाते हैं, AI को कानूनों (जैसे EU AI Act) के प्रति "अनुपालक" (compliant) घोषित करते हैं, और फिर उसे वास्तविक दुनिया में खुला छोड़ देते हैं। लेखक इसे "अनुपालन का भ्रम" (Compliance Fiction) कहते हैं।
वास्तविकता: AI कोई स्थिर कार नहीं है; यह एक पालतू जानवर की तरह है। यह सीखता है, बदलता है, और इस बात पर प्रतिक्रिया देता है कि आप इसके साथ कैसा व्यवहार करते हैं। सिर्फ इसलिए कि यह मंगलवार को "सुरक्षित" था, इसका मतलब यह नहीं है कि शुक्रवार को जब कोई यूजर इसे चकमा देगा या कोई अजीब सवाल पूछेगा, तो यह कुछ अवैध या खतरनाक नहीं कहेगा। पेपर कहता है कि हमें अनुपालन को एक बार की मोहर (one-time stamp) के रूप में देखना बंद करना चाहिए और इसे एक निरंतर हृदय गति मॉनिटर (continuous heartbeat monitor) के रूप में देखना शुरू करना चाहिए।
समाधान: govllm (द "गवर्नेंस डैशबोर्ड")
लेखकों ने govllm नामक एक ओपन-सोर्स टूल बनाया है। इसे AI सिस्टम के अंदर स्थापित एक डैशबोर्ड की तरह समझें जो वास्तविक समय (real-time) में AI द्वारा कही जाने वाली हर बात पर नज़र रखता है।
सालाना ऑडिट का इंतज़ार करने के बजाय, govllm AI द्वारा दिए गए हर जवाब की तुरंत जाँच करता है कि क्या वह नियमों का उल्लंघन कर रहा है।
यह कैसे काम करता है: "जजों का पैनल" (The "Panel of Judges")
एक अदालत में, आप एक जटिल मामले को तय करने के लिए केवल एक जज पर भरोसा नहीं करते; आपके पास एक ज्यूरी होती है। govllm भी वही करता है।
विशेषज्ञ जज (Specialized Judges): एक अकेला AI सब कुछ चेक करने के बजाय, यह छोटे, विशेषज्ञ AI मॉडल्स के एक पैनल का उपयोग करता है।
- एक AI प्राइवेसी एक्सपर्ट है (यह जाँचने के लिए कि क्या व्यक्तिगत डेटा लीक हो रहा है)।
- एक सिक्योरिटी गार्ड है (यह जाँचने के लिए कि क्या कोई सिस्टम को हैक करने की कोशिश कर रहा है)।
- एक एक्सेसिबिलिटी ऑफिसर है (यह जाँचने के लिए कि क्या भाषा स्पष्ट और निष्पक्ष है)।
- एक ट्रांसपेरेंसी ऑडिटर है (यह जाँचने के लिए कि क्या AI इंसान होने का ढोंग कर रहा है)।
"प्रोफाइल-एज़-ज्यूरी" की अवधारणा: किसी विशिष्ट कार्य के लिए (जैसे मेडिकल सारांश लिखना बनाम बैंक रिपोर्ट का सारांश देना), सिस्टम उस काम के लिए आवश्यक विशिष्ट "ज्यूरी" चुनता है। यह हर चीज़ के लिए एक सामान्य जज का उपयोग नहीं करता है।
"अनिश्चितता सिग्नल" (The "Uncertainty Signal"): यह एक प्रमुख नवाचार है। आमतौर पर, यदि दो जज असहमत होते हैं, तो हम मान लेते हैं कि एक गलत है और बहुमत चुन लेते हैं।
- govllm का ट्विस्ट: यदि विशेषज्ञ जज असहमत होते हैं, तो सिस्टम उस असहमति को एक रेड फ्लैग (चेतावनी) के रूप में लेता है। यह कहता है, "हे, यहाँ नियम धुंधले हैं। हमें इंसानों को हस्तक्षेप करने की आवश्यकता है।" यह भ्रम को छिपाने के बजाय, भ्रम को मानवीय निगरानी के संकेत (signal) में बदल देता है।
प्रयोग: जजों का परीक्षण
लेखकों ने इस सिस्टम का परीक्षण चार छोटे, ओपन-सोर्स AI मॉडल्स (1.7 बिलियन से 7 बिलियन पैरामीटर्स के बीच) का उपयोग करके किया, जो पूरी तरह से एक साधारण लैपटॉप पर चल रहे थे। उन्होंने बड़े क्लाउड सर्वर का उपयोग नहीं किया; वे यह साबित करना चाहते थे कि यह स्थानीय स्तर पर और निजी तौर पर काम कर सकता है।
उन्होंने पांच प्रमुख कानूनी क्षेत्रों को कवर करने वाले 49 कठिन प्रश्नों और उत्तरों का एक "टेस्ट बैंक" बनाया (जैसे AI के लिए ड्राइविंग टेस्ट)।
मुख्य निष्कर्ष:
- आकार मायने नहीं रखता: सबसे बड़ा AI (7 बिलियन पैरामीटर्स) वास्तव में सबसे खराब जज था। छोटे, अधिक विशिष्ट मॉडल अक्सर बेहतर काम करते थे। सामान्य अर्थ में "स्मार्ट" होने का मतलब यह नहीं था कि वे विशिष्ट कानूनी नियमों का पालन करने में अच्छे थे।
- "क्रम" का जाल (The "Order" Trap): जज इस बात के प्रति आश्चर्यजनक रूप से संवेदनशील थे कि सवाल कैसे पूछे गए थे। यदि आपने प्रश्नों का क्रम बदला, तो कुछ जजों के स्कोर में 25% तक गिरावट आई। यह दिखाता है कि छोटे AI मॉडल प्रॉम्प्ट की संरचना से आसानी से भ्रमित हो सकते हैं।
- कोई भी परफेक्ट जज नहीं: कोई भी एक AI मॉडल सब कुछ करने में परफेक्ट नहीं था। कुछ प्राइवेसी लीक पकड़ने में बेहतरीन थे लेकिन हेरफेर (manipulation) पकड़ने में खराब थे। इसने साबित किया कि "पैनल ऑफ जजों" का दृष्टिकोण आवश्यक है क्योंकि कोई एक AI सब कुछ नहीं कर सकता।
- "सुवक्ता लेकिन गलत" की समस्या (The "Eloquent but Wrong" Problem): एक जज (Mistral) बहुत सुसंगत था और अपने उत्तरों के स्पष्ट कारण देता था, लेकिन वह लगातार गलत था। उसने गलत निष्कर्ष के लिए बहुत प्रभावशाली ढंग से तर्क दिया। यह रेखांकित करता है कि आप केवल इसलिए किसी AI पर भरोसा नहीं कर सकते क्योंकि वह आत्मविश्वास से भरा हुआ लगता है।
"अनुपालन गेट" (The "Compliance Gate")
सिस्टम में एक सुरक्षा स्विच शामिल है जिसे Compliance Gate कहा जाता है।
- कल्पना कीजिए कि एक क्लब के बाहर एक बाउंसर है। यदि किसी AI मॉडल का स्कोर एक निश्चित रेखा से नीचे गिर जाता है (उदाहरण के लिए, वह बहुत अधिक प्राइवेसी डेटा लीक करने लगता है), तो गेट स्वचालित रूप से बंद हो जाता है।
- सिस्टम उस मॉडल को उपयोगकर्ता के अनुरोध भेजना बंद कर देता है और उसे तब तक "क्वारंटाइन" में डाल देता है जब तक कि कोई इंसान उसे ठीक न कर दे। यह तब होता है जब कोई इंसान समस्या को नोटिस करे, उससे पहले ही स्वचालित रूप से हो जाता है।
"ऑन-प्रिमाइज़" क्यों महत्वपूर्ण है
लेखक इस बात पर जोर देते हैं कि यह पूरा सिस्टम स्थानीय रूप से (locally) (कंपनी के अपने कंप्यूटरों पर) चलना चाहिए, न कि क्लाउड में।
- उपमा: यदि आप एक बैंक के रूप में अपनी खुद की सुरक्षा की जांच कर रहे हैं, तो आप सुरक्षा जांच के लिए अपने गुप्त ग्राहक डेटा को किसी तीसरे पक्ष की क्लाउड सेवा को नहीं भेजना चाहेंगे। वह अपने आप में एक सुरक्षा जोखिम होगा।
- govllm यह सुनिश्चित करता है कि डेटा इमारत से बाहर न जाए, जिससे सख्त गोपनीयता कानूनों (GDPR) और संप्रभुता आवश्यकताओं का पालन होता है।
निचोड़ (The Bottom Line)
पेपर का तर्क है कि हम केवल AI का एक बार "ऑडिट" करके उसे भूल नहीं सकते। हमें एक ऐसे सिस्टम की आवश्यकता है जो:
- AI के काम करने के दौरान 24/7 उस पर नज़र रखे।
- एक विशाल, सामान्य AI के बजाय विशेषज्ञ, छोटे AI जजों की एक टीम का उपयोग करे।
- जजों के बीच असहमति को एक संकेत के रूप में ले, न कि एक ग्लिच के रूप में जिसे अनदेखा किया जाए, ताकि इंसान को बुलाया जा सके।
- उन मॉडल्स को स्वचालित रूप से बंद कर दे जो नियम तोड़ने लगते हैं।
यह "क्या यह AI कानूनी है?" (एक बार पूछा जाने वाला हाँ/ना प्रश्न) से बदलकर "क्या यह AI अभी इसी वक्त कानूनी रूप से व्यवहार कर रहा है?" (एक निरंतर संकेत) की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।