Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning
यह शोध पत्र एक एजेंटिक फ्रेमवर्क प्रस्तुत करता है जो LLM-आधारित तर्क और अनुपालन सत्यापन को बढ़ाने के लिए AI नीति दस्तावेजों से नॉलेज ग्राफ का निर्माण करता है, यह प्रदर्शित करते हुए कि KG संवर्धन विभिन्न तर्क कार्यों में प्रदर्शन में सुधार करता है और LLM-खोजे गए स्कीमा औपचारिक ऑन्टोलॉजी के बराबर या उससे बेहतर हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़े, उलझाने वाले पहेली को हल करने की कोशिश कर रहे हैं जहाँ टुकड़े तीन अलग-अलग भाषाओं में लिखे गए नियमों (EU AI Act, NIST दिशानिर्देश और OWASP मानक) के रूप में हैं। आपके पास एक बहुत ही समझदार सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने बहुत सारी किताबें पढ़ी हैं लेकिन उसे ये विशिष्ट नियम पूरी तरह से याद नहीं हैं। यदि आप सहायक से कोई प्रश्न पूछते हैं, तो वह इस आधार पर उत्तर का अनुमान लगा सकता है कि वह क्या "सोचता" है कि उसे पता है, लेकिन वह विवरणों में गलत हो सकता है या मनगढ़ंत बातें (hallucinate) बना सकता है।
यह शोध पत्र उस समझदार सहायक की मदद करने का एक नया तरीका पेश करता है। केवल सहायक को याद रखने के लिए कहने के बजाय, शोधकर्ताओं ने विशेष रूप से इन AI नियमों के लिए एक डिजिटल फाइलिंग कैबिनेट (एक नॉलेज ग्राफ) बनाया है।
यह सिस्टम कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:
1. "स्कैन और सॉर्ट" टीम (निर्माण)
सबसे पहले, सिस्टम लंबे, उबाऊ नीति दस्तावेजों को लेता है और उन्हें छोटे, प्रबंधनीय टुकड़ों में तोड़ देता है। फिर यह एक AI एजेंट का उपयोग करता है जो प्रत्येक टुकड़े को पढ़ता है और महत्वपूर्ण "तथ्यों" (जैसे विशिष्ट जोखिम, नियम या दायित्व) और उनके बीच के संबंधों को निकालता है।
- "सख्त" लाइब्रेरियन (AIRO स्कीमा): यह लाइब्रेरियन एक बहुत ही सख्त, पहले से बनी श्रेणियों की सूची (जैसे "जोखिम," "खतरा," "परिणाम") का पालन करता है। वे हर तथ्य को इन विशिष्ट बक्सों में फिट करने के लिए मजबूर करते हैं।
- "रचनात्मक" लाइब्रेरियन (ओपन स्कीमा): यह लाइब्रेरियन किसी पूर्व-निर्धारित सूची का उपयोग नहीं करता है। इसके बजाय, वे टेक्स्ट को देखते हैं और अपनी खुद की वर्णनात्मक लेबल (जैसे "डेटा पॉइजनिंग रिस्क" या "पारदर्शिता नियम") बनाते हैं जो सामग्री के लिए सबसे उपयुक्त हों।
2. "जासूस" (रिट्रीवल/खोज)
जब आप एक प्रश्न पूछते हैं (जैसे, "क्या यह कोड EU AI Act का उल्लंघन करता है?"), तो सिस्टम केवल सहायक से अनुमान लगाने के लिए नहीं कहता है। यह एक जासूस की तरह कार्य करता है:
- सीधा रास्ता (The Direct Path): सरल प्रश्नों के लिए (जैसे, "एक उच्च-जोखिम वाली AI प्रणाली क्या है?"), जासूस तुरंत सटीक इंडेक्स कार्ड ढूंढ लेता है और उद्धरण (quote) पढ़ लेता है।
- एजेंट पथ (The Agent Path): जटिल प्रश्नों के लिए (जैसे, "EU नियम और NIST नियम एक साथ कैसे काम करते हैं?"), जासूस फाइलिंग कैबिनेट के माध्यम से चलता है, कार्डों के बीच के संबंधों का अनुसरण करता है और एक पूर्ण उत्तर बनाने के लिए आवश्यक सभी साक्ष्य एकत्र करता है।
3. "न्यायाधीश" (मूल्यांकन)
शोधकर्ताओं ने इस सिस्टम का परीक्षण पाँच अलग-अलग AI मॉडलों के साथ किया (बहुत शक्तिशाली मॉडलों से लेकर छोटे, सस्ते मॉडलों तक)। उन्होंने 42 अलग-अलग प्रकार के प्रश्न पूछे, जो सरल खोज से लेकर जटिल क्रॉस-रूल रीजनिंग तक विस्तृत थे।
उन्होंने तीन परिदृश्यों की तुलना की:
- बिना किसी मदद के: AI अपनी याददाश्त से उत्तर देता है।
- सख्त फाइलिंग कैबिनेट: AI "सख्त" लाइब्रेरियन के कार्डों का उपयोग करता है।
- रचनात्मक फाइलिंग कैबिनेट: AI "रचनात्मक" लाइब्रेरियन के कार्डों का उपयोग करता है।
उन्हें क्या मिला (परिणाम)
- फाइलिंग कैबिनेट हमेशा मदद करता है: फाइलिंग कैबिनेट जोड़ने से परीक्षण किए गए प्रत्येक AI मॉडल के उत्तरों में सुधार हुआ। AI अधिक सटीक हो गया और महत्वपूर्ण रूप से, वह अपने उत्तर को साबित करने के लिए नियमों से सटीक उद्धरण प्रदान कर सका, न कि केवल अनुमान लगा सका।
- "रचनात्मक" लाइब्रेरियन आश्चर्यजनक रूप से अच्छा था: आप सोच सकते हैं कि एक सख्त, पूर्व-निर्धारित सूची (एक औपचारिक ऑन्टोलॉजी) बेहतर होगी। हालाँकि, "रचनात्मक" लाइब्रेरियन, जिसने अपनी मर्जी से लेबल बनाए थे, सख्त वाले के समान ही अच्छा प्रदर्शन करता था, और कभी-कभी उससे भी बेहतर। यह सुझाव देता है कि AI को अपने शब्दों में चीजों का वर्णन करने देना, उसे कठोर बक्सों में मजबूर करने की तुलना में अधिक प्रभावी हो सकता है।
- आकार मायने रखता है (जासूस के लिए): यह सिस्टम "बड़े दिमाग" वाले AI मॉडलों के लिए बहुत अच्छा काम करता है। हालाँकि, छोटे, कम शक्तिशाली मॉडलों के लिए, "एजेंट पथ" (जहाँ जासूस ग्राफ के माध्यम से घूमता है) वास्तव में चीजों को बदतर बना देता है। यह एक बच्चे को एक जटिल मानचित्र देने जैसा है जिसे पढ़ना नहीं आता; वे खो जाते हैं। छोटे मॉडलों के लिए, जटिल रूप से घूमने वाले कदम के बिना सीधे उत्तर देना बेहतर है।
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि यदि आप चाहते हैं कि कोई AI जटिल सुरक्षा नियमों का पालन करे, तो आपको केवल उसकी याददाश्त पर भरोसा नहीं करना चाहिए। आपको उसे उन नियमों का एक संरचित, खोजने योग्य मानचित्र देना होगा। दिलचस्प बात यह है कि आपको एक पूरी तरह से पूर्व-नियोजित मानचित्र की आवश्यकता नहीं है; एक मानचित्र जिसे AI टेक्स्ट के आधार पर खुद बनाता है, वह भी उतना ही प्रभावी काम करता है। हालाँकि, आपको मानचित्र पढ़ने के कार्य की जटिलता को पढ़ने वाले AI की बुद्धिमत्ता के साथ मेल खाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।