Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering
यह शोध पत्र RefWalk प्रस्तुत करता है, जो एक एकीकृत ढांचा है जिसे प्रति-नियम एट्रिब्यूशन (per-rule attribution) और संरचित प्रक्रियात्मक लुकअप (structured procedural lookups) को लागू करके नियामक अनुपालन प्रश्नोत्तर को बढ़ाने के लिए डिज़ाइन किया गया है, जिसे नवीन RegOps-Bench बेंचमार्क और एक अमेरिकी स्वास्थ्य अनुपालन डेटासेट के माध्यम से मान्य किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-मंजिला पुस्तकालय में रास्ता खोजने की कोशिश कर रहे हैं जहाँ किताबें केवल अलमारियों पर रखी नहीं हैं; वे अदृश्य धागों से एक-दूसरे से जुड़ी हुई हैं। यदि आप "पुल कैसे बनाएं" विषय पर एक किताब उठाते हैं, तो उस पर एक नोट हो सकता है, "देखें 'सुरक्षा नियम' पुस्तक का अध्याय 4," जो आगे "सिटी परमिट" पुस्तक के एक विशिष्ट पैराग्राफ की ओर संकेत करता है, जो अंततः "निर्माण नियमावली" (Construction Manual) के एक छोटे से फुटनोट को संदर्भित करता है।
यह एक कंपनी के लिए नियामक अनुपालन (Regulatory Compliance) जैसा महसूस होता है। उन्हें सख्त, स्तरित नियमों (कानून, डिक्री, मैनुअल) का पालन करना पड़ता है जो लगातार एक-दूसरे को संदर्भित करते हैं। यदि वे इसमें गलती करते हैं, तो उन्हें भारी जुर्माना भरना पड़ता है।
यह शोध पत्र तर्क देता है कि वर्तमान AI उपकरण (लार्ज लैंग्वेज मॉडल्स) इस विशिष्ट कार्य के लिए बहुत खराब हैं। वे एक ऐसे छात्र की तरह हैं जो पहली किताब पढ़ता है, उत्तर का अनुमान लगाता है, और फिर प्रमाण के रूप में एक फर्जी पेज नंबर बना देता है। वे तेज़ तो हैं, लेकिन वे खतरनाक हैं क्योंकि वे "भ्रमित" (hallucinate) होते हैं (यानी झूठ बोलते हैं) कि नियम कहाँ से आए हैं।
यहाँ शोध पत्र का समाधान है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "सपाट" मानचित्र बनाम "3D" भूलभुलैया
अधिकांश AI सिस्टम पुस्तकालय को एक सपाट सूची की तरह देखते हैं। वे "पुल" और "सुरक्षा" जैसे शब्दों को देखते हैं और सोचते हैं, "ठीक है, ये दो चीजें संबंधित हैं।" वे संरचना को मिस कर देते हैं।
- वास्तविकता: कानून में, एक नियम केवल दूसरे से "संबंधित" नहीं होता; वह उसे प्रत्यायोजित (delegate) करता है। एक नियम कहता है, "X करें, जब तक कि सुरक्षा डिक्री Y न कहे।"
- विफलता: वर्तमान AI शब्दों की समानता देखकर उत्तर खोजने की कोशिश करता है। यह नियमों को जोड़ने वाले विशिष्ट "धागों" को मिस कर देता है। यह अंतिम उत्तर और उद्धरण (citation) को दो अलग-अलग चीजों के रूप में भी देखता है, और अक्सर अंत में एक फर्जी उद्धरण को वाक्य के साथ जोड़ देता है।
2. नया टूल: "RefWalk" (एक निर्देशित दौरा)
लेखकों ने RefWalk नामक एक नया सिस्टम बनाया है। इसे एक अत्यंत व्यवस्थित टूर गाइड के रूप में समझें जो न केवल किताबों को पढ़ता है बल्कि उन्हें जोड़ने वाले धागों पर शारीरिक रूप से चलता भी है।
- "विषय एंकर" (Topic Anchor): जब आप कोई प्रश्न पूछते हैं (जैसे, "क्या मैं विदेशी अनुसंधान पर अतिरिक्त पैसा खर्च कर सकता हूँ?"), तो RefWalk केवल शब्दों की खोज नहीं करता। यह प्रश्न को एक "मानचित्र कुंजी" (map key) में तोड़ देता है: कौन पूछ रहा है? कितना पैसा? कब? किस स्थिति में?
- "तीन-दृष्टिकोण" खोज (Three-View Search): केवल एक तरीके से उत्तर खोजने के बजाय, गाइड तीन कोणों से पुस्तकालय को देखता है:
- संकीर्ण दृश्य (Narrow View): आपके द्वारा उपयोग किए गए सटीक शब्दों की तलाश करना।
- व्यापक दृश्य (Wide View): सामान्य अवधारणा की तलाश करना, विशिष्ट शब्दों को अनदेखा करते हुए (यदि आपने शब्दों का चयन अजीब तरीके से किया हो)।
- मध्यम दृश्य (Middle View): दोनों का मिश्रण।
- क्यों? कभी-कभी सटीक शब्द आपको गलत किताब की ओर ले जाते हैं, लेकिन सामान्य विचार आपको सही किताब तक पहुँचा देता है। RefWalk एक विशेष "मतदान प्रणाली" (RRM) का उपयोग करता है जो सही उत्तर को पतला करने के बजाय तीनों दृश्यों में से सर्वश्रेष्ठ परिणाम को चुनता है।
3. "नॉलेज ग्राफ" (धागे का मानचित्र)
शोधकर्ताओं ने पुस्तकालय का एक विशेष मानचित्र बनाया जिसे ऑपरेशनल नॉलेज ग्राफ (OKG) कहा जाता है।
- केवल विषय के आधार पर किताबों को जोड़ने के बजाय, यह मानचित्र उन्हें कानूनी तर्क (legal logic) द्वारा जोड़ता है। यह जानता है कि "नियम A" "नियम B" को प्रत्यायोजित करता है, और "नियम B" "नियम C" को परिभाषित करता है।
- RefWalk इन धागों का पीछा करता है। यदि आप बजट के बारे में पूछते हैं, तो यह बजट नियम से शुरू होता है, सुरक्षा नियम तक के धागे का पीछा करता है, और फिर मैनुअल तक जाता है, यह सुनिश्चित करते हुए कि वह श्रृंखला में एक भी कड़ी न छोड़े।
4. "स्ट्रिक्ट JSON" (झूठ न बोलने का नियम)
यह सबसे महत्वपूर्ण हिस्सा है। सामान्य AI में, मॉडल एक पैराग्राफ लिखता है और फिर अंत में एक उद्धरण जोड़ने की कोशिश करता है। यह एक निबंध लिखने और फिर स्मार्ट दिखने के लिए एक फुटनोट बनाने जैसा है।
- RefWalk का दृष्टिकोण: AI को एक "कठोर जैकेट" (strict JSON format) पहनने के लिए मजबूर किया जाता है। वह तब तक वाक्य नहीं लिख सकता जब तक कि उसने पहले विशिष्ट नियम (Key) का चयन न कर लिया हो और फिर उस नियम से जुड़ी एक वैल्यू (Value) के रूप में दावा न लिख दिया हो।
- रूपक: एक अदालत की कल्पना करें जहाँ एक वकील तब तक एक शब्द भी नहीं बोल सकता जब तक कि वह कानून के उस विशिष्ट पन्ने को पकड़े हुए न हो जिसका वह उद्धरण दे रहा है। वह यह नहीं कह सकता कि, "कानून X कहता है," और फिर बाद में कह सकता है, "ओह, वैसे, वह पेज 42 से है।" उसे कहना होगा, "पेज 42 कहता है X।" यह AI को ईमानदार होने के लिए मजबूर करता है। यदि वह पेज नहीं ढूंढ पाता, तो वह दावा नहीं कर सकता।
5. परीक्षण: "RegOps-Bench"
इसे सिद्ध करने के लिए, लेखकों ने RegOps-Bench नामक एक नया परीक्षण बनाया।
- उन्होंने वास्तविक, जटिल कोरियाई सरकारी नियमों को लिया (जो अपने आप में अत्यधिक जटिल और स्तरित हैं)।
- उन्होंने 250 कठिन प्रश्न बनाए जिनमें विभिन्न पुस्तकों के माध्यम से कई "धागों" का पीछा करने की आवश्यकता थी।
- परिणाम: पुराने AI सिस्टम या तो अटक गए या फर्जी उद्धरण देने लगे। RefWalk सफलतापूर्वक धागों का पीछा करने, सटीक पृष्ठ खोजने और सही नियमों के साथ उत्तर जोड़ने में सफल रहा। यह सभी आवश्यक नियमों को खोजने (recall) और यह सुनिश्चित करने में (precision) कि उद्धरण वास्तविक हैं, बहुत बेहतर था।
सारांश
शोध पत्र कहता है: "AI बातचीत करने में महान है, लेकिन सख्त कानूनी श्रृंखलाओं का पालन करने में बुरा है।"
उन्होंने RefWalk बनाया, एक ऐसा सिस्टम जो:
- नियमों के बीच के धागों का मानचित्रण करता है (न कि केवल शब्दों का)।
- कुछ भी मिस न हो, इसके लिए तीन कोणों से खोज करता है।
- AI को बोलने से पहले उद्धृत करने के लिए मजबूर करता है, जिससे हर दावा उसके स्रोत से मजबूती से जुड़ा रहता है।
यह AI को उच्च-दांव वाले कार्यों जैसे कि यह जांचने के लिए सुरक्षित बनाता है कि क्या कोई कंपनी कानून का पालन कर रही है, जहाँ एक फर्जी उद्धरण मुकदमेबाजी का कारण बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।