Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
यह शोध पत्र कानूनी पुनर्प्राप्ति (legal retrieval) में सिमेंटिक समानता की सीमाओं को दूर करने के लिए व्यवधान-आधारित एट्रिब्यूशन स्कोर (perturbation-based attribution scores) पर प्रशिक्षित एक लाइटवेट क्रॉस-एनकोडर री-रैंकर का प्रस्ताव करता है, जो साइटेशन निष्ठा (citation faithfulness) में महत्वपूर्ण सुधार करता है और विभिन्न भाषा मॉडलों के बीच एक साझा, मॉडल-अज्ञेय (model-agnostic) प्रासंगिकता संकेत प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वकील हैं जो एक जटिल कानूनी प्रश्न का उत्तर देने की कोशिश कर रहे हैं। आपके पास दस्तावेजों का एक विशाल पुस्तकालय (रिट्रीवर) है और एक प्रतिभाशाली लेकिन कभी-कभी भ्रमित होने वाला कानूनी सहायक (एक AI भाषा मॉडल) है।
समस्या: शेल्फ पर गलत किताब
आमतौर पर, जब आप AI से कोई प्रश्न पूछते हैं, तो लाइब्रेरी सिस्टम उन शीर्ष 10 किताबों को उठा लेता है जो आपके प्रश्न के कीवर्ड्स के आधार पर सबसे अधिक समान दिखती हैं। वह उन्हें AI को सौंप देता है, यह उम्मीद करते हुए कि AI सही पृष्ठों का उल्लेख करेगा।
यह शोध पत्र तर्क देता है कि यह प्रणाली दोषपूर्ण है। एक विशिष्ट कानूनी डेटासेट (यूरोपीय मानवाधिकार न्यायालय के मामले) पर, लाइब्रेरी सिस्टम वास्तव में उन सटीक पैराग्राफों को खोजने में यादृच्छिक संभावना (random chance) से भी बदतर प्रदर्शन करता है जिनकी आवश्यकता AI को उद्धरण देने के लिए होती है।
- उपमा: कल्पना कीजिए कि आप "चॉकलेट केक" के लिए रेसिपी मांगते हैं। लाइब्रेरी आपको "चॉकलेट" और "केक" की अलग-अलग किताबों के बारे में जानकारी देती है, लेकिन वास्तविक रेसिपी "बेकिंग साइंस" के बारे में एक किताब में छिपी है जिसे लाइब्रेरी ने इसलिए अनदेखा कर दिया क्योंकि उसका शीर्षक बिल्कुल मेल नहीं खाता था। AI, मददगार बनने की कोशिश में, अपनी याददाश्त से खुद ही रेसिपी बना सकता है या किसी गलत किताब के रैंडम पेज से जानकारी उठाकर दावा कर सकता है कि वही उसका स्रोत है।
पुराना तरीका: अनुमान लगाना कि AI को क्या पसंद है
पहले, शोधकर्ताओं ने एक "री-रैंकर" (एक दूसरा AI) को प्रशिक्षित करने की कोशिश की जो यह अनुमान लगा सके कि पहले AI को कौन सी किताबें पसंद आएंगी। लेकिन उन्होंने इस री-रैंकर को उस पर प्रशिक्षित किया जो AI कहता था कि उसे क्या पसंद है (जैसे "यह अनुच्छेद उपयोगी है"), जो अक्सर एक झूठ होता है। AI कह सकता है, "मैंने इस पैराग्राफ का उपयोग किया," जबकि वास्तव में उसने उत्तर अपने दिमाग से बनाया होता है।
नया समाधान: AI की प्रतिक्रिया देखना
लेखकों ने एक चतुर नया तरीका निकाला। AI से यह पूछने के बजाय कि उसे क्या पसंद है, वे यह देखते हैं कि जब आप चीजों को हटा देते हैं, तो AI की प्रतिक्रिया कैसी होती है।
- उपमा: कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि सूप में कौन सा घटक (ingredient) आवश्यक है। इसके बजाय शेफ से यह पूछने के कि "कौन सा घटक सबसे अच्छा है?", आप गुप्त रूप से एक-एक करके एक घटक हटाते हैं और देखते हैं कि क्या सूप का स्वाद बदल जाता है।
- यदि आप "नमक" हटाते हैं और सूप फीका हो जाता है, तो आप जानते हैं कि नमक महत्वपूर्ण था।
- यदि आप "एक रैंडम गार्निश" हटाते हैं और सूप का स्वाद वैसा ही रहता है, तो वह गार्निश मायने नहीं रखता था।
शोध पत्र में, वे C-LIME नामक एक टूल का उपयोग करते हैं। वे लाइब्रेरी द्वारा खोजे गए 10 दस्तावेजों को लेते हैं, उन्हें एक-एक करके हटाते हैं, और देखते हैं कि AI का उत्तर कितना बदल जाता है।
- यदि उत्तर बहुत अधिक बदल जाता है, तो वह दस्तावेज़ महत्वपूर्ण था (उच्च एट्रिब्यूशन स्कोर)।
- यदि उत्तर वैसा ही रहता है, तो वह दस्तावेज़ अनुपयोगी था (निम्न एट्रिब्यूशन स्कोर)।
जादुई कदम: री-रैंकर को सिखाना
वे फिर एक हल्के वजन वाले "री-रैंकर" AI को इन "प्रतिक्रिया स्कोर" (reaction scores) की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं। वे इसे सिखाते हैं: "केवल समान शब्दों को न देखें; उन पैराग्राफों को देखें जिन्हें यदि हटाया गया, तो वे AI के उत्तर को तोड़ देंगे।"
एक बार प्रशिक्षित होने के बाद, यह नया री-रैंकर एक स्मार्ट लाइब्रेरियन की तरह काम करता है। यह दस्तावेजों की प्रारंभिक सूची में से उन दस्तावेजों को अनदेखा करता है जो केवल कीवर्ड मैच हैं, और उन्हें बढ़ावा देता है जो वास्तव में AI का विचार बदलते हैं।
परिणाम: बेहतर उद्धरण, कम अनुमान
जब उन्होंने इस कानूनी बेंचमार्क पर इसका परीक्षण किया:
- अधिक निष्ठावान उद्धरण: AI अब बहुत अधिक बार सही पैराग्राफों का उल्लेख करने लगा। इसने स्रोतों को मनगढ़ंत बनाना बंद कर दिया।
- बेहतर संरेखण (Alignment): उनके उत्तर उन चीज़ों से मेल खाते थे जिनका मानव कानूनी विशेषज्ञों ने उद्धरण दिया होता।
- "शोर" (Noise) फ़िल्टर: दिलचस्प बात यह है कि उन्होंने दो अलग-अलग री-रैंकर्स को प्रशिक्षित किया (एक एक AI मॉडल के लिए, एक दूसरे के लिए)। भले ही दोनों AI मॉडल अलग-अलग थे, दोनों री-रैंकर्स एक-दूसरे के साथ बहुत मजबूती से सहमत होने के लिए सीख गए। यह सुझाव देता है कि री-रैंकर ने एक "सार्वभौमिक सत्य" सीख लिया है कि क्या एक दस्तावेज़ को उपयोगी बनाता है, जो प्रत्येक व्यक्तिगत AI मॉडल की विशिष्ट खामियों (शोर) को फ़िल्टर कर देता है।
संक्षेप में
यह शोध पत्र दिखाता है कि केवल कीवर्ड मिलाने वाली लाइब्रेरी प्रणाली पर भरोसा करने के बजाय, या एक ऐसे AI पर भरोसा करने के बजाय जो झूठ बोलता है कि उसने क्या पढ़ा, हमें एक स्मार्ट फ़िल्टर को प्रशिक्षित करना चाहिए जो देखता है कि वास्तव में AI के आउटपुट को क्या बदलता है। ऐसा करके, हम AI को सही साक्ष्य पर निर्भर रहने के लिए मजबूर कर सकते हैं, जिससे कानूनी उत्तर बहुत अधिक विश्वसनीय और सटीक हो जाते हैं।
नोट: शोध पत्र ने विशेष रूप से यूरोपीय मानवाधिकार न्यायालय के डेटासेट पर परीक्षण किया और पाया कि मानक समानता खोज (similarity search) "स्वर्ण" (gold) उद्धरणों को खोजने में यादृच्छिक चयन से भी खराब प्रदर्शन करती है। समाधान एक हल्का री-रैंकर है जिसे इन "प्रतिक्रिया" स्कोर पर प्रशिक्षित किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।