Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
यह शोध पत्र प्रदर्शित करता है कि फुल-कॉर्पस इंजेक्शन को स्ट्रक्चर्ड रिट्रीवल विधियों, विशेष रूप से एक कॉम्पैक्ट इंडेक्स (NAVINDEX) पर LLM नेविगेशन के साथ बदलने से, ट्रांसेक्शनल लीगल डॉक्यूमेंट बेंचमार्क पर बेसलाइन इंजेक्शन के समान सटीकता प्राप्त होती है, जबकि टोकन खपत, कॉन्टेक्स्ट साइज और परिचालन लागत में उल्लेखनीय कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वकील हैं जो एक जटिल पहेली को सुलझाने की कोशिश कर रहे हैं। आपके पास कानूनी दस्तावेजों (अनुबंधों, संशोधनों, साइड लेटर्स) का एक विशाल ढेर है और आपके पास एक बहुत ही स्मार्ट लेकिन महंगी सहायक (एक AI) है जो इन दस्तावेजों को पढ़ सकती है।
प्रश्न यह है: इन दस्तावेजों को AI को देने का सबसे अच्छा तरीका क्या है ताकि वह बिना पैसा या समय बर्बाद किए आपके सवालों के सटीक उत्तर दे सके?
यहाँ तीन तरीकों का विवरण दिया गया जिनका परीक्षण किया गया था, जिन्हें रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।
समस्या: "पूरी लाइब्रेरी" वाला दृष्टिकोण
आधार रेखा (Inject):
कल्पना कीजिए कि आपके पास किसी अनुबंध की एक विशिष्ट क्लॉज (clause) के बारे में प्रश्न है। इसका उत्तर देने का सबसे सरल तरीका यह है कि आप हर बार सवाल पूछने पर AI को दस्तावेजों की पूरी लाइब्रेरी सौंप दें।
- फायदे: AI सब कुछ देख सकता है, इसलिए वह कुछ भी मिस नहीं कर सकता।
- नुकसान: यह बेहद महंगा और धीमा है। यह एक लाइब्रेरियन को केवल इसलिए पूरी 500 किताबें पढ़ने के लिए काम पर रखने जैसा है ताकि वह आपको बुक नंबर 42 के पेज 12 पर मौजूद एक वस्तु की कीमत बता सके। साथ भी, यदि लाइब्रेरी बहुत बड़ी हो जाती है, तो AI "भ्रमित" हो जाता है और कहानी के बीच के हिस्सों को भूल जाता है।
दावेदार: खोजने के दो स्मार्ट तरीके
शोधकर्ताओं ने दो "स्मार्ट रिट्रीवल" (smart retrieval) विधियों का परीक्षण किया जो AI को दिखाने से पहले केवल प्रासंगिक पृष्ठों को खोजने का प्रयास करती हैं।
1. "सिमेंटिक सर्च" विधि (NavEmbed)
उदाहरण: कीवर्ड इंडेक्स (Keyword Index)।
पूरी किताब पढ़ने के बजाय, AI आपके प्रश्न को देखता है, शब्दों के अर्थ को समझता है, और एक डिजिटल इंडेक्स में खोज करता है ताकि 10 सबसे मिलते-जुलते पैराग्राफ ढूंढ सके।
- यह कैसे काम करता है: यह "वेक्टर्स" (अर्थ के गणितीय प्रतिनिधित्व) का उपयोग करता है ताकि यह अनुमान लगाया जा सके कि कौन से पृष्ठ प्रासंगिक हैं।
- परिणाम: यह तरीका पैसा बचाने में बहुत अच्छा था। इसने "पूरी लाइब्रेरी" पद्धति की तुलना में उस टेक्स्ट की मात्रा को 17 से 30 गुना कम कर दिया जिसे AI को पढ़ना था।
- चुनौती: कभी-कभी, कानूनी दस्तावेज विशिष्ट संरचनाओं पर निर्भर करते हैं (जैसे "सेक्शन A, सेक्शन B को संदर्भित करता है")। शुद्ध अर्थ-मिलान (meaning-matching) कभी-कभी इन संरचनात्मक कड़ियों को मिस कर देता है, जिससे कुछ उत्तर छूट जाते हैं।
2. "स्ट्रक्चर्ड नेविगेशन" विधि (NavIndex)
उदाहरण: विषय सूची के साथ एक मानचित्र (Table of Contents with a Map)।
यह तरीका केवल अर्थ के आधार पर अनुमान नहीं लगाता है। यह दस्तावेजों का एक विशेष मानचित्र बनाता है जो स्पष्ट रूप से नोट करता है: "यह पैराग्राफ एक शब्द को परिभाषित करता है," "यह क्लॉज उस शेड्यूल को संदर्भित करता है," और "यह संशोधन मूल दस्तावेज़ को ओवरराइड करता है।"
- यह कैसे काम करता है: AI इस संक्षिप्त मानचित्र (जो पूर्ण टेक्स्ट की तुलना में बहुत छोटा है) को स्कैन करता है, सही "नोड" (पेज) चुनता है, और फिर केवल उस विशिष्ट पेज और उन पेजों को निकालता है जिन्हें वह स्पष्ट रूप से लिंक करता है।
- परिणाम: यह विजेता रहा। इसने सटीकता के मामले में "पूरी लाइब्रेरी" पद्धति के साथ पूरी तरह से मेल खाया (18/18 सवालों के सही उत्तर दिए) लेकिन इसकी लागत 25% कम थी और इसने उत्तर तैयार करने के लिए AI को 56 गुना कम टेक्स्ट पढ़ने की आवश्यकता पड़ी।
"क्रॉसओवर" नियम: कब किसका उपयोग करें?
शोधकर्ताओं ने लागत के लिए एक गणितीय टिपिंग पॉइंट खोजा, जिसे वे कैशिंग क्रॉसओवर (Caching Crossover) कहते हैं।
- नियम: यदि आपका दस्तावेज़ स्टैक छोटा है (विशिष्ट उत्तर के आकार से लगभग 10 गुना से कम), तो वास्तव में पूरे स्टैक को हर बार AI की मेमोरी में डाल देना अधिक सस्ता है, क्योंकि कैश किए गए टेक्स्ट को दोबारा पढ़ने के लिए मिलने वाला "डिस्काउंट" इसे सस्ता बनाता है।
- वास्तविकता: कानूनी सौदे आमतौर पर बहुत बड़े होते हैं। एक बार जब दस्तावेज़ उस सीमा से बड़े हो जाते हैं, तो "पूरी लाइब्रेरी" वाला तरीका पैसे की बर्बादी बन जाता है।
- निर्णय: छोटे, एक बार के कार्यों के लिए, पूरा स्टैक डाल दें। बड़े, जटिल कानूनी सौदों के लिए, "स्ट्रक्चर्ड नेविगेशन" (NavIndex) विधि का उपयोग करें।
मुख्य निष्कर्ष (सीखे गए सबक)
- लालची न बनें: AI को अधिकतम 10 प्रासंगिक पृष्ठों तक सीमित करने से बिना सटीकता को नुकसान पहुँचाए पैसे की बचत हुई।
- कीवर्ड्स से बेहतर स्ट्रक्चर है: मानक कीवर्ड सर्च (जैसे गूगल) को अर्थ-सर्च (meaning-search) के साथ मिलाने से चीजें वास्तव में और खराब और महंगी हो गईं क्योंकि इसने बहुत अधिक अप्रासंगिक टेक्स्ट खींच लिया।
- सबसे महत्वपूर्ण क्या है: इससे कोई फर्क नहीं पड़ता कि उन्होंने कौन सा "सर्च इंजन" (एम्बेडिंग मॉडल) इस्तेमाल किया; जो मायने रखता था वह था कि सर्च परिणामों के साथ क्या जानकारी जुड़ी हुई थी। AI को दस्तावेज़ की संरचना का मानचित्र देना, सर्च एल्गोरिदम से कहीं अधिक महत्वपूर्ण था।
सारांश
यह शोध पत्र सिद्ध करता है कि जटिल कानूनी दस्तावेजों के विश्लेषण के लिए, आपको AI को पूरी किताब खिलाने की आवश्यकता नहीं है। दस्तावेजों का एक स्मार्ट, स्ट्रक्चर्ड मानचित्र बनाकर और AI को उस मानचित्र पर नेविगेट करने देकर, आप पूर्ण सटीकता प्राप्त कर सकते हैं जबकि आप काफी कम भुगतान करते हैं और बहुत कम डेटा प्रोसेस करते हैं।
- छोटे दस्तावेज़: पूरी चीज़ डाल दें (यह काफी सस्ता है)।
- बड़े दस्तावेज़: पैसा बचाने और AI को केंद्रित रखने के लिए स्मार्ट मानचित्र (NavIndex) का उपयोग करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।