Multi-Step Semantic Reasoning in Generative Retrieval
यह शोध पत्र ReasonGR प्रस्तुत करता है, जो एक ऐसा ढांचा है जो संरचित प्रॉम्प्टिंग और एक तर्क-केंद्रित अनुकूलन मॉड्यूल का उपयोग करके जनरेटिव रिट्रीवल मॉडल्स की जटिल संख्यात्मक और अर्थ संबंधी तर्क कार्यों, जैसे कि वित्तीय प्रश्नों, को संभालने की क्षमता को बढ़ाता है ताकि रिट्रीवल सटीकता में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप वित्तीय रिपोर्टों के एक विशाल, धूल भरे पुस्तकालय में एक विशिष्ट पृष्ठ खोजने की कोशिश कर रहे हैं। आप केवल कीवर्ड मैच नहीं चाहते; आप एक पहेली को हल करना चाहते हैं। उदाहरण के लिए, आप पूछ सकते हैं, "किस कंपनी की 2023 की रिपोर्ट दिखाती है कि प्रतिस्पर्धी को खरीदने के बाद उनका लाभ 15% बढ़ गया?"
इसे करने के लिए, एक मानव लाइब्रेरियन केवल "लाभ" या "15%" शब्दों को नहीं खोजेगा। उन्हें यह करना होगा:
- सही रिपोर्ट ढूँढना।
- नंबरों को पढ़ना।
- अपने दिमाग में थोड़ा गणित करना।
- विभिन्न अनुभागों के बीच संबंध जोड़ना।
- और अंत में, सटीक किताब निकालकर कहना, "यह रही।"
जेनेरेटिव रिट्रीवल (GR) एक नए प्रकार का AI लाइब्रेरियन है जो यह करने की कोशिश करता है। एक विशाल इंडेक्स कार्ड कैटलॉग खोजने के बजाय (पारंपरिक सर्च इंजन की तरह), यह पूरे पुस्तकालय को अपने मस्तिष्क (अपने पैरामीटर्स) के भीतर याद कर लेता है। जब आप कोई प्रश्न पूछते हैं, तो यह किसी कार्ड को नहीं ढूँढता; यह उस पुस्तक का सटीक ID नंबर खुद "कल्पना" (dream up) कर लेता है जिसकी आपको आवश्यकता है।
समस्या: "ब्लैक बॉक्स" लाइब्रेरियन
वर्तमान AI लाइब्रेरियन के साथ समस्या यह है कि वे बहुत तेज़ और बहुत आलसी हैं। जब उनके सामने वित्तीय रिपोर्ट में एक जटिल गणितीय पहेली आती है, तो वे एक ही बड़ी छलांग में उत्तर का अनुमान लगाने की कोशिश करते हैं। वे सोचने के चरणों को छोड़ देते हैं। यह एक छात्र को जटिल बीजगणित (algebra) की समस्या हल करने के लिए कहने और उसे केवल अंतिम उत्तर देने जैसा है, बिना उसे अपना काम दिखाने देने के। वे अक्सर गलत हो जाते हैं क्योंकि वे संख्याओं और तर्क के लिए आवश्यक "बहु-चरणीय" (multi-step) तर्क को संभालने में सक्षम नहीं होते हैं।
समाधान: ReasonGR
इस पेपर के लेखक, स्टीवन डोंग और उनकी टीम ने ReasonGR नामक एक नया सिस्टम बनाया है। इसे एक ट्यूटर को नियुक्त करने के रूपया समझें जो AI लाइब्रेरियन को बोलने से पहले सोचना सिखाता है।
यहाँ बताया गया है कि ReasonGR कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "चरण-दर-चरण" चीट शीट (प्रॉम्प्टिंग)
कल्पना कीजिए कि आप एक कठिन परीक्षा दे रहे हैं। आपको अंतिम उत्तर पर गोला लगाने से पहले अपने विचार लिखने की अनुमति है।
- पुराना तरीका: AI प्रश्न देखता है और तुरंत एक उत्तर चिल्ला देता है।
- ReasonGR का तरीका: AI को एक विशेष निर्देश दिया जाता है: "रुको! चरण-दर-चरण सोचो। पहले, लाभ के नंबर ढूँढो। दूसरा, विकास (growth) की गणना करो। तीसरा, इसे कंपनी के साथ मिलाओ।"
यह AI को रुकने, समस्या को तोड़ने और अंतिम दस्तावेज़ ID उत्पन्न करने से पहले तर्क के माध्यम से सोचने के लिए मजबूर करता है। यह AI को "चेन ऑफ थॉट" (Chain of Thought) के ट्रेनिंग व्हील्स देने जैसा है।
2. "विशेष चश्मे" (LoRA एडैप्टर्स)
एक विशाल AI मॉडल को शुरू से प्रशिक्षित करना एक पूरी कार के इंजन को ठीक करने के लिए उसे फिर से बनाने जैसा है। यह महंगा और धीमा है।
- चाल: शोधकर्ताओं ने AI पर "विशेष चश्मे" (जिन्हें LoRA एडैप्टर्स कहा जाता है) लगा दिए। ये छोटे, हल्के एड-ऑन हैं जो AI को तर्क संबंधी समस्याओं को स्पष्ट रूप से देखना सिखाते हैं।
- AI का मुख्य मस्तिष्क स्थिर (frozen) रहता है (यह अपना सारा सामान्य ज्ञान बनाए रखता है), लेकिन ये छोटे चश्मे इसे भारी मात्रा में मेमोरी या समय की आवश्यकता के बिना "वित्तीय गणित तर्क" का विशिष्ट कौशल सीखने की अनुमति देते हैं। यह एक सामान्य डॉक्टर को हार्ट सर्जरी के लिए एक विशेष स्टेथोस्कोप देने जैसा है।
3. "सख्त ग्रेडर" (एडैप्टिव लॉस)
जब AI अभ्यास करता है, तो उसे फीडबैक की आवश्यकता होती है।
- पुराना ग्रेडर: "गलत। फिर से प्रयास करें।"
- ReasonGR ग्रेडर: "आपने कंपनी का नाम सही बताया, लेकिन वर्ष एक साल पीछे है। आपने दशमलव बिंदु भी मिस कर दिया। यहाँ एक पेनल्टी स्कोर है जो दर्शाता है कि आप कितने करीब थे।"
यह AI को केवल उसकी बड़ी विफलताओं से ही नहीं, बल्कि उसकी छोटी गलतियों से भी सीखने में मदद करता है।
परिणाम: क्या यह काम आया?
टीम ने इसका परीक्षण FinQA डेटासेट पर किया, जो मूल रूप से जटिल गणितीय प्रश्नों वाले वित्तीय रिपोर्टों का एक विशाल ढेर है।
- प्रतिस्पर्धा: उन्होंने ReasonGR की तुलना एक पारंपरिक सर्च इंजन (BM25) और एक मानक AI रिट्रीवर (DSI) से की।
- विजेता: ReasonGR स्पष्ट विजेता था। इसने न केवल सही दस्तावेज़ अधिक बार खोजे; बल्कि यह सटीक विवरण (जैसे सही वर्ष या कंपनी का नाम) प्राप्त करने में भी बहुत बेहतर था।
- दक्षता: भले ही यह अधिक गहराई से सोच रहा था, लेकिन इसने कंप्यूटर को क्रैश नहीं किया। उन "विशेष चश्मों" (LoRA) के कारण, इसने आपकी अपेक्षा से कम मेमोरी का उपयोग किया और तेजी से प्रशिक्षण लिया।
निचोड़
यह पेपर दिखाता है कि यदि आप चाहते हैं कि कोई AI जटिल, संख्या-प्रधान दस्तावेजों (जैसे वित्तीय रिपोर्ट) में जानकारी खोजने में कुशल हो, तो आप इसे केवल अनुमान लगाने के लिए नहीं छोड़ सकते। आपको इसे धीरे होने, चरण-दर-चरण सोचने और एक विशेष कोच के साथ अभ्यास करने के लिए प्रशिक्षित करना होगा।
ReasonGR साबित करता है कि "बोलकर सोचने" (Chain-of-Thought) को कुशल प्रशिक्षण उपकरणों के साथ जोड़कर, हम ऐसे AI सर्च इंजन बना सकते हैं जो केवल आसान कीवर्ड मैच ही नहीं, बल्कि कठिन चीजों को भी संभालने के लिए स्मार्ट हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।