Detection and Interpretability Analysis of Quotation Errors by Large Language Models
यह शोध पत्र पूर्ण-पाठ डेटा एकीकरण के माध्यम से उन्नत फाइन-ट्यून्ड लार्ज लैंग्वेज मॉडल्स का उपयोग करके उद्धरण त्रुटियों का पता लगाने के लिए एक स्वचालित ढांचे का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि स्रोत सारांशों को शामिल करने से इष्टतम प्रदर्शन प्राप्त होता है और साथ ही मॉडल के भविष्यवाणियों का व्याख्यात्मक विश्लेषण भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप वैज्ञानिक ज्ञान के एक विशाल, हलचल भरे पुस्तकालय में एक लाइब्रेरियन हैं। हर दिन, विद्वान नई किताबें (शोध पत्र) लिखते हैं और अपने दावों को पुख्ता करने के लिए पुरानी किताबों (उद्धरण/साइटेशन) की ओर इशारा करते हैं। आमतौर पर, वे कहते हैं, "जैसा कि लेखक X ने अपनी किताब में कहा था, आकाश नीला है।"
लेकिन कभी-कभी, कोई विद्वान गलत हो जाता है। शायद वे कहते हैं, "लेखक X ने कहा कि आकाश हरा है," भले ही लेखक X ने ऐसा कभी नहीं कहा हो। या शायद वे कहते हैं कि लेखक X ने कुछ सिद्ध किया, लेकिन लेखक X ने वास्तव में इसके ठीक विपरीत कहा था। यह एक "उद्धरण त्रुटि" (quotation error) है। यह "टेलीफोन" के खेल जैसा है जहाँ संदेश विकृत हो जाता है, जिससे शैक्षणिक दुनिया में भ्रम और अनुचित निर्णय पैदा होते हैं।
समस्या यह है कि हर उद्धरण की मैन्युअल रूप से जांच करने के लिए बहुत अधिक किताबें और बहुत अधिक विद्वान हैं। इसमें बहुत समय लगेगा! इसलिए, इस शोध पत्र के लेखकों ने पूछा: क्या हम एक सुपर-स्मार्ट कंप्यूटर (एक लार्ज लैंग्वेज मॉडल या LLM) को इन झूठों और गलतियों को स्वचालित रूप से पकड़ने के लिए सिखा सकते हैं?
उन्होंने इसे कैसे करने की कोशिश की, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
1. "स्कूली शिक्षा" (Schooling) बनाम "मैनुअल पढ़ने" (Reading the Manual) का दृष्टिकोण
शोधकर्ताओं ने कंप्यूटर को सिखाने के दो तरीके आजमाए:
- "मैनुअल पढ़ने" का दृष्टिकोण (प्रॉम्प्टिंग): उन्होंने कंप्यूटर को एक विशिष्ट निर्देश (प्रॉम्प्ट) दिया जैसे, "यहाँ एक उद्धरण और मूल पुस्तक है। मुझे बताओ कि क्या उद्धरण सही है।" उन्होंने इसे कंप्यूटर के विभिन्न संस्करणों के साथ आजमाया, यह देखते हुए कि क्या वह केवल निर्देशों को पढ़कर इस समस्या को हल कर सकता है।
- "स्कूली शिक्षा" का दृष्टिकोण (फाइन-ट्यूनिंग): केवल निर्देश देने के बजाय, उन्होंने एक पूर्व-प्रशिक्षित कंप्यूटर को एक विशेष "बूट कैंप" (फाइन-ट्यूनिंग) दिया। उन्होंने इसे सही और गलत उद्धरणों के हजारों उदाहरण दिए ताकि यह पैटर्न को गहराई से सीख सके, और अपने आंतरिक "मस्तिष्क" को इस विशिष्ट कार्य में विशेषज्ञ बनने के लिए समायोजित कर सके।
परिणाम: "स्कूली शिक्षा" वाला दृष्टिकोण बहुत बेहतर रहा। यह एक ऐसे छात्र को लेने जैसा था जो पढ़ना जानता है और फिर उसे एक विशेष परीक्षा तैयारी कोर्स दिया जाता है; वे अचानक केवल निर्देशों को पढ़ने की तुलना में विशिष्ट त्रुटियों को पहचानने में बहुत बेहतर हो गए।
2. "सार" (Abstract) बनाम "पूरी पुस्तक" (Full Book) की दुविधा
एक उद्धरण की जांच करते समय, क्या आपको पूरी किताब पढ़ने की आवश्यकता है, या सारांश (Abstract) पर्याप्त है?
- सार (Abstract): यह एक किताब के पिछले कवर को पढ़ने जैसा है। यह मुख्य विचार देता है।
- पूर्ण पाठ (Full Text): यह हर एक अध्याय को पढ़ने जैसा है।
शोधकर्ताओं ने कंप्यूटर को "पूर्ण पाठ" खिलाने के तीन तरीके आजमाए:
- "प्रासंगिक अंश" (Relevant Snippet) विधि: उन्होंने पूरी किताब को स्कैन किया और केवल उन 10 वाक्यों को चुना जो उद्धरण जैसे लग रहे थे।
- "स्रोत सारांश" (Source Summary) विधि: उन्होंने पूरी किताब को स्कैन किया और उन 10 वाक्यों को चुना जो किताब के सारांश (Abstract) जैसे लग रहे थे।
- "डंप" (Dump) विधि: उन्होंने बस पूरी किताब को कंप्यूटर की मेमोरी में डाल दिया।
परिणाम: आश्चर्यजनक रूप से, "स्रोत सारांश" विधि सबसे अच्छा काम करती थी। यह किताब के मुख्य विषय से मेल खाने वाले प्रासंगिक वाक्यों के लिए एक आदर्श "चीट शीट" खोजने जैसा था। पूरी किताब को बस डंप कर देना (बहुत अधिक जानकारी) या यादृच्छिक अंश चुनना, किताब के मूल संदेश को दर्शाने वाले वाक्यों को चुनने जितना प्रभावी नहीं था।
3. उत्तर के पीछे का "क्यों" (Interpretability)
जब कंप्यूटर कहता है, "यह उद्धरण गलत है," तो हमें जानना होगा कि क्यों। क्या इसने अनुमान लगाया? क्या इसने किसी विशिष्ट शब्द को देखा?
शोधकर्ताओं ने TokenSHAP नामक एक उपकरण का उपयोग किया। इसे कंप्यूटर के मस्तिष्क के लिए एक हाईलाइटर पेन समझें।
- यह उद्धरण और मूल पाठ के प्रत्येक शब्द (टोकन) को देखता है।
- यह शब्दों को लाल रंग में हाइलाइट करता है यदि उन्होंने कंप्यूटर को यह तय करने में मदद की कि उद्धरण गलत था।
- यह शब्दों को नीले रंग में हाइलाइट करता है यदि उन्होंने कंप्यूटर को यह सोचने में मदद की कि उद्धरण सही था (या उसे भ्रमित किया)।
परिणाम: इससे पता चला कि "स्कूली शिक्षा" (फाइन-ट्यूनed) वाला कंप्यूटर वास्तव में सही चीजों को देख रहा था। इसने सूक्ष्म विरोधाभासों (जैसे "बढ़ता है" बनाम "घटता है") को नोटिस किया जिन्हें अप्रशिक्षित कंप्यूटर मिस कर गया था। अप्रशिक्षित कंप्यूटर अक्सर केवल समान शब्दों (जैसे "आकाश" और "नीला") को देखता था और "सत्य" का अनुमान लगा लेता था, जबकि प्रशिक्षित कंप्यूटर ने देखा कि तर्क टूटा हुआ था।
4. जहाँ कंप्यूटर अभी भी लड़खड़ाता है
"स्कूली शिक्षा" के बावजूद, कंप्यूटर पूर्ण नहीं है। शोधकर्ताओं ने पाया कि इसके गलत होने के चार मुख्य कारण हैं:
- पृष्ठभूमि ज्ञान की कमी: यदि कोई उद्धरण ऐसे तथ्य पर निर्भर करता है जिसे सभी जानते हैं (जैसे "यूके की जनसंख्या एक निश्चित आकार की है") लेकिन किताब में इसे स्पष्ट रूप से नहीं बताया गया है, तो कंप्यूटर भ्रमित हो जाता है।
- गणित की समस्या: यदि कोई उद्धरण इकाइयों को बदल देता है (जैसे "75 nmol" बनाम "75 micromol"), तो कंप्यूटर कभी-कभी अंतर को पकड़ने में चूक जाता है।
- बड़ी बनाम छोटी संख्याएँ: यह कभी-कभी "सबसे बड़ी वृद्धि" और "सबसे बड़ी कुल संख्या" के बीच भ्रमित हो जाता है।
- शर्तों की कमी: यह वाक्य में एक छोटे से "यदि" या "केवल" को मिस कर सकता है जो पूरे अर्थ को बदल देता है।
निष्कर्ष
यह शोध पत्र अनिवार्य रूप से विज्ञान के लिए एक बेहतर "कोट पुलिस" (Quote Police) बनाने पर एक मार्गदर्शिका है। उन्होंने पाया कि:
- AI को विशेष रूप से प्रशिक्षित करना केवल उससे विनम्रतापूर्वक पूछने की तुलना में बेहतर काम करता है।
- इसे पूर्ण पाठ के सही हिस्सों को खिलाना (विशेष रूप से वे वाक्य जो किताब के मुख्य विषय से मेल खाते हैं) इसे केवल सारांश या पूरी किताब पढ़ने की तुलना में सच्चाई को बेहतर ढंग से देखने में मदद करता है।
- हम देख सकते हैं कि AI निर्णय क्यों लेता है, जो हमें इस पर भरोसा करने और इसकी गलतियों को सुधारने में मदद करता है।
लक्ष्य मानव विद्वानों को बदलना नहीं है, बल्कि उन्हें "टेलीफोन गेम" की त्रुटियों को शैक्षणिक समुदाय में फैलने से पहले पकड़ने के लिए एक शक्तिशाली उपकरण देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।