Pretraining Language Models on Historical Text
यह शोध पत्र TypewriterLM का परिचय देता है, जो विशेष रूप से 1913 से पूर्व के अंग्रेजी ग्रंथों पर प्रशिक्षित एक 7.24B भाषा मॉडल है, साथ ही इसके साथ जुड़े 54B-टोकन वाले TypewriterCorpus, शाब्दिक रूप से आधारित (lexically grounded) पोस्ट-ट्रेनिंग डेटासेट और 'History-Event' बेंचमार्क को ऐतिहासिक भाषा मॉडलों के लिए डेटा गुणवत्ता, टेम्पोरल लीकेज (temporal leakage) और मूल्यांकन की चुनौतियों को संबोधित करने हेतु प्रस्तुत किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक समय यात्री (time traveler) को यह सिखाने की कोशिश कर रहे हैं कि 1912 में रहने वाले व्यक्ति की तरह बिल्कुल सटीक रूप से कैसे बोला और सोचा जाए। यदि आप उसे कोई आधुनिक पाठ्यपुस्तक देते हैं या इंटरनेट ब्राउज़ करने देते हैं, तो वह अनजाने में हवाई जहाजों, इंटरनेट और आइंस्टीन के सापेक्षता के सिद्धांतों (theories of relativity) के बारे में सीख जाएगा। फिर वह आत्मविश्वास से आपसे कह सकता है कि "कंप्यूटर" आपके बेसमेंट में रखी वे बड़ी मशीनें हैं, यह जाने बिना कि 1912 में, एक "कंप्यूटर" वास्तव में हाथ से गणित करने वाला एक व्यक्ति था।
यही वह समस्या है जिसे इस शोध पत्र के लेखक हल कर रहे हैं। उन्होंने एक विशेष AI बनाया है, जिसे TYPEWRITERLM कहा जाता है, जिसे 1913 के बाद होने वाली किसी भी चीज़ को जानने से सख्ती से रोका गया है।
इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "टाइम-कैप्सूल" लाइब्रेरी (डेटा)
इस AI को प्रशिक्षित करने के लिए, शोधकर्ता आधुनिक इंटरनेट का उपयोग नहीं कर सकते थे। इसके बजाय, उन्होंने एक विशाल डिजिटल लाइब्रेरी बनाई जिसे TYPEWRITERCORPUS कहा गया।
- स्रोत: उन्होंने 1700 से 1913 के वर्षों के पुराने ग्रंथों, संसदीय रिकॉर्ड, वैज्ञानिक शोध पत्रों और अदालती दस्तावेजों से 54 बिलियन शब्द एकत्र किए।
- सफाई: कंप्यूटर द्वारा स्कैन की गई पुरानी किताबों में अक्सर "ग्लिच" (जैसे "Digitized by Google" जैसे शब्द या आधुनिक पृष्ठ संख्याएँ) होते हैं। टीम ने सख्त पुस्तकालयाध्यक्षों (librarians) की तरह काम किया, हर एक आधुनिक अवशेष, URL या कालभ्रमित (anachronistic) नोट को हटा दिया ताकि यह सुनिश्चित हो सके कि लाइब्रेरी पूरी तरह से ऐतिहासिक है।
- परिणाम: शब्दों का एक विशाल ढेर जो दुनिया का प्रतिनिधित्व करता है जैसा कि प्रथम विश्व युद्ध से पहले था।
2. "सख्त लाइब्रेरियन" का नियम (इंस्ट्रक्शन ट्यूनिंग)
आमतौर पर, जब हम AI को निर्देश मानने के लिए सिखाते हैं, तो हम आधुनिक उदाहरणों का उपयोग करते हैं या किसी बहुत बुद्धिमान आधुनिक AI से उत्तर लिखने के लिए कहते हैं। लेकिन इससे समय यात्री की "कालगत सटीकता" (period accuracy) खराब हो जाएगी।
इसलिए, शोधकर्ताओं ने एक नई विधि विकसित की जिसे Lexically Grounded Instruction Tuning कहा जाता है।
- उपमा: कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको केवल एक विशिष्ट पुरानी पुस्तक में पाए जाने वाले शब्दों का उपयोग करके प्रश्नों के उत्तर देने हैं। आप नए शब्द नहीं बना सकते या आधुनिक बोलचाल (slang) का उपयोग नहीं कर सकते।
- प्रक्रिया: उन्होंने दो नए डेटासेट (HISTORY-LIMA और HISTORY-SELFINSTRUCT) बनाए। AI से पूछे गए प्रत्येक प्रश्न के लिए, उत्तर सीधे 1913 के दौर के दस्तावेजों के टेक्स्ट से ही बनाया जाता है। यदि "एयरोप्लेन" (airplane) शब्द स्रोत टेक्स्ट में नहीं है, तो AI को उसका उपयोग करने की अनुमति नहीं है। यह सुनिश्चित करता है कि AI अनजाने में अपने उत्तरों में आधुनिक ज्ञान को "लीक" न कर दे।
3. "सरप्राइज टेस्ट" (मूल्यांकन)
आप कैसे जानेंगे कि AI वास्तव में भविष्य के बारे में नहीं जानता? आप इसे एक "सरप्राइज टेस्ट" के साथ परखते हैं जिसे HISTORY-EVENT कहा जाता है।
- परीक्षण: उन्होंने AI को ऐतिहासिक घटनाओं के विवरण दिखाए।
- घटना A: 1850 में हुई (कट-ऑफ से पहले)।
- घटना B: 1950 में हुई (कट-ऑफ के बाद)।
- प्रतिक्रिया: उन्होंने यह मापा कि टेक्स्ट पढ़ने पर AI कितना "हैरान" (surprised) हुआ।
- जब AI (TYPEWRITERLM) ने 1950 की घटनाओं के बारे में पढ़ा, तो वह वास्तव में भ्रमित और हैरान था, जैसे कि उसने उनके बारे में कभी सुना ही न हो।
- इसके विपरीत, एक मानक आधुनिक AI (जैसे Llama) बिल्कुल भी हैरान नहीं था; वह तथ्यों को जानता था क्योंकि उसने अपने प्रशिक्षण के दौरान उनके बारे में पढ़ा था।
- लीक चेक: उन्होंने यह भी जांचा कि क्या AI को अनजाने में उन तथ्यों का ज्ञान हुआ जो उसे नहीं पता होने चाहिए थे। उन्होंने पाया कि हालांकि AI अतीत में रहने में बहुत अच्छा था, फिर भी आधुनिक जानकारी का एक बहुत ही छोटा हिस्सा (1% से भी कम) "लीक" हुआ था, जो यह साबित करता है कि टाइम मशीन को पूरी तरह से सील रखना भी बेहद कठिन है।
4. परिणाम
- समय यात्री: परिणामी AI (TYPEWRITERLM) एक 7.24 बिलियन-पैरामीटर वाला मॉडल है जो 1913 के व्यक्ति की तरह बोलता और तर्क करता है।
- तुलना: सामान्य तर्क पहेलियों (logic puzzles) पर परीक्षण किए जाने पर, इसने अन्य ऐतिहासिक AI के मुकाबले प्रतिस्पर्धी प्रदर्शन किया, भले ही इसे आधुनिक मॉडलों की तुलना में बहुत कम डेटा पर प्रशिक्षित किया गया था।
- सबक: यह शोध पत्र सिद्ध करता है कि आप एक ऐसा स्मार्ट AI बना सकते हैं जो भविष्य के प्रति "अंधा" हो, बशर्ते आप उस डेटा के बारे में बहुत सावधान रहें जिसे आप उसे खिलाते हैं और उसे उत्तर देने के लिए कैसे सिखाते हैं।
संक्षेप में: लेखकों ने एक डिजिटल टाइम मशीन बनाई। उन्होंने इसे केवल पुरानी किताबें खिलाईं, इसे उन किताबों में पाए जाने वाले शब्दों का उपयोग करके ही प्रश्नों के उत्तर देने के लिए सिखाया, और यह साबित किया कि यह वास्तव में 1913 के बाद क्या होता है, यह नहीं जानता। यह इतिहासकारों और शोधकर्ताओं को अतीत का अध्ययन करने की अनुमति देता है बिना इस डर के कि AI आधुनिक ज्ञान के साथ कहानी का "स्पॉइलर" (spoiler) दे देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।