Adam's Law: Textual Frequency Law on Large Language Models
यह शोध पत्र "एडम का नियम" (Adam's Law) प्रस्तुत करता है, जो एक ऐसा ढांचा प्रस्तावित करता है कि पैराफ्रेसिंग (paraphrasing), डिस्टिलेशन (distillation) और करिकुलम-आधारित फाइन-ट्यूनिंग के माध्यम से बार-बार आने वाले टेक्स्ट डेटा को प्राथमिकता देना विभिन्न कार्यों में लार्ज लैंग्वेज मॉडल्स के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े सनकी छात्र (लार्ज लैंग्वेज मॉडल, या LLM) को समस्याएँ हल करना, भाषाओं का अनुवाद करना या कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आपके पास अपने पाठों के लिए चुनने के लिए किताबों का एक विशाल पुस्तकालय है।
यह शोध पत्र, जिसका शीर्षक "एडम का नियम" (Adam's Law) है, उन किताबों को चुनने के लिए एक सरल लेकिन शक्तिशाली नियम प्रस्तावित करता है: हमेशा उन वाक्यों को चुनें जो सबसे अधिक "परिचित" और "सामान्य" लगते हैं, भले ही उनका अर्थ बिल्कुल वही हो जो एक अधिक जटिल, दुर्लभ वाक्य का है।
यहाँ उनकी खोज का विवरण दिया गया है, जिसे रोजमर्रा के उपमाओं के माध्यम से समझाया गया है:
1. मुख्य विचार: "परिचितता" का नियम
कल्पना कीजिए कि आप किसी मित्र से रास्ता पूछ रहे हैं।
- विकल्प A (उच्च आवृत्ति/High Frequency): "सीधे जाओ, फिर बड़े लाल बैंक के पास बाएं मुड़ो।"
- विकल्प B (कम आवृत्ति/Low Frequency): "एक रैखिक प्रक्षेपवक्र (linear trajectory) में आगे बढ़ें, फिर प्रमुख लाल वित्तीय संस्थान पर बायां रोटेशन निष्पादित करें।"
दोनों वाक्यों का अर्थ बिल्कुल एक ही है। हालाँकि, आपके मित्र (AI) ने विकल्प A को अपने जीवन में लाखों बार सुना है। उन्होंने विकल्प B को शायद एक या दो बार ही सुना होगा।
शोध पत्र की खोज: जब आप AI को विकल्प A देते हैं, तो वह इसे तुरंत समझ जाता है और बेहतर उत्तर देता है। जब आप उसे विकल्प B देते हैं, तो वह थोड़ा भ्रमित हो जाता या लड़खड़ा जाता है, भले ही अर्थ समान हो।
लेखक इसे टेक्स्टुअल फ्रीक्वेंसी लॉ (TFL) कहते हैं: यदि आप चाहते हैं कि AI बेहतर काम करे, तो उसे चीजों को कहने के सबसे सामान्य, रोजमर्रा के तरीके से फीड करें, न कि फैंसी, दुर्लभ तरीके से।
2. तीन-चरणीय टूलकिट (Three-Step Toolkit)
लेखकों ने केवल यह नहीं कहा कि "सामान्य शब्दों का उपयोग करें।" उन्होंने इसे साकार करने के लिए एक तीन-चरणीय प्रणाली बनाई:
चरण 1: "लोकप्रियता मीटर" (टेक्स्टुअल फ्रीक्वेंसी लॉ)
चूंकि हम AI के मस्तिष्क के अंदर झाँककर यह नहीं देख सकते कि उसने प्रशिक्षण के दौरान कौन सी किताबें पढ़ी हैं (क्योंकि कई गुप्त होती हैं), इसलिए लेखकों ने एक "लोकप्रियता मीटर" बनाया।
- उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि कौन से गाने हिट हैं। आप दुनिया के हर रेडियो स्टेशन को नहीं सुन सकते, इसलिए आप यह देखने के लिए कि क्या ट्रेंड कर रहा है, एक सार्वजनिक चार्ट (ऑनलाइन डेटा) देखते हैं।
- क्रिया: वे यह अनुमान लगाने के लिए इंटरनेट को स्कैन करते हैं कि एक विशिष्ट वाक्य कितनी बार दिखाई देता है। यदि कोई वाक्य दुर्लभ है, तो वे जानते हैं कि AI उसके साथ संघर्ष कर सकता है।
चरण 2: "रीराइट मशीन" (टेक्स्टुअल फ्रीक्वेंसी डिस्टिलेशन)
कभी-कभी, "लोकप्रियता मीटर" एकदम सही नहीं होता क्योंकि AI ने ऐसी गुप्त किताबें भी पढ़ी हो सकती हैं जिनके बारे में हमें नहीं पता। इसलिए, उन्होंने एक "रीराइट मशीन" बनाई।
- उपमा: कल्पना कीजिए कि आपके पास एक रहस्यमयी उपन्यास है, लेकिन आप उसका अंत नहीं जानते। आप AI से कहानी पूरी करने के लिए कहते हैं। यदि AI कहानी को आसानी से पूरा कर देता है, तो इसका मतलब है कि कहानी की शैली उसके लिए परिचित है। यदि वह संघर्ष करता है, तो इसका मतलब है कि शैली उसके लिए अजीब है।
- क्रिया: वे अपने डेटा के आधार पर कहानियों को पूरा करने के लिए AI से कहते हैं। यदि AI आसानी से बहुत सारा टेक्स्ट जेनरेट करता है, तो यह पुष्टि करता है कि इनपुट शैली "उच्च आवृत्ति" (परिचित) वाली है। यह उन्हें अपने "लोकप्रियता मीटर" को और भी सटीक बनाने में मदद करता है।
चरण 3: "पाठ्यक्रम" (करिकुलम टेक्स्टुअल फ्रीक्वेंसी ट्रेनिंग)
अब जब वे जानते हैं कि कौन से वाक्य परिचित हैं और कौन से दुर्लभ, तो वे AI को कैसे सिखाते हैं, इसे बदलते हैं।
- उपमा: पियानो बजाना सीखने के बारे में सोचें। आप एक कठिन संगीत रचना (दुर्लभ, जटिल संगीत) से शुरुआत नहीं करते। आप "ट्विंकल, ट्विंकल, लिटिल स्टार" (सामान्य, सरल संगीत) से शुरुआत करते हैं। एक बार जब आप इसमें महारत हासिल कर लेते हैं, तो आप कठिन टुकड़ों की ओर बढ़ते हैं।
- क्रिया: AI को प्रशिक्षण के दौरान यादृच्छिक (random) वाक्य फेंकने के बजाय, वे उसे क्रम में सिखाते हैं: सबसे सामान्य, परिचित वाक्यों के साथ शुरू करें। एक बार जब AI सहज हो जाता है, तो वे धीरे-धीरे कम सामान्य वाक्यों को पेश करते हैं। यह AI के मस्तिष्क के लिए एक "जिम रूटीन" की तरह है, जो धीरे-धीरे ताकत बनाता है।
3. परिणाम: क्या यह काम करता है?
लेखकों ने चार अलग-अलग "खेलों" के लिए इसका परीक्षण किया:
- गणित: शब्द समस्याओं को हल करना।
- अनुवाद: अंग्रेजी को अन्य भाषाओं में बदलना।
- सामान्य ज्ञान: "टमाटर एक फल है या सब्जी?" जैसे प्रश्नों के उत्तर देना।
- टूल का उपयोग: कैलकुलेटर या सर्च इंजन का उपयोग करने के लिए AI से कहना।
फैसला: लगभग हर मामले में, AI ने "उच्च आवृत्ति" (सामान्य) वाक्यों को खिलाने पर काफी बेहतर प्रदर्शन किया।
- अनुवाद: इसने कम गलतियाँ कीं और अधिक स्वाभाविक लगा।
- गणित: इसने अधिक समस्याओं को सही ढंग से हल किया।
- तर्क (Reasoning): इसने अधिक स्पष्ट रूप से सोचा।
यह क्यों होता है?
AI को एक विशाल पैटर्न-मैचिंग मशीन के रूप में सोचें। इसने अरबों वाक्य पढ़े हैं। जब यह ऐसे वाक्य देखता है जो उन अरबों वाक्यों जैसा दिखता है जो इसने पहले देखे हैं, तो इसे "अपनापन" महसूस होता है। यह रास्ता जानता है।
जब यह दुर्लभ, फैंसी शब्दों वाले वाक्य देखता है (कम आवृत्ति), तो इसे ऐसा लगता है जैसे यह ऐसे रास्ते पर चल रहा है जिसे इसने पहले कभी नहीं देखा। यह घबरा जाता है, बहुत अधिक सोचने लगता है और गलतियाँ करता है।
निष्कर्ष (The Takeaway)
यह शोध पत्र हमें सिखाता है कि सरलता और परिचितता AI के लिए सुपरपावर हैं।
यदि आप चाहते हैं कि AI एक शानदार काम करे, तो कवि या प्रोफेसर बनने की कोशिश न करें। एक सामान्य व्यक्ति की तरह सामान्य शब्दों का उपयोग करके बोलें। यदि आप एक AI को प्रशिक्षित कर रहे हैं, तो उसे सबसे सामान्य उदाहरणों के साथ सिखाएं। "टेक्स्टुअल फ्रीक्वेंसी लॉ" का सम्मान करके, हम इन शक्तिशाली मशीनों को स्मार्ट, तेज़ और अधिक विश्वसनीय बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।