A large-scale pipeline for automatic corpus annotation using LLMs: variation and change in the English consider construction
यह शोधपत्र विशाल कॉर्पोरा के व्याकरणिक एनोटेशन को स्वचालित करने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करते हुए एक स्केलेबल, चार-चरणीय पाइपलाइन प्रस्तुत करता है, जो अंग्रेजी के "consider" निर्माण के एक कालक्रमिक अध्ययन के माध्यम से अपनी प्रभावशीलता को प्रदर्शित करता है जो भाषाई परिवर्तन के नए पैटर्न को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल युग के लिए "सुपर-लाइब्रेरियन": AI हमें भाषा परिवर्तन को समझने में कैसे मदद कर रहा है
कल्पना कीजिए कि आप एक इतिहासकार हैं, लेकिन धूल भरे पुराने स्क्रॉल देखने के बजाय, आपको 1820 से आज तक अमेरिका में लिखे गए हर एक समाचार पत्र, पुस्तक और टीवी ट्रांसक्रिप्ट को पढ़ने का काम सौंपा गया है। आप एक विशिष्ट चीज़ खोजना चाहते हैं: लोग "consider" शब्द का उपयोग कैसे करते हैं।
आप जानना चाहते हैं कि क्या लोग "I consider him smart" (छोटा तरीका) कहते हैं या "I consider him to be smart" (लंबा तरीका), और क्या एक संस्करण धीरे-धीरे खत्म हो रहा है जबकि दूसरा बढ़ रहा है।
समस्या: अनंत पुस्तकालय (The Infinite Library)
समस्या यह है कि यहाँ अरबों शब्द हैं। यदि आप उन्हें वर्गीकृत करने के लिए स्वयं उन सभी को पढ़ने की कोशिश करेंगे, तो आप पहला दशक पूरा करने से पहले ही बूढ़े होकर मर जाएंगे। भले ही आप सहायकों की एक टीम को काम पर रखें, इसमें वर्षों लग जाएंगे और एक बड़ी धनराशि खर्च होगी। इसे भाषाविद् "एनोटेशन बॉटलनेक" (annotation bottleneck) कहते हैं। आपके पास दुनिया भर का डेटा है, लेकिन आपके पास उसे "लेबल" करने के लिए समय नहीं है ताकि आप वास्तव में उसका अध्ययन कर सकें।
समाधान: "स्मार्ट फ़िल्टर" (The "Smart Filter" - LLM पाइपलाइन)
इस शोध पत्र के लेखक, कैमरून मोरिन और माटी मार्टिनेन लार्सन ने लार्ज लैंग्वेज मॉडल्स (जैसे ChatGPT के पीछे की तकनीक) का उपयोग करके एक उच्च-गति, स्वचालित "सॉर्टिंग मशीन" बनाई है।
उनके तरीके को एक रीसाइक्लिंग सेंटर के लिए चार-चरणीय औद्योगिक सॉर्टिंग प्लांट की तरह समझें:
- चरण 1: निर्देश पुस्तिका लिखना (प्रॉम्प्ट इंजीनियरिंग): केवल रोबोट को "इन चीजों को छाँटो" कहने के बजाय, शोधकर्ता एक अविश्वसनीय रूप से विस्तृत मैनुअल लिखते हैं। वे केवल यह नहीं कहते कि "'consider' के उपयोग खोजें"; वे सूक्ष्म बारीकियों को समझाते हैं, "कठिन" वाक्यों के उदाहरण देते हैं, और यहाँ तक कि AI को अपने काम को दोबारा जांचने के लिए "सोच-समझकर बोलने" (think out loud) का तरीका भी सिखाते हैं।
- चरण 2: परीक्षण रन (Pre-hoc Evaluation): मशीन को पूरे पुस्तकालय पर छोड़ने से पहले, वे इसे एक छोटा "अभ्यास परीक्षण" देते हैं। वे AI के काम को मैन्युअल रूप से ग्रेड करते हैं ताकि यह सुनिश्चित हो सके कि यह कम से कम 95% सटीकता प्राप्त कर रहा है। यदि AI परीक्षण में विफल रहता है, तो वे मैनुअल को फिर से लिखते हैं और फिर से प्रयास करते हैं।
- चरण 3: मास प्रोडक्शन लाइन (Batch Processing): एक बार जब AI परीक्षण पास कर लेता है, तो वे इसे एक हाई-स्पीड पाइपलाइन में लगा देते हैं। AI 60 घंटों से भी कम समय में 140,000 से अधिक वाक्यों को "पढ़ता" और लेबल करता है। जो काम एक इंसान को लगभग 400 घंटों के थकाऊ, आंखों पर तनाव डालने वाले काम में लगता, वह कुछ दिनों में एक अच्छे रात्रिभोज की कीमत ($104) में पूरा हो गया।
- चरण 4: गुणवत्ता निरीक्षक (Post-hoc Validation): भले ही वे मशीन पर भरोसा करते हैं, लेकिन वे केवल उसकी बात नहीं मानते। वे विभिन्न समय अवधियों और शैलियों (genres) से यादृच्छिक नमूने वापस चुनते हैं ताकि यह सुनिश्चित किया जा सके कि AI "थका" नहीं है या डेटा बदलने के साथ गलतियाँ करना शुरू नहीं कर दिया है।
खोज: भाषा में खींचतान (The Discovery: The Tug-of-War in Language)
क्योंकि यह मशीन बहुत अच्छी तरह काम करती थी, शोधकर्ता अंग्रेजी में एक पैटर्न देख पाए जो पहले अदृश्य था। उन्होंने बोलने के दो तरीकों के बीच एक दिलचस्प "खींचतान" की खोज की: मितव्ययिता बनाम सटीकता (Economy vs. Precision)।
- "छोटा और सरल" समूह (Reduction): फिक्शन या टीवी शो जैसे अनौपचारिक परिवेश में, लोग दक्षता पसंद करते हैं। वे अतिरिक्त शब्दों को हटा देते हैं, और वाक्य के सबसे छोटे संस्करण को चुनते हैं। यह "you" के बजाय "u" टेक्स्ट करने जैसा है—यह तेज़ है और काम पूरा कर देता है।
- "स्पष्ट और औपचारिक" समूह (Enhancement): अकादमिक लेखन में, लोग गलत समझे जाने से डरते हैं। वे वाक्य को अधिक "पूर्ण" और सटीक महसूस कराने के लिए अतिरिक्त शब्द (जैसे "to be") जोड़ते हैं। यह किसी मीटिंग में टक्सीडो पहनने जैसा है—यह एक औपचारिक संरचना की परत जोड़ता है।
शोधकर्ताओं ने पाया कि जबकि "छोटा" तरीका लंबे समय से जीत रहा है, अकादमिक भाषा वास्तव में अपने वाक्यों को फिर से "मजबूत" बना रही है, जिससे पूर्ण स्पष्टता सुनिश्चित करने के लिए अधिक औपचारिक संरचनाओं का उपयोग किया जा सके।
यह क्यों महत्वपूर्ण है
यह शोध पत्र केवल "consider" शब्द के बारे में नहीं है। यह भविष्य का एक ब्लूप्रिंट है। यह दिखाता है कि AI भाषाविदों के लिए एक "प्रतिस्थापन" नहीं होना चाहिए; इसके बजाय, यह एक "को-पायलट" (Co-Pilot) हो सकता है। यह भारी, उबाऊ काम (सॉर्टिंग) को संभालता है, जिससे मानव विशेषज्ञों को उच्च-स्तरीय सोच (खोज) करने के लिए स्वतंत्रता मिलती है।
यह "अनंत पुस्तकालय" को डेटा के एक असंभव पहाड़ से बदलकर मानव विचार और संचार के विकास का एक खोजने योग्य, समझने योग्य मानचित्र में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।