LLM generation novelty through the lens of semantic similarity
यह शोध पत्र पूर्ण प्रीट्रेनिंग कॉर्पोरा के विरुद्ध LLM जनरेशन की नवीनता (novelty) को मापने के लिए एक स्केलेबल, तीन-चरणीय सिमेंटिक रिट्रीवल फ्रेमवर्क प्रस्तावित करता है, जो यह प्रकट करता है कि मॉडल पहले की तुलना में लंबी अनुक्रमों (sequences) पर डेटा का उपयोग करते हैं, डोमेन-विशिष्ट नवीनता पैटर्न प्रदर्शित करते हैं, और इंस्ट्रक्शन ट्यूनिंग के माध्यम से नवीनता बढ़ाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई छात्र परीक्षा में सामग्री की नकल कर रहा है। यदि छात्र पाठ्यपुस्तक से एक वाक्य शब्द-दर-शब्द कॉपी करता है, तो यह स्पष्ट पुनरुत्पादन है। लेकिन क्या होगा यदि उन्होंने पूरा अध्याय पढ़ा, अवधारणा को समझा, और फिर एक पूरी तरह से नया वाक्य लिखा जिसका अर्थ बिल्कुल वही है? क्या यह पुनरुत्पादन है, या यह वास्तविक सीखना है? यह वह बड़ा सवाल है जिसका सामना आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिक कर रहे हैं। ये AI मॉडल, जिन्हें अक्सर लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, उन छात्रों की तरह हैं जिन्होंने लगभग पूरे इंटरनेट को पढ़ लिया है। वे कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और हमसे चैट कर सकते हैं। लेकिन कभी-कभी, वे केवल वही दोहराते हैं जो उन्होंने पहले पढ़ा है, और अन्य समय में, वे कुछ नया रचते हुए प्रतीत होते हैं। पेचीदा हिस्सा यह पता लगाना है कि "कॉपी करने" और "निर्माण करने" के बीच का अंतर क्या है, जब AI अपने स्रोतों को छिपाने में इतना कुशल हो। वैज्ञानिक जानना चाहते हैं: क्या AI वास्तव में सोच रहा है और सामान्यीकरण कर रहा है, या यह केवल एक फैंसी तोता है जो अपने रटे हुए पैटर्न को दोहरा रहा है?
यह शोध पत्र उस रहस्य को सुलझाने का एक चतुर नया तरीका पेश करता है। केवल शब्दों के सटीक मिलान को देखने के बजाय (जैसे कि एक स्पेल-चेकर), लेखकों ने एक ऐसी प्रणाली बनाई जो शब्दों के पीछे के अर्थ को देखती है। वे इसे "सिमेंटिक सिमिलैरिटी" (अर्थ संबंधी समानता) कहते हैं। इसे दो पेंटिंग्स की तुलना करने जैसा समझें। यदि आप केवल विशिष्ट ब्रशस्ट्रोक देखते हैं, तो दो पेंटिंग्स बिल्कुल अलग दिख सकती हैं। लेकिन यदि आप समग्र छवि को देखते हैं, तो आप महसूस कर सकते हैं कि वे दोनों एक ही सूर्यास्त का चित्रण कर रहे हैं। शोधकर्ताओं ने इस विचार का उपयोग AI द्वारा प्रशिक्षित डेटा के विशाल पुस्तकालयों को स्कैन करने के लिए किया। उन्होंने केवल यह नहीं पूछा, "क्या AI ने इस वाक्य को कॉपी किया?" बल्कि उन्होंने पूछा, "क्या AI ने इस वाक्य के विचार को कॉपी किया, भले ही उसने अलग शब्दों का उपयोग किया हो?"
इसका परीक्षण करने के लिए, टीम ने स्मॉलएलएम (SmolLM) नामक AI मॉडल्स के एक परिवार का उपयोग किया। उन्होंने तीन-चरणीय जांच स्थापित की। पहले, उन्होंने प्रशिक्षण लाइब्रेरी में सबसे समान विचारों को खोजने के लिए एक तेज़ खोज उपकरण का उपयोग किया। दूसरे, उन्होंने परिणामों को फिर से रैंक किया ताकि यह सुनिश्चित हो सके कि वे सही प्रकार की समानता देख रहे हैं, न कि केवल छोटे, आसान मिलान। अंत में, जो सबसे महत्वपूर्ण हिस्सा है, उन्होंने AI के उत्तरों की वास्तविक मनुष्यों द्वारा लिखे गए उत्तरों के साथ तुलना की। यह एक "कैलिब्रेशन" टूल की तरह था, जैसे एक शेफ किसी मानक रेसिपी के विरुद्ध व्यंजन को चखता है ताकि यह देख सके कि मसाला सही है या नहीं। ऐसा करके, वे यह माप सके कि AI का आउटपुट वास्तव में कितना "नवल" (नया और भिन्न) था, चाहे वह सुनने में शानदार हो या सरल।
परिणाम आश्चर्यजनक थे और इन AI मॉडल्स के बारे में हमारी सोच को बदल देते हैं। सबसे पहले, उन्होंने पाया कि AI मॉडल अपने प्रशिक्षण डेटा से पहले की तुलना में बहुत लंबे टेक्स्ट स्ट्रैच पर डेटा का उपयोग कर रहे हैं। यह केवल एक वाक्य की नकल करना नहीं है; वे लंबे पैराग्राफों से विचारों को बुन रहे हैं। दूसरा, कार्य का प्रकार बहुत मायने रखता है। जब AI को कुछ बहुत सख्त करने के लिए कहा जाता है, जैसे गणित की समस्या हल करना, तो यह कम 'नवल' होता है क्योंकि उत्तर देने का केवल एक ही सही तरीका होता है। लेकिन जब इसे कहानी लिखने या कठिन प्रश्न का उत्तर देने के लिए कहा जाता है, तो यह बहुत अधिक रचनात्मक हो जाता है और एक नकलची की तरह कम व्यवहार करता है।
शायद सबसे दिलचस्प खोज "इंस्ट्रक्शन ट्यूनिंग" (निर्देश ट्यूनिंग) के बारे में थी। यह तब होता है जब आप एक AI को विशिष्ट आदेशों का पालन करना सिखाते हैं, जैसे "एक सहायक सहायक की तरह व्यवहार करें।" शोधकर्ताओं ने पाया कि यह प्रशिक्षण केवल AI की शैली को नहीं बदलता है; यह वास्तव में AI को अधिक 'नवल' बनाता है। इंस्ट्रक्शन-ट्यून्ड मॉडल्स ने अलग तरह की शब्दावली और संरचनाओं का उपयोग करना शुरू कर दिया जो उनके मूल प्रशिक्षण डेटा से कम समान थे। यह ऐसा है जैसे AI को निर्देश का पालन करना सिखाने से उसे अपनी मूल किताब को दोहराने के बजाय अपनी खुद की कहानी लिखने का आत्मविश्वास मिल गया हो।
लेखकों ने यह भी खोजा कि छोटे AI मॉडल अक्सर बड़े मॉडल्स की तुलना में अधिक "नवल" थे। बड़े मॉडल्स अपने प्रशिक्षण डेटा के बहुत करीब रहते हैं, जैसे कि वे जो उन्होंने याद किया है उससे भटकने से डरते हों। हालांकि यह अध्ययन यह साबित नहीं करता है कि ये मॉडल मानवीय अर्थ में "सोच" रहे हैं, लेकिन यह दृढ़ता से सुझाव देता है कि इंस्ट्रक्शन ट्यूनिंग उन्हें साधारण याद रखने की प्रक्रिया से आगे बढ़ने में मदद करती है। शोधकर्ताओं ने अपने सभी टूल्स और डेटा को जारी कर दिया है ताकि अन्य लोग उनके काम की जांच कर सकें, इस उम्मीद में कि "नवलता" को मापने का यह नया तरीका हमें यह समझने में मदद करेगा कि ये डिजिटल मस्तिष्क वास्तव में क्या सीख रहे हैं और वे कब वास्तव में कुछ नया बना रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।