Instruction-Tuned Models Locally Reuse Human Syntax More Than Humans Do
यह अध्ययन प्रदर्शित करता है कि निर्देश-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स (LLMs) मानव टर्न्स की तुलना में पूर्ववर्ती मानव टर्न्स के साथ अधिक मजबूत सिंटैक्टिक अभिसरण (syntactic convergence) प्रदर्शित करते हैं, फिर भी वे अपने प्री-ट्रेन्ड समकक्षों की तुलना में विशिष्ट व्याकरणिक नियमों के प्रति कम संवेदनशीलता और असंबंधित प्राइम्स (primes) के साथ अधिक ओवरलैप दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट लैंग्वेज मिरर: जब रोबोट हमारी तरह बात करने लगते हैं
कल्पना कीजिए कि आप एक पार्टी में हैं, और आप देखते हैं कि आपके दोस्त ने एक विशिष्ट स्लैंग शब्द या वाक्य को बोलने का एक मज़ेदार तरीका इस्तेमाल करना शुरू किया है, और अनजाने में आप भी वही करने लगते हैं। आपने इसकी योजना नहीं बनाई थी; यह बस हो गया। विज्ञान की दुनिया में, इसे सिंटैक्टिक कन्वर्जेंस (syntactic convergence) कहा जाता है। यह मानव मस्तिष्क की एक जानी-मानी तकनीक है जहाँ हम अनजाने में उन लोगों के व्याकरण और वाक्य संरचनाओं की नकल करते हैं जिनसे हम बात कर रहे होते हैं, जिससे हमारी बातचीत अधिक सहज हो जाती है। यह एक भाषाई नृत्य की तरह है जहाँ साथी स्वाभाविक रूप से एक-दूसरे के ताल में कदम मिलाते हैं।
अब, एक नए प्रकार के डांस पार्टनर की कल्पना करें: एक विशाल, सुपर-स्मार्ट कंप्यूटर प्रोग्राम जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है। ये वे AI चैटबॉट्स हैं जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और बातचीत कर सकते हैं। वैज्ञानिक लंबे समय से सोच रहे हैं: क्या ये डिजिटल दिमाग भी वही "मिररिंग" (दर्पण दिखाने वाला) नृत्य करते हैं जो इंसान करते हैं? क्या वे अनजाने में उस व्यक्ति के व्याकरण की नकल करते हैं जिससे वे बात कर रहे हैं, या वे बस अपनी रोबिक शैली पर टिके रहते हैं? यह सवाल महत्वपूर्ण है क्योंकि यदि AI बहुत अधिक पूर्णता के साथ हमारी नकल करने लगे, तो यह हमारे उनके साथ बातचीत करने के तरीके को बदल सकता है, जिससे हमें ऐसा लग सकता है कि वे हमें वास्तव में जितना समझते हैं उससे कहीं बेहतर समझते हैं, या यहाँ तक कि हमारे विश्वासों को भी प्रभावित कर सकता है।
अध्ययन: एक ग्रामर स्वैप एक्सपेरिमेंट
इस अध्ययन में, ज़ैंडी एबरस्टैट नामक एक शोधकर्ता ने एक चतुर तकनीक का उपयोग करके इस प्रश्न का परीक्षण करने का निर्णय लिया जिसे "प्रतिस्थापन प्रतिमान" (substitution paradigm) कहा जाता है। कल्पना कीजिए कि आपके पास दो मनुष्यों के बीच की एक वास्तविक बातचीत का ट्रांसक्रिप्ट है। अब, एक जादुई इरेज़र की कल्पना करें जो एक व्यक्ति के उत्तर को मिटा देता है और उसे AI द्वारा उत्पन्न उत्तर से बदल देता है। शोधकर्ता ने यह 16 अलग-अलग AI मॉडल्स के साथ किया (1 बिलियन पैरामीटर्स वाले छोटे मॉडल्स से लेकर 70 बिलियन वाले विशाल मॉडल्स तक) और उनके "प्रतिस्थापित" उत्तरों की मूल मानव उत्तरों के विरुद्ध तुलना की।
लक्ष्य यह देखना था कि क्या AI, मानव के जवाब देते समय, मानव द्वारा उपयोग किए गए विशिष्ट व्याकरणिक "बिल्डिंग ब्लॉक्स" (जिसे कॉन्टेक्स्ट-फ्री ग्रामर रूल्स कहा जाता है) का पुन: उपयोग करेगा। यह सुनिश्चित करने के लिए कि AI केवल गलती से नकल नहीं कर रहा है, शोधकर्ता ने AI को एक यादृच्छिक (random), असंबंधित वाक्य भी प्रॉम्प्ट के रूप में दिया और जांचा कि क्या वह अभी भी व्याकरण की नकल करता है।
बड़ी खोजें: AI एक बेहतर दर्पण है जितना कि हम
परिणाम आश्चर्यजनक और थोड़े मज़ेदार थे। यहाँ बताया गया है कि अध्ययन में क्या पाया गया:
1. AI हमेशा नकल करता है (संयोग से कहीं अधिक)
प्रत्येक एक में से 16 AI मॉडल्स ने दिखाया कि उन्होंने मानव के पिछले वाक्य के व्याकरण का पुन: उपयोग यादृच्छिक, असंबंधित वाक्य के व्याकरण की तुलना में बहुत अधिक बार किया। तो, हाँ, रोबोट निश्चित रूप से मानव की धुन पर नाच रहे हैं।
2. "इंस्ट्रक्शन-ट्यून्ड" रोबोट सबसे अधिक कुल ओवरलैप दिखाते हैं (लेकिन यह जटिल है)
अध्ययन ने दो प्रकार के AI को देखा: "प्रीट्रेनड" (जिन्होंने केवल बहुत सारा टेक्स्ट पढ़ा है) और "इंस्ट्रक्शन-ट्यून्ड" (जिन्हें विशेष रूप से मानव निर्देशों का पालन करने और स्वाभाविक रूप से चैट करने के लिए सिखाया गया है)। "इंस्ट्रक्शन-ट्यून्ड" मॉडल्स ने मानव के साथ उच्चतम कुल व्याकरणिक ओवरलैप दिखाया। वास्तव में, उन्होंने मूल बातचीत में वास्तविक मनुष्यों की तुलना में समग्र रूप से मानव के व्याकरण का अधिक बार पुन: उपयोग किया। हालाँकि, यह पूरी कहानी नहीं है। शोधकर्ताओं ने पाया कि इंस्ट्रक्शन-ट्यून्ड मॉडल्स लंबे, अधिक जटिल उत्तर उत्पन्न करते हैं, जो स्वाभाविक रूप से उन्हें मानव के व्याकरण के साथ ओवरलैप होने के लिए अधिक "जगह" देता है। जब शोधकर्ताओं ने उत्तर की लंबाई और संरचना के इस अंतर को समायोजित किया, तो तस्वीर बदल गई।
3. लेकिन एक पेंच है: वे सब कुछ कॉपी करते हैं, केवल सही चीज़ें नहीं
यहीं पर मामला पेचीदा हो जाता है। जबकि इंस्ट्रक्शन-ट्यून्ड मॉडल्स में उच्चतम कुल ओवरलैप था, वे बेसिक मॉडल्स की तुलना में रैंडम वाक्यों के साथ भी अधिक ओवरलैप करते थे। यह उस छात्र की तरह है जो शिक्षक को खुश करने के लिए इतना उत्सुक है कि वह शिक्षक के देखते ही नहीं, बल्कि शिक्षक के हाथ की लिखावट की भी नकल करता है, लेकिन वह फर्श पर रखे नोटबुक के रैंडम स्क्रिबल्स (लकीरों) की भी नकल करता है।
जब शोधकर्ताओं ने इस तथ्य को समायोजित किया कि AI के उत्तर कभी-कभी लंबे होते थे और उनमें कॉपी करने के लिए अधिक "जगह" होती थी, तो तस्वीर बदल गई। बेसिक, प्री-ट्रेनड मॉडल्स वास्तव में विशिष्ट व्याकरण नियमों का पुन: उपयोग करने के लिए बेहतर थे जब यह समझ में आता था। इसके विपरीत, इंस्ट्रक्शन-ट्यून्ड मॉडल्स ऐसा लग रहा था जैसे वे बस अधिक शब्द और संरचनाएं दीवार पर फेंक रहे थे, इस उम्मीद में कि उनमें से कुछ काम कर जाएँ। उनके पास उच्च कुल ओवरलैप था, लेकिन एक बार जब आपने उनके बात करने की मात्रा को ध्यान में रखा, तो उनका "कंडीशनल" (सशर्त) पुन: उपयोग करने का चांस कम था।
4. "दुर्लभ शब्द" प्रभाव
दिलचस्प बात यह है कि मनुष्य और AI दोनों ही सुने गए दुर्लभ या असामान्य व्याकरण नियमों की नकल करने की सबसे अधिक संभावना रखते थे। यदि किसी मानव ने एक अजीब, असामान्य वाक्य संरचना का उपयोग किया, तो AI उसके नकल करने की बहुत अधिक संभावना थी। यह सुझाव देता है कि AI स्थानीय वातावरण के प्रति संवेदनशील है, बातचीत के अनूठे "फ्लेवर" को पकड़ लेता है, ठीक वैसे ही जैसे इंसान करते हैं।
5. शब्द और अर्थ भी
व्याकरण के अलावा, AI मॉडल्स ने मानव के शब्दों और उनके वाक्यों के सामान्य अर्थ को मूल मनुष्यों की तुलना में बेहतर तरीके से मैच किया। इंस्ट्रक्शन-ट्यून्ड मॉडल्स पिछले टर्न के अर्थ को मैच करने में विशेष रूप से अच्छे थे, जिससे वे बहुत प्रतिक्रियाशील महसूस होते थे, भले ही उनका व्याकरण नकल थोड़ा "शोर भरा" (noisy) हो।
इसका क्या अर्थ है
अध्ययन यह निष्कर्ष निकालता है कि इंस्ट्रक्शन-ट्यून्ड AI मॉडल्स मानव बातचीत की नकल करने में अविश्वसनीय रूप से कुशल हैं, और अक्सर मानव के व्याकरण से कितनी बारीकी से मेल खाते हैं, इस मामले में मनुष्यों से बेहतर प्रदर्शन करते हैं। हालाँकि, यह आवश्यक रूप से इसलिए नहीं है कि वे नकल करने में "अधिक स्मार्ट" हैं; यह आंशिक रूप से इसलिए है क्योंकि उन्हें अधिक प्रतिक्रियाशील होने और अधिक टेक्स्ट उत्पन्न करने के लिए प्रशिक्षित किया गया है, जो उन्हें ओवरलैप होने के अधिक अवसर देता है।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि जबकि AI एक महान मिमिक (नकल करने वाला) है, हम अभी तक यह नहीं जानते कि वह ऐसा क्यों करता है। क्या यह उनके प्रशिक्षण के कारण है? क्या यह केवल अगले शब्द की भविष्यवाणी करने का एक साइड इफेक्ट है? हम निश्चित रूप से नहीं जानते। लेकिन एक बात स्पष्ट है: ये डिजिटल बातचीत करने वाले साथी मानव कदम को इतनी अच्छी तरह से सीखने में सक्षम हैं कि वे शायद बहुत अधिक उत्साह के साथ हमारे पैरों पर पैर रख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।