Large Language Models as Proxies for Theories of Human Linguistic Cognition

तकनीकी सारांश: मानव भाषाई संज्ञान के सिद्धांतों के प्रॉक्सी के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs)

समस्या विवरण
यह शोध पत्र मानव भाषीय संज्ञान (Human Linguistic Cognition - HLC) के अध्ययन में लार्ज लैंग्वेज मॉडल्स (LLMs) की भूमिका को संबोधित करता है। यह "LLM सिद्धांत" (जैसे कि पियानटाडोसी 2023) की आलोचना करता है, जो यह दावा करता है कि वर्तमान LLMs स्वयं HLC के सर्वोत्तम सिद्धांत हैं। यह तर्क देता है कि यह दृष्टिकोण मानव संज्ञान के मौलिक अंतरों, जैसे कि क्षमता बनाम प्रदर्शन (competence vs. performance), व्याकरणिक शुद्धता बनाम संभाव्यता (grammaticality vs. likelihood), और पदानुक्रमित संरचना (hierarchical structure) के संबंध में विशिष्ट आगमनात्मक छलांग (inductive leaps) को समझाने में विफल रहता है।

इसके बजाय, यह शोध पत्र "प्रॉक्सी व्यू" (Proxy View) की जांच करता है। यह परिकल्पना बताती है कि यद्यपि वर्तमान LLMs स्वयं HLC के अच्छे सिद्धांत नहीं हैं, फिर भी वे एक तीसरे, अभी तक अज्ञात सिद्धांत ($H_3$) के प्रॉक्सी (प्रतिनिधि) के रूप में कार्य कर सकते हैं। $H_3$ को एक ऐसे सिद्धांत के रूप में कल्पित किया गया है जो भाषाई रूप से तटस्थ है (जेनेरेटिव लिंग्विस्टिक्स की मजबूत जन्मजात पूर्वाग्रहों ($H_1$) का अभाव है) फिर भी मानव भाषाई अधिग्रहण और रूपात्मक पैटर्न (typological patterns) को समझाने में सक्षम है। केंद्रीय समस्या यह है कि $H_3$ वर्तमान में अनिर्दिष्ट है, जिससे इसका अनुभवजन्य मूल्यांकन करना कठिन हो जाता है। लेखक यह जांचते हैं कि क्या वर्तमान LLMs एक पद्धतिगत उपकरण के रूप में यह परीक्षण करने के लिए कार्य कर सकते हैं कि क्या एक भाषाई रूप से तटस्थ $H_3$ वास्तविक कॉर्पोरा (corpora) से भाषाई ज्ञान प्राप्त करने में सफल हो सकता है या क्रॉस-लिंग्विस्टिक रूपात्मक विषमताओं (typological asymmetries) की व्याख्या कर सकता है।

कार्यप्रणाली
लेखक दो प्राथमिक प्रयोगात्मक ढांचों का उपयोग करके "प्रॉक्सी व्यू" का मूल्यांकन करते हैं, जिसमें आठ LLMs का समूह शामिल है, जो छोटे मॉडल्स (जो CHILDES, BabyLM जैसे बाल-निर्देशित भाषण पर प्रशिक्षित हैं) से लेकर अरबों टोकन पर प्रशिक्षित विशाल मॉडल्स (BERT, GPT-2, LLaMA-3.2) तक विस्तृत हैं।

1. उद्दीपन के साथ संरेखण (आगमनात्मक छलांग का अधिग्रहण):

   • कार्य: लेखक यह परीक्षण करते हैं कि क्या LLMs उन विशिष्ट भाषाई सामान्यीकरणों को प्राप्त कर सकते हैं जिन्हें तर्क दिया जाता है कि भाषाई रूप से तटस्थ शिक्षार्थियों के लिए "उद्दीपन की कमी" (Poverty of the Stimulus - APS) से प्राप्त करना कठिन है।
   • घटनाएँ: तीन विशिष्ट वाक्यात्मक (syntactic) घटनाओं का परीक्षण किया गया:
     • अक्रॉस-द-बोर्ड (Across-the-Board - ATB) मूवमेंट।
     • पैरासिटिक गैप्स (Parasitic Gaps - PG)।
     • दैट-ट्रेस इफेक्ट्स (That-trace effects - TTE)।
   • मीट्रिक: एक "मिनिमल पेयर" (minimal pair) पद्धति का उपयोग करते हुए, मॉडल्स को व्याकरणिक और अ-व्याकरणिक वाक्य युग्म प्रस्तुत किए गए। सफलता को उदारतापूर्वक परिभाषित किया गया: मॉडल एक महत्वपूर्ण टोकन क्षेत्र पर अ-व्याकरणिक विकल्प की तुलना में व्याकरणिक निरंतरता को उच्च संभाव्यता (probability) प्रदान करता है।
   • तर्क: यदि LLMs (एक प्रॉक्सी के रूप में) विकासोन्मुख रूप से यथार्थवादी या विशाल कॉर्पोरा पर प्रशिक्षण के बाद भी व्याकरणिक विकल्प को प्राथमिकता देने में विफल रहते हैं, तो यह सुझाव देता है कि एक भाषाई रूप से तटस्थ $H_3$ भी इन पैटर्न को प्राप्त करने में विफल रहेगा, जिससे जन्मजात पूर्वाग्रहों ($H_1$) के पक्ष में APS तर्क मजबूत होता है।

2. क्रॉस-लिंग्विस्टिक साक्ष्य (रूपात्मक विषमताएं):

   • कार्य: लेखक यह जांचते हैं कि क्या LLMs "प्रमाणित" (attested) भाषाओं को "अप्रमाणित" (unattested/perturbed) भाषाओं की तुलना में आसानी से सीखते हैं। यदि एक भाषाई रूप से तटस्थ $H_3$ यह समझा सकता है कि कुछ भाषा प्रकार क्यों अप्रमाणित हैं, तो उसे अप्रमाणित संस्करणों को सीखना कठिन होना चाहिए।
   • सेटअप: कल्लिनी एट अल. (2024) पर आधारित, लेखकों ने अंग्रेजी, इतालवी, रूसी और हिब्रू के कॉर्पोरा और उनके विचलित (perturbed) संस्करणों पर एक ट्रांसफार्मर को प्रशिक्षित किया।
   • विपथन (Perturbations):
     • पार्शियल-रिवर्स (Partial-reverse): एक यादृच्छिक इंडेक्स से वाक्यों के खंडों को उलटना।
     • फुल-रिवर्स (Full-reverse): पूरे वाक्यों को उलटना।
     • स्विच-इंडिसेस (Switch-indices): विशिष्ट इंडिसेस (0 और 2) पर टोकन को बदलना।
     • टोकन-हॉप (Token-hop): क्रियाओं से निश्चित रैखिक दूरियों पर मार्कर डालना (रैखिक गणना की आवश्यकता)।
   • मीट्रिक: प्रशिक्षण के दौरान वैलिडेशन परप्लेक्सिटी (Validation perplexity)। कम परप्लेक्सिटी आसान सीखने का संकेत देती है।

प्रमुख परिणाम

• वाक्यात्मक सामान्यीकरण का अधिग्रहण:

  • ATB, PG और TTE के मिनिमल पेयर्स के लिए LLMs आम तौर पर व्याकरणिक बनाम अ-व्याकरणिक वाक्यों के प्रति प्राथमिकता दिखाने में विफल रहे।
  • विशाल LLaMA मॉडल (जिसे मानव एक्सपोजर के सैकड़ों हजार वर्षों के बराबर डेटा पर प्रशिक्षित किया गया था) को छोड़कर, अन्य सभी मॉडल्स ने अत्यधिक रूप से अ-व्याकरणिक विकल्पों को प्राथमिकता दी।
  • यह विफलता बताती है कि यदि LLMs $H_3$ के प्रॉक्सी हैं, तो $H_3$ यथार्थवादी इनपुट से इन जटिल पदानुक्रमित निर्भरताओं को प्राप्त करने में विफल रहेगा, जिससे जन्मजात भाषाई पूर्वाग्रहों के लिए APS तर्कों को कमजोर करने में विफलता होगी।

• रूपात्मक विषमताएं (Typological Asymmetries):

  • परिणामों ने लगातार इस विचार का समर्थन नहीं किया कि प्रमाणित भाषाएं अप्रमाणित विपथन (perturbations) की तुलना में आसानी से सीखी जाती हैं।
  • जबकि पार्शियल-रिवर्स विपथन को बेसलाइन की तुलना में कठिन पाया गया (इस विशिष्ट मामले के लिए प्रॉक्सी व्यू का समर्थन करते हुए), अन्य विपथनों ने विरोधाभासी परिणाम दिए।
  • फुल-रिवर्स, स्विच-इंडिसेस, और टोकन-हॉप के लिए, मॉडल्स ने अक्सर प्रमाणित बेसलाइन की तुलना में अप्रमाणित (विचलित) संस्करणों को सीखना आसान पाया, या कोई महत्वपूर्ण अंतर नहीं पाया।
  • विशेष रूप से, "टोकन-हॉप" विपथन (जो पदानुक्रमित सामान्यीकरण के बजाय रैखिक गणना का उल्लंघन करता है) को कभी-कभी प्रमाणित बेसलाइन की तुलना में अधिक आसानी से सीखा गया।

प्रमुख योगदान

• पद्धतिगत स्पष्टीकरण: यह शोध पत्र "प्रॉक्सी व्यू" को "LLM थ्योरी" से एक अलग स्थिति के रूप में स्पष्ट करता है, यह स्पष्ट करते हुए कि LLMs सैद्धांतिक रूप से तटस्थ सिद्धांतों का मूल्यांकन करने के लिए उपकरण के रूप में कार्य कर सकते हैं, बिना स्वयं वे सिद्धांत बने।
• अनुभवजन्य मूल्यांकन: यह मानव भाषाई अधिग्रहण और टाइपोलॉजी पर चर्चा को केवल सैद्धांतिक अटकलों से आगे ले जाते हुए, प्रॉक्सी व्यू के एक प्रारंभिक अनुभवजन्य परीक्षण के रूप में कार्य करता है।
• नकारात्मक साक्ष्य: अध्ययन यह प्रदर्शित करता है कि वर्तमान स्थितियों और वर्तमान मॉडल्स के तहत, LLMs इस बात का प्रमाण नहीं देते हैं कि एक भाषाई रूप से तटस्थ सिद्धांत इन प्रमुख भाषाई घटनाओं या रूपात्मक पैटर्न की व्याख्या कर सकता है।

महत्व और दावे
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान में, वर्तमान LLMs "प्रॉक्सी व्यू" का समर्थन नहीं करते हैं। जटिल पदानुक्रमित निर्भरताओं को अपनाने में मॉडल्स की अक्षमता (विशाल डेटा के बावजूद) और रूपात्मक पैटर्नों का उनका असंगत शिक्षण यह सुझाव देता है कि वे मानव भाषाई संज्ञान (HLC) के सफल भाषाई रूप से तटस्थ सिद्धांत के लिए खराब प्रॉक्सी हैं।

लेखक जोर देते हैं कि प्रॉक्सी व्यू अभी भी "बहुत अस्पष्ट" है क्योंकि लक्षित सिद्धांत ($H_3$) स्पष्ट रूप से परिभाषित नहीं है। यह शोध पत्र प्रॉक्सी व्यू के समर्थकों के लिए एक "आग्रह" के रूप में कार्य करता है कि वे लक्षित सिद्धांत का स्पष्ट विवरण प्रदान करें और यह प्रदर्शित करें कि LLM प्रदर्शन विशेष रूप से जेनेरेटिव विकल्पों की तुलना में उस सिद्धांत का समर्थन कैसे करता है। लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि उनके नकारात्मक परिणाम विशिष्ट मॉडल्स और घटनाओं के लिए विशिष्ट हैं, और भविष्य के कार्य अलग मॉडल्स और अधिक स्पष्ट सिद्धांतों के साथ भिन्न निष्कर्ष दे सकते हैं। हालांकि, वर्तमान साक्ष्यों के आधार पर, LLMs मौजूदा भाषाई सिद्धांत को बदलने की आवश्यकता का संकेत नहीं देते हैं।