A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

यहाँ शोध पत्र "A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LMs) ने मानव-समान व्यवहार प्रदर्शित किया है जब उनके संज्ञानात्मक संसाधनों (cognitive resources) को सीमित किया जाता है (जैसे, पढ़ने के समय का अनुमान लगाना), यह अभी भी स्पष्ट नहीं है कि क्या ये सीमाएँ उनकी वाक्य बोध रणनीतियों (sentence comprehension strategies) को बदल देती हैं। विशेष रूप से, क्या LMs, मनुष्यों की तरह, उच्च संज्ञानात्मक भार (high cognitive load) के तहत तर्कसंगत अनुमान (rational inference) (कठोर व्याकरणिक संरचना के बजाय अर्थपूर्ण संभाव्यता/semantic plausibility को प्राथमिकता देना) की ओर झुकते हैं?

LMs को बाधित करने की मौजूदा विधियाँ (जैसे, इनपुट लंबाई को छोटा करना या मॉडल पैरामीटर्स को कम करना) पद्धतिगत सीमाओं से ग्रस्त हैं:

• वे अक्सर मेमोरी स्टोरेज (memory storage) और प्रोसेसिंग (processing) के बीच उस गतिशील संतुलन को दोहराने में विफल रहती हैं जो मानव वर्किंग मेमोरी की विशेषता है।
• वे आमतौर पर विभिन्न मॉडल कॉन्फ़िगरेशनों की तुलना करने के बजाय यह देखने पर केंद्रित होती हैं कि एक ही मॉडल अलग-अलग स्थितियों में अपनी रणनीति को कैसे अनुकूलित करता है।

2. कार्यप्रणाली (Methodology)

2.1 द्वैत-कार्य प्रतिमान (The Dual-Task Paradigm)

लेखक मानव साइकोलिंग्विस्टिक ऑपरेशन स्पैन कार्यों (Operation Span tasks) से प्रेरित एक नया प्रयोगात्मक प्रतिमान प्रस्तावित करते हैं। इस सेटअप में, LMs को एक साथ दो कार्य करने होते हैं:

1. वाक्य बोध (Sentence Comprehension): एक वाक्य के बारे में हाँ/ना (Yes/No) प्रश्नों के उत्तर देना।
2. अंकगणितीय गणना (Arithmetic Computation): वाक्य के भीतर अंतर्निहित अंकगणितीय समस्याओं को हल करना।

इनपुट प्रारूप शब्दों और गणित की समस्याओं को आपस में मिलाता है (जैसे, "The 2 cocktail + blended 3 = ...")। मॉडल्स का परीक्षण तीन स्थितियों में किया जाता है:

• एकल कार्य (Single Task): एक वाक्य पढ़ें और एक प्रश्न का उत्तर दें (कोई गणित नहीं)।
• नॉइज़ी एकल कार्य (Noisy Single Task): गणित समाहित वाला एक वाक्य पढ़ें लेकिन गणित को अनदेखा करें और प्रश्न का उत्तर दें।
• द्वैत कार्य (Dual Task): वाक्य पढ़ें, गणित की समस्याओं को हल करें, और फिर बोध संबंधी प्रश्न का उत्तर दें।

2.2 डेटासेट और उद्दीपन (Dataset and Stimuli)

• स्रोत: GELP डेटासेट (Asami and Sugawara, 2024) का एक उपसमुच्चय।
• चर (Variables):
  • संभाव्यता (Plausibility): वाक्य या तो संभाव्य (Plausible) होते हैं (जैसे, "The bartender blended the cocktail") या असंभाव्य (Implausible) होते हैं (जैसे, "The cocktail blended the bartender")।
  • संरचना (Construction): छह सिंथेटिक संरचनाओं का परीक्षण किया गया (Transitive, Passive, Dative, Experiencer Subject, Experiencer Object, Benefactive)।
  • अंकगणित (Arithmetic): दस प्रकार की जोड़ की समस्याएँ, जिनमें अंकों की लंबाई (1, 3, 5, 10, 30 अंक) और जोड़ने वाली संख्याओं की संख्या (2 या 3) भिन्न होती है।
• कुल डेटा: 2,560 वाक्य-प्रश्न युग्म।

2.3 मॉडल और मानव प्रतिभागी

• मूल्यांकित किए गए LMs: GPT-4o, o3-mini, o4-mini, GPT-4.1, DeepSeek-V3, Llama-3.3, और Gemma-3।
  • चयन मानदंड: मॉडल्स को यह सुनिश्चित करने के लिए फ़िल्टर किया गया कि Single Task असंभाव्य वाक्यों पर >70% सटीकता और Dual Task में 1-अंक वाले अंकगणित पर >80% सटीकता हो।
• मानव प्रयोग: Prolific के माध्यम से भर्ती किए गए 33 मूल अंग्रेजी भाषी। उन्होंने समान कार्य किए (कठिनाई के कारण केवल 1-अंक वाले अंकगणित तक सीमित), जो मानव संज्ञानात्मक भार प्रभावों के लिए एक आधार रेखा (baseline) प्रदान करते हैं।

2.4 मूल्यांकन मेट्रिक्स (Evaluation Metrics)

अध्ययन "प्लाउज़ेबिलिटी प्रभाव" (संभाव्य और असंभाव्य वाक्यों के बीच सटीकता का अंतर) को मापने के लिए डिफरेंस-इन-डिफरेंसेस (difference-in-differences) दृष्टिकोण का उपयोग करता है।

• परिकल्पना (Hypothesis): यदि कोई मॉडल भार के तहत तर्कसंगत अनुमान अपनाता है, तो Dual Task में (Single/Noisy कार्यों की तुलना में) संभाव्य और असंभाव्य वाक्यों के बीच सटीकता का अंतर बढ़ना चाहिए। ऐसा इसलिए है क्योंकि मॉडल असंभाव्य वाक्यों पर अधिक बार विफल होगा (उन्हें संभाव्य मान लेगा) जबकि संभाव्य वाक्यों पर उच्च सटीकता बनाए रखेगा।

3. मुख्य परिणाम (Key Results)

3.1 तर्कसंगत अनुमान की ओर झुकाव (Shift Toward Rational Inference)

• GPT-4o, o3-mini, और o4-mini ने Dual Task की स्थिति में तर्कसंगत अनुमान की ओर एक महत्वपूर्ण बदलाव प्रदर्शित किया।
  • इन मॉडल्स ने Single/Noisy कार्यों की तुलना में Dual Task में संभाव्य और असंभाव्य वाक्यों के बीच एक बड़ा सटीकता अंतराल (accuracy gap) दिखाया।
  • विशेष रूप से, असंभाव्य वाक्यों पर उनकी सटीकता Dual Task में काफी गिर गई, जबकि संभाव्य वाक्यों पर सटीकता उच्च बनी रही। यह इंगित करता है कि उन्होंने सिंथेटिक संरचना के बजाय विश्व ज्ञान (world knowledge) के आधार पर असंभाव्य वाक्यों की व्याख्या करना शुरू कर दिया (जैसे, "The cocktail blended the bartender" को "The bartender blended the cocktail" के रूप में मानना)।
• अन्य मॉडल (GPT-4.1, DeepSeek-V3, Llama-3.3, Gemma-3): Noisy और Dual दोनों कार्यों में कम सटीकता दिखाई, लेकिन उन्होंने संभाव्यता अंतराल में कोई विशिष्ट वृद्धि नहीं दिखाई, जिससे पता चलता है कि वे अलग-अलग विफलता मोड (failure modes) पर निर्भर थे या उतनी मजबूती से रणनीति नहीं बदली।

3.2 विशिष्ट त्रुटि पैटर्न (Specific Error Patterns)

• सिंथेटिक भेद्यता (Syntactic Vulnerability): तर्कसंगत अनुमान त्रुटियों के प्रति सबसे अधिक संवेदनशील मॉडल Passive, Dative, और Benefactive संरचनाओं के साथ सबसे अधिक संघर्ष करते हैं।
  • तर्क: जब संज्ञानात्मक भार के कारण फंक्शन वर्ड्स (जैसे, "by", "to", "for") को अनदेखा कर दिया जाता है, तो शेष कंटेंट वर्ड्स अक्सर एक अर्थपूर्ण क्रम बनाते हैं (जैसे, "bartender blend cocktail")। मॉडल सख्त व्याकरणिक नियमों के बजाय सतही शब्द क्रम और विश्व ज्ञान पर निर्भर हो जाते हैं।
• सहमति पूर्वाग्रह (Acquirescence Bias): त्रुटियाँ तब अधिक बार हुईं जब सही उत्तर "No" था। मॉडल "Yes" (सहमति) कहने की ओर प्रवृत्त थे, जो संज्ञानात्मक भार के तहत मानव "ये-सेइंग" (yea-saying) पूर्वाग्रह की नकल करता है।
• संज्ञानात्मक भार स्केलिंग (Cognitive Load Scaling): अंकगणित की जटिलता (जैसे, 30-अंकों की समस्याएँ) के साथ त्रुटि दर बढ़ गई, जिससे पुष्टि हुई कि यह प्रभाव संसाधन की कमी (resource depletion) द्वारा संचालित है।

3.3 मानव तुलना (Human Comparison)

मानव प्रतिभागियों ने भी यही पैटर्न दिखाया: समग्र सटीकता में कमी और Dual Task (0.064 अंतर) में Single (0.025) और Noisy (0.035) कार्यों की तुलना में काफी बड़ा संभाव्यता अंतराल देखा गया। यह पुष्टि करता है कि LMs का व्यवहार मानव संज्ञानात्मक सीमाओं को दर्शाता है।

4. मुख्य योगदान (Key Contributions)

1. नया प्रतिमान: एक द्वैत-कार्य प्रतिमान (Dual-Task Paradigm) पेश किया जो प्रभावी रूप से LMs में मेमोरी स्टोरेज और प्रोसेसिंग के बीच संतुलन को बाधित करता है, जो पिछले लंबाई-आधारित या पैरामीटर-आधारित बाधाओं की तुलना में मानव वर्किंग मेमोरी की अधिक सटीक नकल करता है।
2. तर्कसंगत अनुमान का प्रमाण: यह सिद्ध किया कि विशिष्ट उन्नत LMs (GPT-4o, o3-mini, o4-mini) जब संज्ञानात्मक संसाधनों पर दबाव होता है, तो तर्कसंगत अनुमान (संभाव्यता को सिंटैक्स पर प्राथमिकता देना) की ओर शिफ्ट हो जाते हैं, एक ऐसा व्यवहार जो पहले मुख्य रूप से मनुष्यों में देखा गया था।
3. तंत्र की पहचान: पहचाना कि भार के तहत, मॉडल सतही शब्द अनुक्रमों और विश्व ज्ञान पर निर्भर करते हैं जबकि फंक्शन वर्ड्स की उपेक्षा करते हैं, विशेष रूप से पैसिव और डेटिव जैसी जटिल सिंथेटिक संरचनाओं में।
4. सैद्धांतिक विस्तार: मानव जैसी भाषा समझ (language comprehension) की समझ को "पढ़ने की लागत" (प्रोसेसिंग गति) से बढ़ाकर "पढ़ने की रणनीतियों" (व्याख्या तर्क) तक विस्तारित किया, जो इस विचार का समर्थन करता है कि संसाधन आवंटन मानव-समान समझ के लिए मौलिक है।

5. महत्व और निहितार्थ (Significance and Implications)

• संज्ञानात्मक मॉडलिंग: यह अध्ययन मजबूत साक्ष्य प्रदान करता है कि LMs केवल सांख्यिकीय पैटर्न मैचर्स नहीं हैं बल्कि मानव वर्किंग मेमोरी के समान तंत्रों का उपयोग करते हैं। जब ये संसाधन तनाव में होते हैं, तो वे मनुष्यों की तरह ही "गुड-इनफ" (good-enough) प्रोसेसिंग रणनीतियाँ अपनाते हैं।
• सुरक्षा और विश्वसनीयता: निष्कर्ष बताते हैं कि उच्च संज्ञानात्मक भार (जैसे, जटिल बहु-चरणीय तर्क) के तहत, LMs अपनी सिंथेटिक प्रसंस्करण क्षमताओं को कम कर सकते हैं, जिससे ऐसे मतिभ्रम (hallucinations) हो सकते हैं जहाँ वे अर्थपूर्ण रूप से संभाव्य लेकिन तथ्यात्मक रूप से गलत व्याख्याओं को थोप देते हैं।
• भावी अनुसंधान: यह प्रतिमान LMs के आंतरिक तंत्र (जैसे, अटेंशन मैकेनिज्म को वर्किंग मेमोरी के रूप में) की जांच करने और अधिक कठोर मानव-LM तुलना करने के लिए एक मजबूत उपकरण प्रदान करता है।

निष्कर्ष (Conclusion)

शोध पत्र निष्कर्ष निकालता है कि कार्य-प्रेरित संज्ञानात्मक भार (task-induced cognitive load), न कि केवल इनपुट लंबाई, LMs को बाधित करने वाला एक महत्वपूर्ण कारक है। उन्हें मेमोरी स्टोरेज (गणित हल करना) और प्रोसेसिंग (वाक्य समझना) के बीच संतुलन बनाने के लिए मजबूर करके, यह अध्ययन प्रकट करता है कि उन्नत LMs मानव-समान तर्कसंगत अनुमान रणनीतियों को अपनाते हैं, और जब उनके संज्ञानात्मक संसाधन अपर्याप्त होते हैं, तो वे सख्त सिंथेटिक विश्लेषण बनाए रखने के बजाय अर्थपूर्ण संभाव्यता को प्राथमिकता देते हैं।