Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

तकनीकी सारांश: अगले शब्द के पूर्वानुमान से परे

समस्या विवरण
यह देखा गया है कि लार्ज लैंग्वेज मॉडल्स (LLMs) के आंतरिक प्रतिनिधित्व, भाषा बोध के दौरान मानव तंत्रिका गतिविधि (neural activity) के साथ सह-संबद्ध होते हैं। हालाँकि, इस "LLM-मस्तिष्क संरेखण" (LLM-brain alignment) को संचालित करने वाले अंतर्निध तंत्र पर बहस जारी है। एक प्रचलित परिकल्पना यह सुझाव देती है कि यह संरेखण केवल सांख्यिकीय पैटर्न (जैसे, पूर्वानुमेयता/predictability) के प्रति साझा संवेदनशीलता से उत्पन्न होता है जो दोनों प्रणालियों में निहित है। एक वैकल्पिक दृष्टिकोण यह प्रस्तावित करता है कि संरेखण साझा, संरचित भाषाई प्रतिनिधित्व के उद्भव को दर्शाता है। यह अध्ययन इस बात की जांच करता है कि क्या पदानुक्रमित भाषाई संरचना (hierarchical linguistic composition)—जिसे मानव भाषा का एक मौलिक गुण माना जाता है—साधारण सांख्यिकीय पूर्वानुमेयता से अलग, इस संरेखण का विशिष्ट चालक है।

कार्यप्रणाली
भाषाई संरचना को सांख्यिकीय कारकों से अलग करने के लिए, लेखकों ने एक नियंत्रित प्रायोगिक डिजाइन का उपयोग किया जिसमें एक LLM (GPT2-XL) और मानव प्रतिभागी दोनों शामिल थे:

• उद्दीपन हेरफेर (Stimuli Manipulation): अंग्रेजी वाक्यों को तीन भाषाई आयामों में व्यवस्थित रूप से हेरफेर किया गया: वाक्य संरचना (syntax), संरचनात्मक अर्थ विज्ञान (compositional semantics), और साहचर्य अर्थ विज्ञान (associative semantics)।
• पूर्वानुमेयता मिलान (Predictability Matching): महत्वपूर्ण रूप से, भाषाई रूप से हेरफेर किए गए उद्दीपनों को पूर्वानुमेयता के लिए मेल खाया गया था। यह नियंत्रण शोधकर्ताओं को भाषistic संरचना के प्रभावों को सांख्यिकीय संभाव्यता के प्रभावों से अलग करने की अनुमति देता है।
• डेटा संग्रह: मानव प्रतिभागियों ने इन वाक्यों को संसाधित करते हुए एक इलेक्ट्रोएन्सेफलोग्राफी (EEG) प्रयोग से गुजरते हुए डेटा दिया। साथ ही, GPT2-XL की छिपी हुई परतों (hidden layers) से शब्द-दर-शब्द प्रासंगिक एम्बेडिंग (contextual embeddings) निकाली गईं।
• विश्लेषण: अध्ययन ने LLM-EEG संरेखण स्कोर की गणना करने के लिए एक रैखिक एनकोडिंग मॉडल का उपयोग किया। पूर्वानुमेयता-मेल खाती स्थितियों के बीच इन स्कोर की तुलना करके, लेखकों ने मूल्यांकन किया कि कैसे विशिष्ट भाषाई हेरफेर मानव मस्तिष्क गतिविधि और मॉडल प्रतिनिधित्व के बीच संरेखण को संशोधित करते हैं।

प्रमुख योगदान और परिणाम
अध्ययन तीन विशिष्ट पैटर्न की पहचान करता है कि कैसे भाषाई विशेषताएं LLM-मस्तिष्क संरेखण को संशोधित करती हैं, यह प्रदर्शित करते हुए कि ये प्रभाव पूर्वानुमेयता से ऊपर और परे होते हैं:

1. वाक्य संरचना (Syntactic Structure): वाक्य संरचना रखने वाले शब्द अनुक्रमों के लिए संरेखण बढ़ता है, जो यह सुझाव देता है कि LLM और मानव मस्तिष्क दोनों तुलनीय तरीके से वाक्य संरचनात्मक पदानुक्रम को एनकोड करते हैं।
2. संरचनात्मक अर्थ विज्ञान (Compositional Semantics): संरचनात्मक अर्थ विज्ञान से जुड़े वाक्यों के लिए संरेखण घटता है। यह इंगित करता है कि संरचनात्मक अर्थ का एनकोडिंग मानव मस्तिष्क के लिए अधिक अद्वितीय है और LLM के आंतरिक प्रतिनिधित्व के साथ कम साझा है।
3. साहचर्य अर्थ विज्ञान (Associative Semantics): यह आयाम संरेखण को महत्वपूर्ण रूप से संशोधित नहीं करता है, जिसका अर्थ है कि साहचर्य अर्थ संबंधी जानकारी को LLM और मानव मस्तिष्क दोनों द्वारा समान रूप से एनकोड किया जाता है।

महत्व
यह शोध दावा करता है कि पदानुक्रमित भाषाई संरचना, LLM-मस्तिष्क संरेखण को चलाने वाला एक महत्वपूर्ण कारक है, जो इस विचार को चुनौती देता है कि संरेखण केवल सांख्यिकीय पैटर्न मिलान का एक उपोत्पाद है। परिणाम यह सुझाव देते हैं कि ये प्रणालियाँ भाषा को संसाधित करने के तरीके में एक सूक्ष्म विचलन रखती हैं: जबकि LLMs और मानव मस्तिष्क साहचर्य अर्थ विज्ञान और वाक्य संरचना के कुछ पहलुओं के लिए साझा प्रतिनिधित्व रखते हैं, मानव मस्तिष्क में संरचनात्मक अर्थ विज्ञान को एनकोड करने की एक विशिष्ट क्षमता है जो GPT2-XL मॉडल में पूरी तरह से प्रतिबिंबित नहीं होती है। यह कार्य इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि LLM-मस्तिष्क संरेखण सामान्य सांख्यिकीय सह-घटित होने के बजाय विशिष्ट भाषाई गुणों द्वारा संचालित होता है।