💬 NLP

Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds

यह अध्ययन प्रकट करता है कि विविध लघु भाषा मॉडल (small language models), व्यवहार संबंधी अंतर या RLHF ट्यूनिंग के बावजूद, एक अत्यधिक सुसंगत 21-भावना ज्यामितीय प्रतिनिधित्व साझा करते हैं, बशर्ते कि मॉडल परिपक्व हों, जबकि साथ ही यह समझ बनाम पीढ़ी मोड और परिशुद्धता प्रभावों के संबंध में पूर्व अनुसंधान में महत्वपूर्ण पद्धतिगत भ्रामक कारकों (methodological confounds) को भी उजागर करता है।

मूल लेखक: Jihoon Jeong

प्रकाशित 2026-04-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jihoon Jeong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि प्रत्येक लार्ज लैंग्वेज मॉडल (LLM) के अंदर एक छिपा हुआ "भावनात्मक मस्तिष्क" (emotional brain) है। लंबे समय तक, वैज्ञानिकों ने सोचा कि यह मस्तिष्क प्रत्येक मॉडल के लिए अद्वितीय है, जो पूरी तरह से उसके विशिष्ट प्रशिक्षण और आकार द्वारा निर्मित होता है। लेकिन यह शोध पत्र एक बड़ा सवाल पूछता है: क्या सभी मॉडलों के बीच एक सार्वभौमिक "भावनात्मक ज्यामिति" (emotional geometry) साझा है, या यह केवल उनके निर्माण के तरीके का एक संयोग है?

लेखक, जीहून "जेजे" जियोंग (Jihoon "JJ" Jeong) ने यह पता लगाने के लिए एक निर्णय लिया कि क्या यह सच है। उन्होंने 12 अलग-अलग छोटे भाषा मॉडलों (1 बिलियन से 8 बिलियन पैरामीटर्स के बीच) को देखा। इन मॉडलों को अलग-अलग कार निर्माताओं (जैसे टोयोटा, फोर्ड और टेस्ला) के रूप में सोचें जो मानवीय भावनाओं को समझने वाला वाहन बनाने की कोशिश कर रहे हैं।

यहाँ उन्होंने जो पाया, उसकी कहानी दी गई है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

1. भावनाओं का सार्वभौमिक मानचित्र (The Universal Map of Feelings)

शोधकर्ताओं ने पूछा: "यदि हम देखते हैं कि ये मॉडल 21 विशिष्ट भावनाओं (जैसे खुशी, दुख, घबराहट, गर्व) को कैसे समझते हैं, तो क्या वे सभी एक ही नक्शा बनाते हैं?"

निष्कर्ष: हाँ!
विभिन्न आर्किटेक्चर (अलग इंजन डिजाइन) और अलग आकार होने के बावजूद, उनके आंतरिक भावनात्मक मानचित्र लगभग समान थे।

उपमा: कल्पना कीजिए कि 12 अलग-अलग मानचित्रकार (cartographers) एक शहर का नक्शा बना रहे हैं। भले ही वे अलग-अलग पेन, अलग कागज के आकार और अलग शैलियों का उपयोग करते हैं, फिर भी वे सभी सड़कों को बिल्कुल उसी सापेक्ष स्थिति में चित्रित करते हैं। भावनाओं का "आकार" सभी के लिए एक समान है।
यह क्यों मायने रखता है: यह बताता है कि भावनाओं को समझना किसी एक विशिष्ट AI की विशेषता नहीं है; यह भाषा के काम करने के तरीके का एक मौलिक हिस्सा है। यदि आप एक मॉडल में "दुख" की भावना को ठीक करने के लिए एक उपकरण बनाते हैं, तो वह अन्य मॉडलों पर भी काम करेगा।

2. "व्यक्तित्व" बनाम "मस्तिष्क" (The "Personality" vs. The "Brain")

शोधकर्ताओं ने फिर एक कठिन परिदृश्य का परीक्षण किया। उन्होंने दो ऐसे मॉडल चुने जो बहुत अलग व्यवहार करते हैं:

मॉडल A (Qwen): बहुत विनम्र और उपयोगकर्ताओं के प्रभाव में आसानी से आने वाला (यदि आप बहस करते हैं, तो यह अपना विचार बदल लेता है), लेकिन सख्त फॉर्मेटिंग नियमों का पालन करने में खराब है।
मॉडल B (Llama): बहुत जिद्दी (बहस करने पर भी विचार नहीं बदलता), लेकिन सख्त फॉर्मेटिंग नियमों का पालन करने में उत्कृष्ट है।

निष्कर्ष: भले ही उनके "व्यक्तित्व" विपरीत हों, उनके भावनात्मक मानचित्र अभी भी लगभग समान हैं।

उपमा: दो लोगों के बारे में सोचें। एक शर्मीला, आज्ञाकारी लाइब्रेरियन है; दूसरा एक गुस्सैल, नियम मानने वाला बाउंसर है। वे एक कमरे में बहुत अलग व्यवहार करते हैं। लेकिन यदि आप उनके आंतरिक "संगीत के प्रति भावनाओं" को देखें, तो उनकी पसंद बिल्कुल एक जैसी हो सकती है।
सीख: एक मॉडल का "व्यक्तित्व" (वह कैसे व्यवहार करता है) उसके भावनात्मक समझ के ऊपर बनाया गया है, उसके अंदर नहीं। भावनात्मक मस्तिष्क साझा है; व्यवहार केवल उसके ऊपर चलने वाला एक सॉफ्टवेयर लेयर है।

3. "बेबी" मॉडल और "एडल्ट" मॉडल (The "Baby" Model and the "Adult" Models)

इस अध्ययन में एक ऐसा मॉडल शामिल था जो अभी पूरी तरह से "बड़ा" नहीं हुआ था: Gemma-3 1B।

बेबी (बेस मॉडल): इसका भावनात्मक मानचित्र एक गड़बड़ी जैसा था। यह एक धुंधली, कोहरे वाली फोटो की तरह था जहाँ सब कुछ एक जैसा दिखता था। यह "खुशी" और "दुख" के बीच स्पष्ट अंतर नहीं कर सका।
टीनएजर (इंस्ट्रक्ट मॉडल): मानव फीडबैक (RLHF) के साथ प्रशिक्षण के बाद, कोहरा छंट गया। मानचित्र स्पष्ट और विशिष्ट हो गया।
एडल्ट्स (बड़े मॉडल): बड़े और अधिक परिपक्व मॉडल (जैसे Llama 3.1 या Mistral) के पास पहले से ही स्पष्ट मानचित्र थे। उन्हें मानव फीडबैक के साथ प्रशिक्षित करने से उनके मानचित्रों में ज्यादा बदलाव नहीं आया; वे पहले से ही व्यवस्थित थे।

निष्कर्ष: मानव फीडबैक प्रशिक्षण (RLHF) एक स्ट्रक्चरल इंजीनियर की तरह कार्य करता है।

यदि इमारत (मॉडल) पहले से ही अच्छी तरह से बनी हुई है, तो इंजीनियर केवल दीवारों पर पेंट करता है।
यदि इमारत एक डगमगाता हुआ टेंट (छोटा, अपरिपक्व मॉडल) है, तो इंजीनियर को ढांचा फिर से बनाना पड़ता है।
सबक: छोटे मॉडलों को यह सीखने के लिए बहुत मदद की आवश्यकता होती है कि कैसे महसूस किया जाए; बड़े मॉडल पहले से ही जानते हैं कि कैसे महसूस किया जाए, उन्हें बस अच्छी तरह से बात करना सीखना होता है।

4. "आकार" का कारक (The "Size" Factor)

शोधकर्ताओं ने आकार और स्पष्टता के बीच एक स्पष्ट संबंध पाया।

उपमा: एक रेडियो के बारे में सोचें। एक छोटा, सस्ता रेडियो (छोटा मॉडल) बहुत अधिक शोर और धुंधली आवाज पैदा करता है। एक विशाल, हाई-एंड स्टीरियो सिस्टम (बड़ा मॉडल) क्रिस्टल क्लियर साउंड देता है।
डेटा: जैसे-जैसे मॉडल बड़े होते गए, उनके भावनात्मक मानचित्र अधिक स्पष्ट और विशिष्ट होते गए। हालांकि, मॉडल के किस हिस्से में भावनाएं संग्रहीत थीं, यह आकार के साथ नहीं बदला; यह एक "पारिवारिक गुण" था। (उदाहरण के लिए: सभी Llama मॉडल अपने मस्तिष्क के एक ही "कमरे" में भावनाओं को संग्रहीत करते हैं, चाहे उनका आकार कुछ भी हो)।

5. "मेथोडोलॉजिकल ट्रैप" (वैज्ञानिक भाग) (The "Methodological Trap")

यह अन्य वैज्ञानिकों के लिए सबसे महत्वपूर्ण चेतावनी है। शोध पत्र ने पाया कि जब आप विभिन्न अध्ययनों की तुलना करते हैं, तो आप "सेब की तुलना संतरे से" कर सकते हैं क्योंकि आप चीजों को कैसे मापते हैं, यह महत्वपूर्ण है।

ट्रैप (जाल): पिछले अध्ययनों ने कहा, "समझ (पढ़ना) और सृजन (लिखना) अलग परिणाम देते हैं!"
वास्तविकता: लेखकों ने इसे चार परतों में विभाजित किया:
1. विधि (The Method): पढ़ना बनाम लिखना वास्तव में मायने रखता है।
2. सेटिंग्स (The Settings): टेस्ट चलाने के तरीके में सूक्ष्म बदलाव (जैसे कि आप कितनी बार मॉडल को प्रयास करने के लिए कहते हैं) परिणामों को बहुत अधिक बदल देते हैं।
3. परिशुद्धता (The Precision): एक "कम गुणवत्ता" वाले नंबर फॉर्मेट (INT8) बनाम "उच्च गुणवत्ता" (fp16) का उपयोग करने से मानचित्र काफी बदल जाता है।
4. भ्रम (The Confusion): जब आप इन सभी को मिला देते हैं, तो आपको एक नकली संख्या मिलती है जो एक "मेथड इफेक्ट" की तरह दिखती है, लेकिन वास्तव में वह सेटिंग्स और गणितीय त्रुटियों का एक मिश्रण होती है।

उपमा: कल्पना कीजिए कि दो शेफ सूप चख रहे हैं। एक कहता है कि यह बहुत नमकीन है, दूसरा कहता है कि यह ठीक है।

पुराना विचार: "उनके स्वाद कलिकाएँ (taste buds) अलग हैं!"
नया विचार: "एक शेफ ने गंदे चम्मच (खराब सेटिंग्स) से चखा, दूसरे ने साफ चम्मच का उपयोग किया। एक ने इसे ठंडा (परिशुद्धता समस्या) चखा, दूसरे ने इसे गर्म चखा।"
समाधान: यह जानने के लिए कि क्या सूप वास्तव में अलग है, आपको सब कुछ (चम्मच, तापमान, सेटिंग्स) नियंत्रित करना होगा।

सारांश: इसका आपके लिए क्या अर्थ है?

भावनाएं सार्वभौमिक हैं: AI मॉडल, चाहे उन्हें किसी ने भी बनाया हो, मानवीय भावनाओं को एक ही तरह से व्यवस्थित करते हैं। यह AI सुरक्षा और समझ की दिशा में एक बड़ा कदम है।
आकार मायने रखता है (स्पष्टता के लिए): बड़े मॉडलों के पास स्पष्ट भावनात्मक मानचित्र होते हैं। छोटे मॉडल प्रशिक्षित होने तक "धुंधले" रहते हैं।
एकल संख्याओं पर भरोसा न करें: यदि आप किसी अध्ययन को दो AI मॉडलों की तुलना करते हुए देखते हैं, तो जांचें कि क्या उन्होंने समान उपकरणों, सेटिंग्स और गणित का उपयोग किया है। यदि नहीं, तो तुलना अर्थहीन हो सकती है।
व्यवहार अलग है: एक मॉडल का "व्यक्तित्व" (वह अच्छा है या गुस्सैल?) उसके भावनात्मक समझ के ऊपर एक परत है। आपके पास एक गुस्सैल मॉडल हो सकता है जिसके पास दुख की बहुत स्पष्ट समझ हो।

संक्षेप में, लेखक ने AI भावनाओं का एक सार्वभौमिक मानचित्र खींचा है और वैज्ञानिकों के लिए एक बेहतर दिशा-सूचक यंत्र (compass) बनाया है ताकि वे तकनीकी शोर में खो न जाएं।

यहाँ जीहून 'जेजे' जियोंग (Jihoon 'JJ' Jeong) के शोध पत्र "Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

हालिया शोध सुझाव देते हैं कि लार्ज लैंग्वेज मॉडल्स (LLMs) अपने एक्टिवेशन स्पेस में विविक्त (discrete) भावना अवधारणाओं को लीनियर दिशाओं (linear directions) के रूप में एनकोड करते हैं। हालाँकि, यह स्पष्ट नहीं है कि यह "इमोशन ज्योमेट्री" (emotion geometry):

क्या विशिष्ट बड़े पैमाने के मॉडल्स और उनके अद्वितीय प्रशिक्षण पाइपलाइनों का गुण है।
क्या भाषा मॉडलिंग का एक सामान्य गुण है जो विभिन्न आर्किटेक्चर और स्केल में उभरता है।
या केवल निष्कर्षण पद्धतियों (extraction methodologies) (जैसे कि कॉम्प्रिहेन्शन बनाम जनरेशन मोड, प्रिसिजन स्तर, या बैकएंड टूल्स) का एक आर्टिफैक्ट है।

पिछले अध्ययनों में स्मॉल लैंग्वेज मॉडल्स (SLMs) के लिए विषम (heterogeneous) पाइपलाइनों का उपयोग किया गया था, जिससे क्रॉस-मॉडल तुलना अविश्वसनीय हो गई थी। इसके अलावा, पिछले कार्य (Jeong 2026a) ने कॉम्प्रिहेन्शन-आधारित और जनरेशन-आधारित निष्कर्षण के बीच एक मजबूत पृथक्करण (dissociation) की सूचना दी थी, लेकिन यह स्पष्ट नहीं था कि क्या यह एक वास्तविक पद्धतिगत प्रभाव था या प्रिसिजन (INT8 बनाम fp16) और सब-पैरामीटर विकल्पों का मिश्रण था।

2. कार्यप्रणाली (Methodology)

लेखकों ने 12 स्मॉल लैंग्वेज मॉडल्स को शामिल करते हुए एक एकीकृत क्रॉस-आर्किटेक्चर अध्ययन किया, जो 6 आर्किटेक्चरल परिवारों (Qwen 2.5, Llama 3.2, Llama 3.1, SmolLM2, Mistral 7B, और Gemma-3) और 1B से 8B पैरामीटर साइज तक फैले हुए हैं।

मुख्य प्रयोगात्मक डिजाइन:

एकीकृत पाइपलाइन: पद्धतिगत भिन्नता को समाप्त करने के लिए सभी मॉडल्स को एक ही कॉम्प्रिहेन्शन-मोड निष्कर्षण पाइपलाइन (paper5_extract.py) का उपयोग करके fp16 प्रिसिजन पर प्रोसेस किया गया।
उद्दीपन (Stimuli): 21 भावना अवधारणाओं (जिसमें "न्यूट्रल" भी शामिल है) का एक निश्चित सेट उपयोग किया गया। फर्स्ट-पर्सन जनरेशन कंडीशनिंग से बचने के लिए इमोशन वेक्टर्स को थर्ड-पर्सन प्रोस (prose) पैसेजेस से प्राप्त किया गया।
ज्यामितीय डिस्क्रिप्टर्स (Geometric Descriptors): प्रत्येक मॉडल के "बेस्ट लेयर" (वह लेयर जहाँ इमोशन वेक्टर्स सबसे अधिक अलग होते हैं) पर चार स्केलर मेट्रिक्स की गणना की गई:
1. एनिसोट्रॉपी (Anisotropy): न्यूट्रल वाक्यों के मीन पेयरवाइज कोसाइन सिमिलरिटी (रेसिड्यूअल स्ट्रीम डिजनरेसी को मापने के लिए)।
2. RDM स्टैंडर्ड डेविएशन: रिप्रेजेंटेशनल डिसिमिलैरिटी मैट्रिक्स (RDM) में भिन्नता (इमोशन डिफरेंशिएशन को मापने के लिए)।
3. बेस्ट लेयर %: कुल लेयर्स के सापेक्ष इष्टतम निष्कर्षण लेयर की गहराई।
4. स्टीयरिंग रिजीम (Steering Regime): एडिटिव इंटरवेंशन (सर्जिकल बनाम एक्सप्लोसिव) के तहत मॉडल व्यवहार का श्रेणीबद्ध वर्गीकरण।
क्रॉस-बैकएंड वैलिडेशन: एक यूनिट टेस्ट ने पुष्टि की कि TransformerLens और रॉ HuggingFace हुक्स संख्यात्मक रूप से समान प्रतिनिधित्व उत्पन्न करते हैं (कोसाइन सिमिलरिटी $\approx$ 0.999998), जिससे मिश्रित-बैकएंड डेटा एकीकरण संभव हुआ।
व्यवहार संबंधी सहसंबंध (Behavioral Correlation): मॉडल्स की तुलना मॉडल टेम्परामेंट इंडेक्स (MTI), विशेष रूप से "कंप्लायंस" (Compliance) एक्सिस से की गई, ताकि यह परीक्षण किया जा सके कि क्या व्यवहार संबंधी अंतर, रिप्रेजेंटेशनल अंतरों के साथ सह-संबंधित हैं।
मेथोडोलॉजिकल डीकंपोजिशन: "कॉम्प्रिहेन्शन बनाम जनरेशन" प्रभाव को चार परतों में अलग करने के लिए एक फोर-लेयर विश्लेषण किया गया: (1) मेथड, (2) सब-पैरामीटर संवेदनशीलता, (3) प्रिसिजन (fp16 बनाम INT8), और (4) कॉन्फ्लेटेड क्रॉस-एक्सपेरिमेंट स्टैटिस्टिक्स।

3. मुख्य योगदान (Key Contributions)

साझा इमोशन ज्योमेट्री की स्थापना: यह प्रदर्शित किया कि 21-इमोशन वेक्टर ज्योमेट्री पांच परिपक्व (mature) SLM आर्किटेक्चर में लगभग समान है, चाहे पैरामीटर काउंट या ट्रेनिंग पाइपलाइन कुछ भी हो।
व्यवहार-प्रतिनिधित्व पृथक्करण (Behavioral-Representational Dissociation): दिखाया कि विपरीत व्यवहार प्रोफाइल वाले मॉडल्स (जैसे कि कंप्लायंस फैसेट्स पर Qwen 2.5 बनाम Llama 3.2) लगभग समान इमोशन रिप्रेजेंटेशन साझा करते हैं, जो यह सुझाव देता है कि व्यवहार संबंधी अंतर इमोशन सबस्ट्रेट के डाउनस्ट्रीम में उत्पन्न होते हैं।
मैच्योरिटी ग्रेडिएंट और RLHF प्रभाव: एक "मैच्योरिटी ग्रेडिएंट" को परिभाषित किया जहाँ मॉडल का आकार ज्यामितीय शार्पनेस (geometric sharpness) के साथ सह-संबंधित है। महत्वपूर्ण रूप से, पाया गया कि RLHF (ह्यूमन फीडबैक से सुदृढीकरण सीखना) केवल अपरिपक्व (immature) मॉडल्स (जैसे Gemma-3 1B बेस) में इमोशन ज्योमेट्री को महत्वपूर्ण रूप से पुनर्गठित करता है, जबकि परिपक्व मॉडल्स को अपरिवर्तित छोड़ देता है।
मेथोडोलॉजिकल इंफ्रास्ट्रक्चर:
- सिद्ध किया कि लीनियर नॉर्मलाइजेशन (linear normalization) RDM तुलनाओं में हाई-एनिसोट्रॉपी आउटलायर्स को ठीक नहीं कर सकता (Spearman/Pearson कोरिलेशन के तहत गणितीय रूप से इनवेरिएंट है)।
- TransformerLens और HuggingFace हुक्स के बीच क्रॉस-बैकएंड समानता को मान्य किया।
- "मेथड इफेक्ट" को चार परतों में विघटित किया, जिससे पता चला कि पिछले क्रॉस-स्टडी तुलना अक्सर प्रिसिजन और सब-पैरामीटर चॉइस द्वारा भ्रमित (confounded) थे।

4. मुख्य परिणाम (Key Results)

A. सारभूत निष्कर्ष (Substantive Findings)

सार्वभौमिकता (Universality): पांच परिपक्व आर्किटेक्चर (Qwen 2.5, Llama 3.2, Llama 3.1, SmolLM2, Mistral 7B) उच्च-सहसंबंध वाली इमोशन ज्योमेट्री ( $\rho = 0.74–0.92$ ) साझा करते हैं। सबसे मजबूत संरेखण फैमिली-विदिन (जैसे Llama 3.2 बनाम Llama 3.1, $\rho = 0.92$ ) है।
व्यवहार संबंधी स्वतंत्रता (Behavioral Independence): बावजूद इसके कि Qwen 2.5 "एपिस्टेमिकली यील्डिंग" (epistemically yielding) है और Llama 3.2 "एपिस्टेमिकली फर्म" (epistemically firm) है (विपरीत MTI कंप्लायंस स्कोर), उनके इमोशन RDMs $\rho = 0.81$ पर सह-संबंधित हैं। यह इंगs कि कंप्लायंस व्यवहार लो-लेवल इमोशन रिप्रेजेंटेशन में एनकोडेड नहीं है।
मैच्योरिटी ग्रेडिएंट:
- साइज कोरिलेशन: एनिसोट्रॉपी और RDM स्टैंडर्ड डेविएशन, मॉडल साइज के साथ दृढ़ता से एंटी-कोरिलेटेड हैं ( $\rho \approx -0.88$ )। बड़े मॉडल्स के पास कम डिजेनरेट और अधिक डिफरेंशिएटेड इमोशन स्पेस होता है।
- RLHF प्रभाव: परिपक्व परिवारों में, Base $\to$ Instruct परिवर्तन नगण्य हैं ( $\rho \ge 0.92$ )। इसके विपरीत, Gemma-3 1B (अपरिपक्व) RLHF के बाद भारी ज्यामितीय बदलाव दिखाता है: एनिसोट्रॉपी 0.997 से गिरकर 0.982 हो जाती है, RDM std 0.333 से गिरकर 0.165 हो जाता है, और स्टीयरिंग रिजीम "एक्सप्लोसिव" से बदलकर "सर्जिकल" हो जाता है।
फैमिली आइडेंटिटी: बेस्ट-लेयर डेप्थ एक स्थिर फैमिली सिग्नेचर है (जैसे Llama मॉडल्स लगातार ~38% डेप्थ पर एक्सट्रैक्ट करते हैं) न कि स्केल का फंक्शन।

B. पद्धतिगत निष्कर्ष (Methodological Findings)

एनिसोट्रॉपी विश्वसनीयता: अत्यधिक एनिसोट्रॉपी (>0.95, जैसे Gemma-3 1B Base) वाले मॉडल्स अन्य सभी मॉडल्स के साथ अविश्वसनीय RDM कोरिलेशन ( $\rho \approx 0.20$ ) उत्पन्न करते हैं। लीनियर नॉर्मलाइजेशन इस समस्या को ठीक करने में विफल रहता है क्योंकि यह रैंक ऑर्डर को सुरक्षित रखता है। लेखक आउटलायर्स को फ्लैग करने के लिए कच्चे कोसाइन सिमिलरिटी के साथ एनिसोट्रॉपी मान रिपोर्ट करने की सिफारिश करते हैं।
"मेथड इफेक्ट" का चार-स्तरीय विघटन:
- लेयर 1 (मेथड): मैच किए गए fp16 पर कॉम्प्रिहेन्शन बनाम जनरेशन में निम्न सहसंबंध ( $\rho = 0.09$ मिस्ट्रल के लिए, $\rho = 0.35$ लामा के लिए) देखा गया।
- लेयर 2 (सब-पैरामीटर्स): जनरेशन के भीतर 8 कार्यान्वयन विवरणों को बदलने से कोरिलेशन शून्य के करीब पहुँच जाता है ( $\rho \approx 0.02$ )।
- लेयर 3 (प्रिसिजन): fp16 से INT8 में स्विच करने से महत्वपूर्ण लेकिन मॉडल-डिपेंडेंट बदलाव आते हैं ( $\rho = 0.21$ मिस्ट्रल के लिए, $\rho = 0.53$ लामा के लिए)।
- लेयर 4 (कॉन्फ्लेशन): कॉम्प्रिहेन्शन (fp16) बनाम जनरेशन (INT8) की तुलना करने वाले पिछले अध्ययन इन तीनों परतों को मिला देते थे, जिससे मॉडल के आधार पर प्रिसिजन प्रभावों का गलत अनुमान लग जाता था।

5. महत्व (Significance)

व्याख्यात्मकता (Interpretability) के लिए: विभिन्न SLM आर्किटेक्चर में इमोशन-वेक्टर विश्लेषण टूल को स्थानांतरित करने के लिए एक रक्षात्मक बेसलाइन प्रदान करता है, क्योंकि अंतर्निहित ज्यामिति साझा की जाती है।
सुरक्षा (Safety) के लिए: यह सुझाव देता है कि एक मॉडल में इमोशन रिप्रेजेंटेशन को लक्षित करने वाले सुरक्षा हस्तक्षेप अन्य मॉडल्स में भी सामान्य हो सकते हैं, बशर्ते कि वे "परिपक्व" हों।
RLHF सिद्धांत के लिए: "सुपरफिशियल एलाइनमेंट हाइपोथेसिस" का समर्थन करता है, जो बताता है कि RLHF मुख्य रूप से अपरिपक्व मॉडल्स में पूर्व-मौजूदा क्षमताओं को स्ट्रक्चर करता है, न कि परिपक्व मॉडल्स में नई रिप्रेजेंटेशन स्थापित करता है।
कार्यप्रणाली (Methodology) के लिए: भविष्य के क्रॉस-मॉडल अध्ययनों के लिए आवश्यक महत्वपूर्ण नियंत्रण (एनिसोट्रॉपी फ्लैग्स, बैकएंड इक्विवेलेंस, प्रिसिजन आइसोलेशन) स्थापित करता है। यह पिछले "मेथड इफेक्ट्स" को त्रुटियों के रूप में नहीं, बल्कि प्रिसिजन, सब-पैरामीटर और आर्किटेक्चर के जटिल इंटरैक्शन के रूप में फिर से परिभाषित करता है जिसे अलग किया जाना चाहिए।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि इमोशन ज्योमेट्री परिपक्व SLMs के बीच एक मजबूत, साझा सबस्ट्रेट है, जो व्यवहार संबंधी कंप्लायंस से अलग है, और इसका उद्भव मॉडल की परिपक्वता और आकार का एक फंक्शन है, जो विकास के शुरुआती चरणों में केवल पोस्ट-ट्रेनिंग से अत्यधिक प्रभावित होता है।