💬 NLP

Semantic Structure of Feature Space in Large Language Models

यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (large language models) में अर्थपूर्ण विशेषताओं (semantic features) की ज्यामितीय संरचना मानव मनोवैज्ञानिक जुड़ावों के अत्यंत निकट है, जो यह प्रकट करती है कि फीचर वेक्टर्स, उनके अंतर-अक्षीय संबंध और स्टीयरिंग प्रभाव, मानव अर्थपूर्ण रेटिंग और सहसंबंधों के अनुरूप हैं।

मूल लेखक: Austin C. Kozlowski, Andrei Boutyline

प्रकाशित 2026-05-01

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Austin C. Kozlowski, Andrei Boutyline

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) को एक विशाल विश्वकोश के रूप में नहीं, बल्कि अदृश्य धागों से भरे एक विशाल, बहु-आयामी कमरे के रूप में कल्पना करें। हाल के वर्षों में, वैज्ञानिकों ने खोजा है कि यदि आप इनमें से एक धागे को खींचते हैं, तो आप AI के व्यवहार को बदल सकते हैं। उदाहरण के लिए, एक "सत्य" (truth) वाले धागे को खींचने से AI अधिक ईमानदार हो सकता है, जबकि एक "विनम्रता" (politeness) वाले धागे को खींचने से वह अधिक विनम्र हो सकता है।

यह शोध पत्र, जिसका शीर्षक "Semantic Structure of Feature Space in Large Language Models" है, एक सरल लेकिन गहरा प्रश्न पूछता है: क्या ये धागे स्वतंत्र हैं, या वे आपस में उलझे हुए हैं?

यहाँ उनके निष्कर्षों का रोजमर्रा के उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. धागे उलझे हुए हैं, अलग नहीं

कल्पना कीजिए कि आपके पास 32 अलग-अलग रंगों के धागों वाला एक कमरा है, जिनमें से प्रत्येक एक अलग अवधारणा का प्रतिनिधित्व करता है जैसे "अच्छा बनाम बुरा," "कोमल बनाम कठोर," या "तेज़ बनाम धीमा।"

पुराना विचार: वैज्ञानिक पहले सोचते थे कि ये धागे पियानो की कुंजियों (keys) की तरह हैं। यदि आप "C" कुंजी (अच्छा) दबाते हैं, तो यह गलती से "D" कुंजी (बुरा) को नहीं दबाता। वे अलग और स्वतंत्र हैं।
नई खोज: लेखकों ने पाया कि AI के "मस्तिष्क" में, ये धागे वास्तव में एक साथ गाँठों में बंधे हुए हैं। यदि आप "अच्छा" वाला धागा खींचते हैं, तो यह स्वाभाविक रूप से "सुंदर" वाले धागे को भी खींच लेता है क्योंकि वे एक-दूसरे के करीब बंधे हुए हैं।

2. AI का मानचित्र मानव मस्तिष्क से मेल खाता है

शोधकर्ताओं ने जानना चाहा कि क्या AI का आंतरिक "गाँठों का जाल" वैसा ही है जैसा इंसान सोचते हैं।

प्रयोग: उन्होंने 360 सामान्य शब्दों (जैसे "पियानो," "सेना," या "बादल") को लिया और दो चीजें पूछीं:
1. इंसान: "1 से 10 के पैमाने पर, एक पियानो कितना 'कोमल' है?"
2. AI: उन्होंने AI के आंतरिक गणित को देखा कि "पियानो" शब्द "कोमल" वाले धागे के कितने करीब है।
परिणाम: AI का आंतरिक मानचित्र मानव मनोविज्ञान का एक दर्पण प्रतिबिंब (mirror image) है। जब इंसान सोचते हैं कि "कोमल" और "सुंदर" एक साथ चलते हैं, तो AI के आंतरिक "कोमल" और "सुंदर" वाले धागे भी एक-दूसरे से बहुत मजबूती से बंधे होते हैं। AI केवल अनुमान नहीं लगा रहा है; इसकी ज्यामितीय संरचना मानवीय संबंधों की नकल करती है।

3. "3-आयामी" रहस्य

मनोवैज्ञानिकों को दशकों से पता है कि जब मनुष्य दुनिया का वर्णन करते हैं, तो हम मुख्य रूप से तीन मुख्य आयामों का उपयोग करते हैं:

मूल्यांकन (Evaluation): (अच्छा बनाम बुरा)
शक्ति (Potency): (मजबूत बनाम कमजोर)
गतिविधि (Activity): (तेज़ बनाम धीमा)

शोधकर्ताओं ने पाया कि AI के 32 जटिल धागों को इन तीन मुख्य दिशाओं में समेटा जा सकता है। यह ऐसा ही है जैसे यह महसूस करना कि भले ही आपके पास 32-बटन वाला रिमोट कंट्रोल है, लेकिन आपको टीवी, वॉल्यूम और चैनल को नियंत्रित करने के लिए वास्तव में केवल तीन बटनों की आवश्यकता है। AI का "मस्तिष्क" अपने सभी जटिल विचारों को इसी सरल 3D आकार में व्यवस्थित करता है जिसका उपयोग मनुष्य करते हैं।

4. "स्पिलओवर" प्रभाव (डोमिनोज़ प्रभाव)

यह अध्ययन का सबसे व्यावहारिक हिस्सा है। शोधकर्ताओं ने AI को "स्टीयर" (नियंत्रित) करने की कोशिश की।

सेटअप: उन्होंने AI को यह सोचने के लिए प्रेरित करने की कोशिश की कि एक शब्द "सुंदर" है, इसके लिए उन्होंने "सुंदर" वाले धागे को खींचा।
आश्चर्य: क्योंकि धागे आपस में गाँठों में बंधे हैं, इसलिए "सुंदर" वाले धागे को खींचने से केवल शब्द "सुंदर" तक ही सीमित नहीं रहा। इसने गलती से उस शब्द को "कोमल" और "दयालु" भी बना दिया।
नियम: "स्पिलओवर" (कि इसने दूसरे धागों को कितना खींचा) की मात्रा ठीक उसी अनुपात में थी जिस अनुपात में वे धागे AI की ज्यामिति में एक-दूसरे के करीब थे। यदि दो अवधारणाएं AI के मन में पड़ोसी की तरह करीब हैं, तो एक को बदलने से दूसरे को बदलना लगभग तय है।

मुख्य निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि हमें AI के फीचर्स को एक-एक करके चालू या बंद किए जाने वाले अलग स्विचों के रूप में नहीं देखना चाहिए। इसके बजाय, हमें उन्हें संबंधों के एक जाल के रूप में सोचना चाहिए।

यदि आप समझना चाहते हैं कि AI "अच्छाई" के बारे में क्या सोचता है, तो आप केवल "अच्छे" वाले धागे को अलग से नहीं देख सकते। आपको उस पूरे जाल को देखना होगा जिससे वह धागा बंधा हुआ है। AI की आंतरिक ज्यामिति यादृच्छिक (random) नहीं है; यह एक संरचित, मानव-समान मानचित्र है जहाँ अवधारणाएँ उनके प्राकृतिक संबंधों द्वारा जुड़ी हुई हैं, ठीक वैसे ही जैसे वे हमारे अपने दिमाग में होती हैं।

यहाँ कोज़लोव्स्की और बुटीलाइन के शोध पत्र "Semantic Structure of Feature Space in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जबकि हालिया शोध ने यह स्थापित किया है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में विशिष्ट अर्थ संबंधी विशेषताएं (जैसे, धोखेबाजी, इनकार, चापलूसी) हिडन स्टेट्स में रैखिक दिशाओं (linear directions) के रूप में एनकोडेड होती हैं, प्रचलित दृष्टिकोण इन विशेषताओं को विलगाव (isolation) में देखता है। यह दृष्टिकोण मानता है कि विशेषताएं ऑर्थोगोनल (स्वतंत्र) हैं। हालाँकि, मनोवैज्ञानिक शोध (विशेष रूप से "सिमेंटिक डिफरेंशियल" परंपरा) यह सुझाव देता है कि मानवीय अर्थ संबंधी जुड़ाव अत्यधिक सह-संबंधित होते हैं और उन्हें एक निम्न-आयामी उप-स्थान (low-dimensional subspace) (जैसे, मूल्यांकन, क्षमता, गतिविधि) में कम किया जा सकता है।

यह शोध एक महत्वपूर्ण अंतराल को संबोधित करता है: क्या LLMs में अर्थ संबंधी विशेषताओं के बीच ज्यामितीय संबंध मानव मनोवैज्ञानिक जुड़ावों को प्रतिबिंबित करते हैं? विशेष रूप से, यह जांचता है कि क्या LLM फीचर स्पेस स्वतंत्र अक्षों से बना है या क्या इसमें सार्थक गैर-ऑर्थोगोनैलिटी (entanglement/उलझाव) प्रदर्शित होता है जो मानवीय सांस्कृतिक और संज्ञानात्मक संरचनाओं को दर्शाता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन Llama 3 मॉडल (3B और 70B) और Qwen3 मॉडलों पर सर्वेक्षण डेटा, एक्टिवेशन विश्लेषण और हस्तक्षेप प्रयोगों को संयोजित करने वाली एक बहु-चरणीय कार्यप्रणाली का उपयोग करता है।

A. डेटा निर्माण (Data Construction)

मानवीय आधार (Human Baseline): 1,750 उत्तरदाताओं के एक सर्वेक्षण ने 360 शब्दों को 32 अर्थ संबंधी पैमानों (जैसे, सुंदर-कुरूप, कोमल-कठोर) पर रेट किया। यह डेटासेट मानवीय अर्थ संबंधी जुड़ावों के लिए 'ग्राउंड ट्रुथ' के रूप में कार्य करता है।
LLM फीचर वेक्टर्स (शब्द): प्रत्येक के 360 शब्दों के लिए, LLM के हिडन स्टेट्स से फीचर वेक्टर्स निकाले गए।
- प्रोटोकॉल: प्रति शब्द चार प्रॉम्प्ट्स का उपयोग किया गया (जैसे, "{word} के बारे में बताएं", "{word} को परिभाषित करें")।
- एक्सट्रैक्शन: एक्टिवेशन को विशिष्ट परतों (3B के लिए लेयर 8, 70B के लिए लेयर 40) से एकत्र किया गया और एक मजबूत एकल वेक्टर बनाने के लिए टोकन और प्रॉम्प्ट्स के माध्यम से औसत निकाला गया।
LLM अर्थ संबंधी अक्ष (LLM Semantic Axes): 32 अर्थ संबंधी अक्षों को एक कॉन्ट्रास्टिव पेयर डिज़ाइन (contrastive pair design) का उपयोग करके बनाया गया।
- प्रत्येक पैमाने (जैसे, अच्छा-बुरा) के लिए, 10 विलोम युग्म (antonym pairs) चुने गए।
- प्रत्येक विलोम के लिए फीचर वेक्टर्स जनरेट किए गए, और अक्ष वेक्टर को सकारात्मक और नकारात्मक विलोम वेक्टर्स के माध्य अंतर के रूप में गणना किया गया:
  $\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$

B. विश्लेषणात्मक तकनीकें (Analytical Techniques)

प्रोजेक्शन कोरिलेशन (Projection Correlation): शब्द फीचर वेक्टर्स को अर्थ संबंधी अक्षों पर प्रोजेक्ट किया गया और इन प्रोजेक्शंस को मानव सर्वेक्षण रेटिंग के साथ सह-संबंधित (correlate) किया गया।
ज्यामितीय संरेखण (Geometric Alignment): यह परीक्षण करने के लिए कि क्या अक्ष स्वयं ऑर्थोगोनल नहीं हैं, अर्थ संबंधी अक्षों के बीच कोसाइन सिमिलरिटी (Cosine Similarities) की गणना की गई। इन ज्यामितीय समानताओं को फिर मानव सर्वेक्षण डेटा में पाए गए युग्मवार सहसंबंधों के साथ सह-संबंधित किया गया।
डायमेंशनलिटी रिडक्शन (Dimensionality Reduction): सर्वेक्षण डेटा और LLM अर्थ संबंधी अक्षों दोनों पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) लागू किया गया ताकि यह निर्धारित किया जा सके कि क्या दोनों स्थानों में भिन्नता (variance) एक निम्न-आयामी उप-स्थान (विशेष रूप से पहले 3 घटकों) द्वारा कैप्चर की जाती है। LLM और मानव डेटा के उप-स्थानों को संरेखित करने के लिए कैनोनिकल कोरिलेशन एनालिसिस (CCA) का उपयोग किया गया।
स्टीयरिंग हस्तक्षेप (Steering Interventions): व्यावहारिक निहितार्थों का परीक्षण करने के लिए, लेखकों ने "स्टीयरिंग" हस्तक्षेप किए।
- तंत्र: एक प्रॉम्प्ट के दौरान रेसिडुअल स्ट्रीम में एक स्केल्ड अर्थ संबंधी अक्ष वेक्टर ( $\alpha \hat{f}$ ) जोड़ा गया जो किसी शब्द को रेट करने के लिए मॉडल को निर्देश देता है।
- मापन: ऑफ-टारगेट पैमानों पर एक विशिष्ट विलोम को चुनने की मॉडल की संभावना में परिवर्तन (स्पिलओवर प्रभाव) को मापा गया।
- परिकल्पना: यदि अक्ष ज्यामितीय रूप से संरेखित हैं, तो एक अक्ष के साथ स्टीयरिंग करने से अन्य अक्षों पर अनुमानित स्पिलओवर प्रभाव पड़ेगा, जो उनके कोसाइन सिमिलरिटी के अनुपात में होगा।

3. मुख्य योगदान (Key Contributions)

मानव-समान ज्यामिति का सत्यापन: यह सिद्ध किया कि LLM फीचर स्पेस की ज्यामितीय संरचना यादृच्छिक या पूरी तरह से ऑर्थोगोनल नहीं है, बल्कि मानव मनोवैज्ञानिक अर्थ संबंधी जुड़ावों को बारीकी से दर्शाती है।
विशेषताओं की गैर-ऑर्थोगोनैलिटी: यह प्रमाणित किया कि LLMs में अर्थ संबंधी अक्ष सार्थक रूप से गैर-ऑर्थोगोनल हैं। दो अक्षों के बीच कोसाइन सिमिलरिटी, मानव सर्वेक्षणों में उन पैमानों के बीच सहसंबंध की भविष्यवाणी करती है।
निम्न-आयामी उप-स्थान: दिखाया कि LLM के अर्थ संबंधी फीचर्स (जैसे मानव डेटा में) में भिन्नता का एक बड़ा हिस्सा एक निम्न-आयामी उप-स्थान (लगभग 3 आयामों) में निहित है, जो क्लासिक मनोविज्ञान में पाए जाने वाले "मूल्यांकन-क्षमता-गतिविधि" (Evaluation-Potency-Activity) ढांचे को पुनरुत्पादित करता है।
अनुमानित स्टीयरिंग स्पिलओवर: ज्यामितीय संरेखण और मॉडल व्यवहार के बीच एक कारण संबंध (causal link) स्थापित किया। एक अर्थ संबंधी अक्ष के साथ मॉडल को स्टीयर करना अन्य अक्षों पर अनुमानित "स्पिलओवर" प्रभाव उत्पन्न करता है, जिसका परिमाण अक्षों के बीच कोसाइन सिमिलरिटी द्वारा निर्धारित होता है।

4. मुख्य परिणाम (Key Results)

प्रोजेक्शन कोरिलेशन: शब्द वेक्टर्स के LLM अर्थ संबंधी अक्षों पर प्रोजेक्शन और उन शब्दों की मानव रेटिंग के बीच एक मजबूत सकारात्मक सहसंबंध ( $r > 0.3$ से $r > 0.8$ ) है। यह छोटे (3B) और बड़े (70B) दोनों मॉडलों के लिए मान्य है।
अक्ष सहसंबंध: LLM अर्थ संबंधी अक्षों के बीच कोसाइन सिमिलरिटी मानव सर्वेक्षण में उन पैमानों के बीच सहसंबंध की अत्यधिक सटीक भविष्यवाणी करती है ( $r \approx 0.8$ )। यह पुष्टि करता है कि मॉडल की आंतरिक ज्यामिति मानवीय सांस्कृतिक जुड़ावों को एनकोड करती है।
PCA संरेखण:
- मानव सर्वेक्षण डेटा प्रभावी रूप से 3 आयामों में कम हो गया।
- LLM अर्थ संबंधी अक्षों ने भी दिखाया कि पहले तीन प्रिंसिपल कंपोनेंट्स अधिकांश भिन्नता (3B के लिए >45%, 70B के लिए >33%) की व्याख्या करते हैं।
- CCA ने LLM और मानव सर्वेक्षण के 3D उप-स्थानों के बीच उच्च सहसंबंध प्रकट किया, जो यह दर्शाता है कि मॉडल इन अवधारणाओं के बारे में मनुष्यों की तरह ही संरचनात्मक रूप से समान तरीके से "सोचते" हैं।
स्टीयरिंग स्पिलओवर:
- किसी शब्द को एक विशिष्ट गुण (जैसे, सुंदर) की ओर स्टीयर करने से मॉडल ने ज्यामितीय रूप से समान गुणों (जैसे, कोमल) पर उस शब्द को उच्च रेटिंग दी।
- दो अक्षों के कोसाइन सिमिलरिटी और स्पिलओवर प्रभाव के परिमाण के बीच एक मजबूत रैखिक संबंध ( $r \approx 0.65 - 0.68$ ) है।
- नोट: 70B मॉडल ने 3B मॉडल की तुलना में छोटा स्पिलओवर परिमाण दिखाया, जो यह सुझाव देता है कि बड़े मॉडल स्टीयरिंग के प्रति अधिक लचीले (resilient) हैं, लेकिन संरचनात्मक संबंध (ज्यामिति द्वारा स्पिलओवर की भविष्यवाणी) सुसंगत रहता है।

5. महत्व और निहितार्थ (Significance and Implications)

विलगाव से परे: ये निष्कर्ष LLM फीचर्स को स्वतंत्र "नॉब्स" (knobs) के कैटलॉग के रूप में देखने की धारणा को चुनौती देते हैं। इसके बजाय, फीचर्स को उनके ज्यामितीय संबंधों और उनके द्वारा बनाए गए उप-स्थानों के माध्यम से समझा जाना चाहिए।
AI सुरक्षा और नियंत्रण: यदि सुरक्षा-महत्वपूर्ण विशेषताएं (जैसे, सत्य-असत्य, सुरक्षित-खतरनाक) एक साझा निम्न-आयामी उप-स्थान में स्थित हैं, तो एक को नियंत्रित करने से ज्यामितीय उलझाव के कारण अनजाने में दूसरों पर प्रभाव पड़ सकता है। यह "फीचर स्टीयरिंग" को जटिल बनाता है लेकिन इन रिलेशनल संरचनाओं को समझकर मॉडलों का ऑडिट करने का एक तरीका भी प्रदान करता है।
रिप्रेजेंटेशन इंजीनियरिंग: यह अध्ययन मान्य करता है कि स्टैटिक वर्ड एम्बेडिंग्स (जैसे कोणों और सांस्कृतिक आयामों का विश्लेषण करना) पर उपयोग की जाने वाली तकनीकें गहरे LLM रिप्रेजेंटेशन के लिए भी लागू और फलदायी हैं।
संज्ञानात्मक संरेखण (Cognitive Alignment): परिणाम बताते हैं कि कच्चे टेक्स्ट पर प्रशिक्षित होने के बावजूद, LLMs दुनिया के मानव संज्ञानात्मक मॉडलों के साथ संरचनात्मक रूप से संरेखित आंतरिक प्रतिनिधित्व विकसित करते हैं, जो इस विचार को पुख्ता करता है कि LLMs मानवीय अर्थ संबंधी संरचनाओं को कैप्चर करते हैं।

निष्कर्षतः, यह शोध तर्क देता है कि फीचर स्पेस की ज्यामिति मानव रूप से सार्थक है। फीचर्स के बीच के कोणों और उनके द्वारा परिभाषित उप-स्थानों को समझना लार्ज लैंग्वेज मॉडल्स की व्याख्या करने, ऑडिट करने और उन्हें नियंत्रित करने के लिए आवश्यक है।