Linear Representations of Hierarchical Concepts in Language Models

यहाँ शोध पत्र "Linear Representations of Hierarchical Concepts in Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जबकि हालिया शोध ने यह स्थापित किया है कि भाषा मॉडल (LMs) अपने आंतरिक निरूपणों (internal representations) में विभिन्न अवधारणात्मक संरचनाओं (जैसे, रंग, स्थानिक संबंध, समय) को कूटबद्ध (encode) करते हैं, पदानुक्रमित अवधारणाओं (hierarchical concepts) (जैसे, $Japan \subset Eastern \ Asia \subset Asia$) का विशिष्ट कूटलेखन अभी भी कम समझ में आया है।

पूर्व के कार्य, जैसे कि पार्क एट अल. (2025) ने दिखाया है कि पदानुक्रमित संबंध भाषा मॉडल के अनएम्बेडिंग लेयर (unembedding layer - अंतिम आउटपुट लेयर) में मौजूद होते हैं। हालाँकि, इस दृष्टिकोण की दो महत्वपूर्ण सीमाएँ हैं:

1. लेयर प्रतिबंध (Layer Restriction): यह मध्यवर्ती परतों (intermediate layers) की अनदेखी करता है जहाँ मॉडल जटिल तर्क (reasoning) करता है और जहाँ कई संबंधपरक गणनाएँ होती हैं।
2. टोकन सीमा (Token Limitation): यह एकल-टोकन अवधारणाओं तक ही सीमित है, जिससे यह मल्टी-टोकन संस्थाओं (जैसे, "Babe Ruth" या "The New York Times Company") को संभालने में विफल रहता है, जो वास्तविक दुनिया के पदानुक्रमों में सामान्य हैं।

इस शोध पत्र का उद्देश्य यह जांचना है कि पदानुक्रमित संबंध मध्यवर्ती परतों में और मल्टी-टोकन संस्थाओं के लिए किस प्रकार और किस सीमा तक कूटबद्ध होते हैं।

2. कार्यप्रणाली: लीनियर हिरार्किकल एनकोडिंग (Linear Hierarchical Encoding - LHE)

लेखक लीनियर हिरार्किकल एनकोडिंग (LHE) प्रस्तावित करते हैं, जो पदानुक्रमित संरचनाओं का विश्लेषण करने के लिए लीनियर रिलेशनल कॉन्सेप्ट्स (LRC) (चानिन एट अल., 2024) का विस्तार है।

• डेटा निर्माण: लेखकों ने पाँच डोमेन में अवधारणा पदानुक्रमों का एक डेटासेट बनाया: स्थान (Locations), व्यक्ति (Persons), संगठन (Organizations), जीव (Organisms), और अनुसंधान विषय (Research Topics)। इन डेटासेट्स में विविध मल्टी-टोकन संस्थाएँ शामिल हैं।
• फिल्टरिंग: यह सुनिश्चित करने के लिए कि मॉडल के पास ज्ञान मौजूद है, डेटा इंस्टेंस को 'फ्यू-शॉट मल्टीपल-चॉइस QA' सेटिंग का उपयोग करके फ़िल्टर किया गया; केवल उन्हीं उदाहरणों को विश्लेषण के लिए रखा गया जिनका मॉडल ने सही उत्तर दिया।
• लीनियर ट्रांसफॉर्मेशन लर्निंग:
  • यह ढांचा एक पदानुक्रम को पैरेंट-चाइल्ड संबंधों की एक श्रृंखला के रूप में मानता है।
  • एक विशिष्ट संबंध $r$ (जैसे, "part-of") के लिए एक विशिष्ट गहराई $d$ (जैसे, गहराई 2 से 3) पर, मॉडल एक लीनियर ट्रांसफॉर्मेशन $R_r$ सीखता है जो चाइल्ड नोड ($s$) के हिडन स्टेट को उसके पैरेंट नोड ($o$) में मैप करता है।
  • ट्रांसफॉर्मेशन को इस प्रकार परिभाषित किया गया है: $R_r(s) = W_r s + b_r$।
  • महत्वपूर्ण रूप से, प्रत्येक पदानुक्रमित गहराई और प्रत्येक सिमेंटिक डोमेन के लिए अलग-अलग ट्रांसफॉर्मेशन सीखे जाते हैं।
• कॉन्सेप्ट वेक्टर्स (Concept Vectors): सीखे गए ट्रांसफॉर्मेशन के स्यूडो-इनवर्स ($W_r^\dagger$) का उपयोग करके, लेखक पैरेंट अवधारणाओं के लिए "कॉन्सेप्ट वेक्टर्स" ($v_{r,c}$) प्राप्त करते हैं। ये वेक्टर्स प्रतिनिधित्व स्थान (representation space) में उस दिशा का प्रतिनिधित्व करते हैं जो एक विशिष्ट पैरेंट अवधारणा (जैसे, "part-of: Asia" के लिए दिशा) के अनुरूप होती है।
• मूल्यांकन मेट्रिक्स (Evaluation Metrics):
  1. सटीकता (Accuracy): यह मापता है कि क्या चाइल्ड नोड के आंतरिक प्रतिनिधित्व को उसके सही पैरेंट की पहचान करने के लिए लीनियरली डिकोड किया जा सकता है।
     $$\hat{y} = \arg \max_c (v_{r,c} \cdot a)$$
  2. कारणता (Causality): यह मापता है कि क्या प्रतिनिधित्व में हेरफेर (कॉन्सेप्ट वेक्टर्स को जोड़ना/घटाना) मॉडल के अगले-टोकन प्रेडिक्शन को कारणवश (causally) बदलता है। उदाहरण के लिए, "Paris" के हिडन स्टेट को "part-of: France" वेक्टर को घटाकर और "part-of: Germany" वेक्टर को जोड़कर बदलने से प्रेडिक्शन बदलकर "Germany" हो जाना चाहिए।

3. मुख्य योगदान

1. मध्यवर्ती परतों और मल्टी-टोकन संस्थाओं तक विस्तार: पूर्व के कार्यों के विपरीत जो अनएम्बेडिंग लेयर और सिंगल टोकन तक सीमित थे, LHE सभी मध्यवर्ती परतों में पदानुक्रमित कूटलेखन का विश्लेषण करता है और जटिल मल्टी-टोकन संस्थाओं को संभालता है।
2. डोमेन-विशिष्ट सबस्पेस (Domain-Specific Subspaces): अध्ययन से पता चलता है कि जबकि पदानुक्रमित जानकारी रिकव (recover) की जा सकती है, इस जानकारी को कूटबद्ध करने वाले विशिष्ट सबस्पेस डोमेन-विशिष्ट होते हैं (जैसे, "Locations" के लिए सबस्पेस "Organisms" से भिन्न होता है)।
3. संरचनात्मक समानता (Structural Similarity): डोमेन विशिष्टता के बावजूद, इन पदानुक्रमित निरूपणों की ज्यामितीय संरचना (geometric structure) सभी डोमेन में अत्यधिक समान है।
4. लो-डायमेंशनल एनकोडिंग: पाया गया कि पदानुक्रमित जानकारी उच्च-आयामी हिडन स्टेट्स (3000–5000 आयाम) के भीतर एक अपेक्षाकृत कम-आयामी सबस्पेस (लगभग 150–250 आयाम) में केंद्रित है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार मॉडलों का मूल्यांकन किया: Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B, और Qwen3 14B।

• LHE की प्रभावशीलता: LHE ने सभी डोमेन में सटीकता (Accuracy) और कारणता (Causality) दोनों में बेसलाइन (Input Averaging और SVM) को काफी पीछे छोड़ दिया। यह पुष्टि करता है कि पदानुक्रमित संबंध मध्यवर्ती परतों में लीनियरली डिकोडेबल और कॉज़ली प्रासंगिक हैं।
• मॉडल तुलना:
  • Llama मॉडल्स ने आम तौर पर उच्च सटीकता और कारणता दिखाई।
  • Qwen3 14B ने उच्च सटीकता दिखाई लेकिन कुछ डोमेन में उल्लेखनीय रूप से कम कारणता दिखाई, जो यह सुझाव देता है कि हालांकि जानकारी मौजूद है, लेकिन यह छोटे मॉडलों की तरह लीनियर रूप से प्रेडिक्शन को संचालित नहीं कर रही है।
• सबस्पेस विश्लेषण:
  • आयामीता (Dimensionality): लीनियर ट्रांसफॉर्मेशन की प्रभावी रैंक 150–250 आयामों पर चरम पर थी, जो पदानुक्रम के संकुचित, लो-डायमेंशनल एनकोडिंग को दर्शाती है।
  • डोमेन विशिष्टता: क्रॉस-डोमेन मूल्यांकन ने दिखाया कि जबकि सटीकता (डिकोडिंग) डोमेन के बीच अपेक्षाकृत स्थिर रही, कारणता (हस्तक्षेप सफलता) तब तेजी से गिरी जब एक डोमेन (जैसे, Locations) पर प्रशिक्षित ट्रांसफॉर्मेशन को दूसरे (जैसे, Persons) पर लागू किया गया। इसका तात्पर्य है कि प्रेडिक्शन का तंत्र (mechanism) डोमेन-विशिष्ट है।
  • संरचनात्मक समानता: पर्सिस्टेंस डायग्राम्स पर टोपोलॉजिकल डेटा एनालिसिस (TDA) और वासेस्टीन डिस्टेंस (Wasserstein distance) का उपयोग करते हुए, लेखकों ने पाया कि विभिन्न डोमेन के बीच पदानुक्रमित प्रतिनिधित्व स्थान का आकार (shape) उल्लेखनीय रूप से समान है, जो गैर-पदानुक्रमित टेक्स्ट डेटासेट्स से भिन्न है।

5. महत्व और निष्कर्ष

यह शोध पत्र इस बात के पुख्ता अनुभवजन्य प्रमाण प्रदान करता है कि भाषा मॉडल पदानुक्रमित अवधारणाओं को एक अत्यधिक व्याख्या योग्य, लीनियर तरीके से कूटबद्ध करते हैं।

• सैद्धांतिक निहितार्थ: यह "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" का समर्थन करता है, यह दिखाते हुए कि पदानुक्रम जैसे जटिल सिमेंटिक स्ट्रक्चर केवल उभरते सांख्यिकीय आर्टिफैक्ट्स नहीं हैं, बल्कि मॉडल की ज्योमेट्री में स्पष्ट रूप से संरचित हैं।
• व्यावहारिक निहितार्थ: लो-डायमेंशनल, डोमेन-विशिष्ट सबस्पेस की खोज यह सुझाव देती है कि पदानुक्रमित ज्ञान को मॉडल के असंबंधित ज्ञान आधार को प्रभावित किए बिना लक्षित (target) किया जा सकता है या उसे नियंत्रित (steer) किया जा सकता है।
• भविष्य की दिशाएं: ये निष्कर्ष इस बात की जांच के नए मार्ग खोलते हैं कि ये निरूपण प्रशिक्षण के दौरान कैसे उभरते हैं और इन-कॉन्टेक्स्ट लर्निंग परिदृश्यों में इन्हें कैसे मॉड्युलेट किया जा सकता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडल पदानुक्रमित अवधारणाओं को एक मोनोलिथिक ब्लॉक के रूप में नहीं, बल्कि डोमेन-विशिष्ट, लो-डायमेंशनल लीनियर सबस्पेस के संग्रह के रूप में प्रस्तुत करते हैं, जो एक सामान्य ज्यामितीय संरचना साझा करते हैं, जिससे पदानुक्रमित ज्ञान का सटीक डिकोडिंग और कॉज़ल मैनिपुलेशन संभव होता है।