Mapping Semantic & Syntactic Relationships with Geometric Rotation

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "Mapping Semantic & Syntactic Relationships with Geometric Rotation" (RISE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) और एम्बेडिंग मॉडल्स की व्याख्यात्मकता (interpretability) में एक महत्वपूर्ण अंतराल को संबोधित करता है।

• रैखिक अंकगणित की सीमा (The Limitation of Linear Arithmetic): शुरुआती वर्ड एम्बेडिंग्स (जैसे word2vec) ने सरल वेक्टर अंकगणित (जैसे king - man + woman = queen) के माध्यम से सहज अर्थपूर्ण हेरफेर की अनुमति दी थी। यह लीनियर रिप्रेजेंटेशन हाइपोथेसिस (LRH) पर आधारित था, जो यह मानता है कि अर्थपूर्ण अवधारणाएं रैखिक उप-स्थानों (linear subspaces) में मौजूद होती हैं।
• आधुनिक चुनौती (The Modern Challenge): समकालीन उच्च-आयामी टेक्स्ट रिप्रेजेंटेशन (ट्रांसफॉर्मर्स से प्राप्त) अक्सर अपारदर्शी होते हैं। हालांकि वे अच्छा प्रदर्शन करते हैं, लेकिन उनकी आंतरिक ज्यामितीय संरचना सरल यूक्लिडियन वेक्टर जोड़ (Euclidean vector addition) का उपयोग करके सीधे अर्थपूर्ण संचालन (semantic operations) के अनुरूप नहीं होती है।
• ज्यामितीय बेमेल (The Geometric Mismatch): लेखक तर्क देते हैं कि आधुनिक वाक्य एम्बेडिंग्स (sentence embeddings) चपटे यूक्लिडियन स्पेस के बजाय वक्राकार मैनिफोल्ड्स (curved manifolds) (विशेष रूप से यूनिट हाइपरस्फीयर) पर स्थित होते हैं। मौजूदा स्टीयरिंग और प्रोबिंग विधियां अक्सर यूक्लिडियन ज्यामिति मानती हैं, जिससे क्रॉस-लिंगुअल और क्रॉस-मॉडल प्रदर्शन में विसंगतियां आती हैं।
• लक्ष्य (The Goal): यह निर्धारित करना कि क्या विमर्श-स्तर (discourse-level) के अर्थपूर्ण-व्याकरणिक रूपांतरण (जैसे निषेध/negation, सर्तकता/conditionality) एम्बेडिंग मैनिफोल्ड पर सुसंगत ज्यामितीय संचालन (रोटेशन) के अनुरूप हैं, जो भाषाओं और मॉडल आर्किटेक्चर के बीच सामान्यीकृत (generalize) हो सकें।

2. कार्यप्रणाली: रोटर-इनवेरिएंट शिफ्ट एस्टीमेशन (RISE)

लेखक RISE प्रस्तावित करते हैं, जो एक ज्यामितीय ढांचा है जो अर्थपूर्ण रूपांतरणों को यूनिट हाइपरस्फीयर पर रोटेशनल ऑपरेशंस के रूप में मानता है, जो रिमानियन ज्यामिति (Riemannian geometry) का लाभ उठाता है।

मुख्य अवधारणा (Core Concept)

यूक्लिडियन स्पेस में वेक्टर जोड़ने के बजाय, RISE हाइपरस्फीयर के टेंजेंट स्पेस (tangent space) पर कार्य करता है जहाँ एम्बेडिंग्स स्थित होते हैं। यह मानता है कि किसी वाक्य का अर्थ बदलना (जैसे निषेध जोड़ना) हाइपरस्फीयर पर एक जियोडेसिक (geodesic) (गोले पर सबसे छोटा पथ) के साथ आगे बढ़ने के समान है, न कि एक सीधी रेखा के।

एल्गोरिदम (The Algorithm)

RISE तीन चरणों में आगे बढ़ता है:

1. कैनोनिकलाइजेशन (Canonicalization): एक न्यूट्रल सेंटेंस एम्बेडिंग $n$ और उसके रूपांतरित वेरिएंट $v$ के लिए, विधि एक ऑर्थोगोनल ट्रांसफॉर्मेशन (एक रोटर $R(n)$) की गणना करती है जो $n$ को एक कैनोनिक संदर्भ दिशा $e_1$ में मैप करती है। यह सभी जोड़ों के शुरुआती बिंदु को एक साझा संदर्भ फ्रेम के साथ संरेखित (align) करता है, जिससे अर्थपूर्ण परिवर्तन अलग हो जाता है।
2. प्रोटोटाइप लर्निंग (Prototype Learning):
   • विधि रिमानियन लॉग $\log_n(v)$ की गणना करती है, जो $n$ से $v$ तक के विस्थापन को $n$ पर टेंजेंट स्पेस में प्रोजेक्ट करता है।
   • $n$ को कैनोनिक फ्रेम के साथ संरेखित करने के लिए इस टेंजेंट वेक्टर पर रोटर $R(n)$ लागू किया जाता है।
   • इन संरेखित वेक्टर्स को कई वाक्य जोड़ों में औसत (average) किया जाता है ताकि एक प्रोटोटाइप वेक्टर ($\vec{p}$) बनाया जा सके, जो "औसत" अर्थपूर्ण रूपांतरण (जैसे "negation" का वेक्टर) का प्रतिनिधित्व करता है।
   • सूत्र: $\vec{p} = \frac{1}{M} \sum_{i=1}^{M} R(n_i) \log_{n_i}(v_i)$।
3. भविीकरण (Prediction): एक नए, अनदेखे न्यूट्रल वाक्य $n^*$ पर रूपांतरण लागू करने के लिए:
   • प्रोटोटाइप $\vec{p}$ को रोटर के ट्रांसपोज़ $R(n^*)^\top$ का उपयोग करके $n^*$ के टेंजेंट स्पेस में वापस घुमाया जाता है: $R(n^*)^\top \vec{p}$।
   • $n^*$ से जियोडेसिक के साथ $p$ की लंबाई तक जाने के लिए रिमानियन एक्सपोनेंशियल मैप $\exp_{n^*}$ लागू किया जाता है, जिससे रूपांतरित एम्बेडिंग $v^*$ प्राप्त होता है।
   • सूत्र: $v^* = \exp_{n^*}(R(n^*)^\top \vec{p})$।

प्रमुख सैद्धांतिक गुण (Key Theoretical Properties)

• कम्यूटेटिविटी (Commutativity): शोध पत्र सिद्ध करता है (थ्योरम A.1) कि कई RISE रूपांतरणों (जैसे निषेध फिर सर्तकता) को लागू करने से (सेकंड-ऑर्डर त्रुटि तक) क्रम की परवाह किए बिना सुसंगत परिणाम मिलते हैं, जो इस परिकल्पना का समर्थन करता है कि ये ऑपरेशन टेंजेंट स्पेस में वेक्टर जोड़ की तरह व्यवहार करते हैं।
• मैनिफोल्ड अलाइनमेंट (Manifold Alignment): यूक्लिडियन विधियों के विपरीत, RISE एम्बेडिंग स्पेस की अंतर्निहित वक्रता (intrinsic curvature) का सम्मान करता है।

3. प्रयोगात्मक डिजाइन (Experimental Design)

लेखकों ने एक कठोर सेटअप में RISE का मूल्यांकन किया:

• भाषाएं (Languages): 7 रूपात्मक रूप से विविध भाषाएं (अंग्रेजी, स्पेनिश, जापानी, तमिल, थाई, अरबी, ज़ुलू) जो कई भाषा परिवारों को कवर करती हैं।
• रूपांतरण (Transformations): तीन विमर्श-स्तर के अर्थपूर्ण-व्याकरणिक परिवर्तन:
  1. निषेध (Negation): तार्किक उलटफेर (उच्च अर्थपूर्ण सटीकता)।
  2. सर्तकता (Conditionality): डिक्लेरेटिव को कंडीशनल में बदलना (मोडल सिमेंटिक्स)।
  3. विनम्रता (Politeness): सामाजिक औपचारिकता बढ़ाना (अत्यधिक संदर्भ-निर्भर)।
• मॉडल (Models): विभिन्न आयामों वाले तीन एम्बेडिंग आर्किटेक्चर:
  • text-embedding-3-large (3072-dim, OpenAI)
  • bge-m3 (1024-dim)
  • mBERT (768-dim)
• डेटासेट (Datasets): सिंथेटिक मल्टीलिंगुअल डेटासेट (GPT-4.5 द्वारा उत्पन्न प्रति भाषा 1,000 जोड़े), BLiMP (सिंटैक्टिक), और SICK (सिमेंटिक रिलेटेडनेस)।
• बेसलाइन (Baselines): इसकी तुलना मीन डिफरेंस वेक्टर्स (MDV) (एक स्फेरिकल-अवेयर बेसलाइन) और प्रोक्रस्टेस अलाइनमेंट (Procrustes alignment) (एक मानक लीनियर रोटेशन बेसलाइन) से की गई।

4. प्रमुख परिणाम (Key Results)

• ज्यामितीय निरंतरता (Geometric Consistency): RISE ने विमर्श-स्तर के रूपांतरणों के लिए सुसंगत ज्यामितीय संरचनाओं को सफलतापूर्वक पहचाना।
  • निषेध (Negation): इसने उच्चतम मीन रोटर अलाइनमेंट स्कोर (0.788) प्राप्त किया, जो भाषाओं और मॉडलों में मजबूत, सामान्यीकरण योग्य ज्यामितीय संरचना को दर्शाता है।
  • सर्तकता (Conditionality): इसने उच्चतम स्थिरता और सबसे कम प्रदर्शन परिवर्तनशीलता (0.038) दिखाई, जो यह सुझाव देता है कि कंडीशनल सिमेंटिक्स मजबूत ज्यामितीय पैटर्न द्वारा कैप्चर किए जाते हैं।
  • विनम्रता (Politeness): इसने सबसे अधिक परिवर्तनशीलता (0.060) दिखाई, जो इसके सांस्कृतिक और भाषाई संदर्भ पर निर्भरता को दर्शाता है, फिर भी इसने मध्यम-से-मजबूत स्कोर (0.762 माध्य) प्राप्त किया।
• क्रॉस-लिंगुअल ट्रांसफर (Cross-Lingual Transfer): RISE ने मजबूत ट्रांसफर क्षमता प्रदर्शित की। एक भाषा पर प्रशिक्षित मॉडल अन्य भाषाओं में रूपांतरणों की भविष्यवाणी उच्च सटीकता के साथ कर सकते थे (जैसे अंग्रेजी प्रोटोटाइप ज़ुलू पर काम करते हैं)।
  • आयाम बनाम आर्किटेक्चर (Dimensionality vs. Architecture): दिलचस्प बात यह है कि bge-m3 (1024-dim) ने सबसे सुसंगत क्रॉस-लिंगुअल प्रदर्शन दिखाया, जबकि text-embedding-3-large (3072-dim) का रॉ स्कोर सबसे अधिक था। यह सुझाव देता है कि आर्किटेक्चर और प्रशिक्षण पद्धति, कच्चे आयाम से अधिक महत्वपूर्ण हैं।
• क्रॉस-मॉडल ट्रांसफर (Cross-Model Transfer): text-embedding-3-large में सीखे गए RISE प्रोटोटाइप bge-m3 में महत्वपूर्ण सफलता के साथ मैप किए जा सकते हैं, जो सिद्ध करता है कि विभिन्न मॉडल आर्किटेक्चर के बीच ज्यामितीय अर्थपूर्ण संरचनाएं साझा की जाती हैं।
• बेसलाइन तुलना (Baseline Comparison):
  • RISE बनाम प्रोक्रस्टेस (Procrustes): प्रोक्रस्टेस (लीनियर) क्रॉस-लिंगुअल और क्रॉस-मॉडल सेटिंग्स में काफी विफल रहा (स्कोर <0.65 तक गिर गया), जो पुष्टि करता है कि यूक्लिडियन धारणाएं अपर्याप्त हैं।
  • RISE बनाम MDV: RISE आम तौर पर MDV से बेहतर प्रदर्शन करता है या उसके बराबर रहता है, विशेष रूप से जटिल क्रॉस-लिंगुअल परिदृश्यों में, जो रोटर-आधारित अलाइनमेंट दृष्टिकोण को मान्य करता है।
• डाउनस्ट्रीम प्रदर्शन (Downstream Performance): एक निषेध वर्गीकरण कार्य में, RISE-रूपांतरित एम्बेडिंग्स ने 93.0% सटीकता प्राप्त की, जो MDV (87.2%) से बेहतर है।

5. प्रमुख योगदान (Key Contributions)

1. लीनियर रिप्रेजेंटेशन हाइपोथेसिस (LRH) का विस्तार: यह शोध पत्र LRH को स्थिर वर्ड एम्बेडिंग्स से डायनेमिक, विमर्श-स्तर के सेंटेंस एम्बेडिंग्स तक, बहुभाषी संदर्भों में विस्तारित करता है, और सिद्ध करता है कि अर्थपूर्ण रूपांतरण मैनिफोल्ड पर जियोडेसिक रोटेशन के अनुरूप होते हैं।
2. RISE फ्रेमवर्क: रिमानियन ज्यामिति का उपयोग करके अर्थपूर्ण रूपांतरणों को पहचानने और लागू करने के लिए एक नया, गणितीय रूप से स्थापित तरीका (रोटर-इनवेरिएंट शिफ्ट एस्टीमेशन) पेश करता है, जो यूक्लिडियन स्टीयरिंग वेक्टर्स के लिए एक सिद्धांत-आधारित विकल्प प्रदान करता है।
3. सार्वभौमिक संरचना का प्रमाण: यह पहली बार बड़े पैमाने पर साक्ष्य प्रदान करता है कि विशिष्ट अर्थपूर्ण-व्याकरणिक रूपांतरण (निषेध, सर्तकता) सार्वभौमिक ज्यामितीय संरचना प्रदर्शित करते हैं जो भाषा परिवारों और मॉडल आर्किटेक्चर से परे जाती है।
4. बायस (Bias) की पहचान: वर्तमान बहुभाषी मॉडलों में एक निरंतर अंग्रेजी-केंद्रित पूर्वाग्रह को प्रकट करता है, जहाँ अंग्रेजी के लिए ज्यामितीय संरचनाएं कम-संसाधन वाली भाषाओं (जैसे ज़ुलू) की तुलना में अधिक मजबूत और हस्तांतरणीय हैं।

6. महत्व (Significance)

• व्याख्यात्मकता (Interpretability): RISE मॉडल्स कैसे अर्थ को एनकोड करते हैं, इसे समझने के लिए एक नया लेंस प्रदान करता है, जो "ब्लैक बॉक्स" प्रोबिंग से आगे बढ़कर ज्यामितीय हेरफेर की ओर ले जाता है।
• नियंत्रणीयता (Controllability): यह विधि मॉडल के व्यवहार को नियंत्रित करने (जैसे किसी वाक्य को अधिक विनम्र बनाना या उसे निषेध करना) में सक्षम बनाती है, जिसके लिए फाइन-ट्यूनिंग की आवश्यकता नहीं है, बल्कि सरल ज्यामितीय संचालन का उपयोग किया जाता है।
• सैद्धांतिक आधार (Theoretical Foundation): यह प्रमाणित करके कि अर्थपूर्ण संचालन हाइपरस्फीयर पर रोटेशन की तरह व्यवहार करते हैं, यह कार्य भविष्य के मैनिफोल्ड-आधारित NLP के लिए एक सैद्धांतिक आधार प्रदान करता है, जो सुझाव देता है कि भविष्य के मॉडल्स को गैर-यूक्लिडियन ज्यामिति को ध्यान में रखकर डिज़ाइन या विश्लेषित किया जाना चाहिए।
• व्यावहारिक अनुप्रयोग (Practical Application): भाषाओं और मॉडलों के बीच अर्थपूर्ण रूपांतरणों को मैप करने की क्षमता बहुभाषी AI सिस्टम में क्रॉस-लिंगुअल कंट्रोल, बायस मिटिगेशन (bias mitigation), और मजबूत अर्थपूर्ण संपादन (robust semantic editing) के द्वार खोलती है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि हालांकि आधुनिक एम्बेडिंग्स जटिल हैं, वे एक छिपे हुए, व्याख्यात्मक ज्यामितीय क्रम को बनाए रखते हैं। इस स्थान की वक्राकार प्रकृति का सम्मान करके, RISE एक सुसंगत, क्रॉस-लिंगुअल अर्थपूर्ण नियंत्रण को अनलॉक करता जिसे लीनियर विधियां प्राप्त नहीं कर सकतीं।