Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

तकनीकी सारांश: स्थानीय तुलनाओं पर प्रशिक्षित ट्रांसफॉर्मर में उद्गामी क्रमिक ज्यामिति (Emergent Ordinal Geometry)

समस्या विवरण
यह शोध पत्र इस बात की जांच करता है कि क्या ट्रांसफॉर्मर मॉडल, जिन्हें केवल एक छिपे हुए पूर्ण क्रम (hidden total order) के भीतर स्थानीय (सन्निकट) तुलनाओं पर प्रशिक्षित किया गया है, उसी मौलिक तंत्र को प्राप्त करते हैं जिसका उपयोग जैविक प्रणालियाँ 'ट्रांजिटिव इन्फरेंस' (TI) के लिए करती हैं। TI ज्ञात सन्निकट संबंधों (जैसे $A < B, B < C$) से एक गैर-सन्निकट संबंध (जैसे $A < C$) को अनुमानित करने की क्षमता है। जबकि जैविक संज्ञान इसे एक "एनालॉग मेंटल नंबर लाइन" के माध्यम से हल करता है—जैसा कि प्रतीकात्मक दूरी प्रभाव (symbolic distance effect) से सिद्ध होता है (जहाँ दूर की तुलनाओं को सन्निकट तुलनाओं की तुलना में अधिक तेज़ी से/सटीकता से संसाधित किया जाता है)—ट्रांसफॉर्मर को क्रम को रैखिक रूप से प्रदर्शित करने के लिए स्पष्ट रूप से दबावित नहीं किया जाता है। अध्ययन यह पूछता है कि क्या यह विशिष्ट ज्यामितीय प्रतिनिधित्व और व्यवहार संबंधी हस्ताक्षर, ब्रायंट और ट्रैबसो [1971] के क्लासिक प्रतिमान पर प्रशिक्षित न्यूरल नेटवर्क में स्वतः उत्पन्न होते हैं।

कार्यप्रणाली (Methodology)
लेखकों ने एक छिपे हुए पूर्ण क्रम $N$ संस्थाओं ($e_0 \prec e_1 \prec \dots \prec e_{N-1}$) वाले एक कृत्रिम कार्य का निर्माण किया।

• प्रशिक्षण डेटा (Training Data): मॉडल को दोनों दिशाओं में केवल सन्निकट युग्मों पर प्रशिक्षित किया जाता है ($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$)।
• मूल्यांकन डेटा (Evaluation Data): मॉडल का मूल्यांकन एक विलगित (disjoint) दूरस्थ युग्मों के सेट पर किया जाता है ($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$), जिसके लिए केवल स्थानीय डेटा से वैश्विक क्रम के पुनर्निर्माण की आवश्यकता होती है।
• मॉडल आर्किटेक्चर: एक सिंगल-लेयर ट्रांसफॉर्मर जिसमें एंटिटी एम्बेडिंग्स (entity embeddings), एक अटेंशन हेड (अमूर्त रूप में) या दो (परिणामों में), एक 4d-चौड़ा GELU MLP, और एक लीनियर अनएम्बेडिंग हेड है। संबंध को अंतिम-स्थिति रेसिडुअल (final-position residual) से डिकोड किया जाता है।
• मेट्रिक्स (Metrics):
  1. ज्यामितीय संरचना (Geometric Structure): रैखिकता (प्रथम प्रधान घटक पर विचरण, $\rho_1$) और रैंक संरेखण (प्रक्षेपित स्थिति और वास्तविक रैंक के बीच सहसंबंध) को मापने के लिए एंटिटी एम्बेडिंग्स पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग किया जाता है।
  2. व्यवहार संबंधी हस्ताक्षर (Behavioral Signatures): प्रतीकात्मक दूरी प्रभाव का पता लगाने के लिए निर्णय विश्वास (logit margin) और ज्यामितीय पृथक्करण ($g_{ij}$) को रैंक दूरी ($|i-j|$) के विरुद्ध मापा जाता है।

मुख्य योगदान

1. कृत्रिम कार्य अलगाव: यह शोध पत्र एक नियंत्रित कार्य प्रस्तुत करता है जो स्थानीय तुलनाओं से 'ऑर्डिनल जनरलाइजेशन' को अलग करता है, जो सटीक रूप से जैविक TI प्रतिमान को दर्शाता है।
2. उद्गामी 1D मैनिफोल्ड (Emergent 1D Manifold): यह प्रमाण प्रदान करता है कि ट्रांसफॉर्मर स्वतः ही संस्थाओं की एम्बेडिंग्स को एक एक-आयामी मैनिफोल्ड में व्यवस्थित करते हैं। मुख्य अक्ष (principal axis) इस मैनिफोल्ड के वास्तविक रैंक क्रम को लगभग पूर्ण सटीकता के साथ पुनः प्राप्त करता है।
3. दूरी प्रभाव का कम्प्यूटेशनल अनुरूप: अध्ययन यह प्रदर्शित करता है कि भले ही सटीकता उच्चतम स्तर (ceiling) पर पहुँच जाए, मॉडल 'प्रतीकात्मक दूरी प्रभाव' प्रदर्शित करता है: निर्णय विश्वास और ज्यामितिक पृथक्करण दोनों ही मदों के बीच की रैंक दूरी ($|i-j|$) के साथ निरंतर बढ़ते हैं।

परिणाम
प्रयोग $N=10, 15,$ और $20$ संस्थाओं के सेट पर किए गए।

• ग्रोकिंग जैसी गतिशीलता (Grokking-like Dynamics): आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण का उदय एम्बेडिंग्स के ज्यामितीय पुनर्गठन के साथ मेल खाता है। यह संक्रमण अनुकूलन (विशेष रूप से वेट डिके) के प्रति संवेदनशील है और "ग्रोकिंग" के समान क्षणिक गतिकी उत्पन्न करता है।
• ज्यामितीय रिकवरी: जैसे-जैसे मॉडल सीखता है, एम्बेडिंग्स एक रेखा पर सिमट जाते हैं जहाँ मुख्य घटक वास्तविक रैंक क्रम के साथ संरेखित होता है।
• व्यवहार संबंधी समानता: शिखर OOD सटीकता पर, मॉडल के आंतरिक प्रतिनिधित्व और आउटपुट विश्वास सख्ती से प्रतीकात्मक दूरी प्रभाव का पालन करते हैं। दूर के युग्म न केवल सही ढंग से वर्गीकृत किए जाते हैं, बल्कि उन्हें सन्निकट युग्मों की तुलना में उच्च विश्वास और अधिक ज्यामितीय पृथक्करण के साथ जोड़ा जाता है।

महत्व
यह शोध पत्र दावा करता है कि यह एक 50 साल पुराने व्यवहार संबंधी नियम (TI में प्रतीकात्मक दूरी प्रभाव) को सीखे गए न्यूरल रिप्रजेंटेशन की ज्यामिति में स्थापित करता है। यह प्रदर्शित करके कि ट्रांसफॉर्मर बिना किसी स्पष्ट पर्यवेक्षण के स्वतः ही एक "मेंटल नंबर लाइन" विकसित कर लेते हैं, यह कार्य संज्ञानात्मक विज्ञान और आधुनिक न्यूरल नेटवर्क व्याख्यात्मकता (interpretability) के बीच एक सेतु बनाता है। यह सुझाव देता है कि अमूर्त संबंधिक तर्क (abstract relational reasoning) करने की क्षमता एक पूर्ण क्रम के भीतर स्थानीय बाधाओं को अनुकूलित करने का एक स्वाभाविक परिणाम हो सकती है।