📊 statistics

A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror

यह शोध पत्र एक गणितीय ढांचे का प्रस्ताव करता है जो एक "संयुक्त यूक्लिडियन दर्पण" (joint Euclidean mirror) के माध्यम से लार्ज लैंग्वेज मॉडल प्रतिक्रिया वितरणों को कम-आयामी यूक्लिडियन स्थान में मैप करता है, जो देखे गए मॉडल आउटपुट से अंतर्निहित ट्यूनिंग मापदंडों के विसंगत रूप से सुसंगत अनुमान और रिकवरी को सक्षम बनाता है।

मूल लेखक: Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

प्रकाशित 2026-04-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maximilian Baum, Aranyak Acharyya, Tianyi Chen, Avanti Athreya, Youngser Park, Francesco Sanna Passino, Carey E. Priebe, Zachary Lubberts

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक "ब्लैक बॉक्स" मशीन है जो कहानियाँ लिखती है, सवालों के जवाब देती है या कला बनाती है। यह एक लार्ज लैंग्वेज मॉडल (LLM) है। समस्या यह है कि हमें यह ठीक से नहीं पता कि मशीन अंदर से कैसे काम करती है, और हम उन नॉब्स और डायल (पैरामीटर्स) को भी नहीं देख सकते जिनका उपयोग इंजीनियरों ने इसे ट्यून करने के लिए किया था।

उदाहरण के लिए, एक "टेम्परेचर" (तापमान) का नॉब है जो यह नियंत्रित करता है कि उत्तर कितने रचनात्मक या रैंडम होंगे। एक "बायस" (पूर्वाग्रह) का नॉब है जो मॉडल को कुछ खास विषयों की ओर मोड़ता है। यदि आप इस मशीन द्वारा लिखी गई एक कहानी देखते हैं, तो क्या आप ठीक से पता लगा सकते हैं कि उसे लिखने के लिए किन सेटिंग्स का उपयोग किया गया था? आमतौर पर, उत्तर है "नहीं।"

यह शोध पत्र उस समस्या को हल करने के लिए एक चतुर गणितीय ट्रिक पेश करता है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका स्पष्टीकरण दिया गया है:

1. एक प्रतिक्रिया का "फिंगरप्रिंट" (Fingerprint of a Response)

टेक्स्ट को देखने के बजाय (जो लंबा और अव्यवस्थित हो सकता है), लेखक AI द्वारा दिए गए प्रत्येक उत्तर को संभावनाओं के एक बादल (cloud of possibilities) के रूप में देखते हैं।

उपमा: कल्पना कीजिए कि AI एक डार्टबोर्ड है। यदि आप "टेम्परेचर" को कम रखते हैं, तो डार्ट्स (जवाब) केंद्र में मजबूती से क्लस्टर होते हैं। यदि आप इसे उच्च रखते हैं, तो डार्ट्स पूरे बोर्ड पर बिखर जाते हैं।
शोध पत्र कहता है: "आइए व्यक्तिगत डार्ट्स को देखना बंद करें और पूरे बादल के आकार को देखें।"

2. "मिरर" (दर्पण) की अवधारणा

इसका मुख्य विचार है जिसे जॉइंट यूक्लिडियन मिरर (Joint Euclidean Mirror) कहा जाता है।

उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में एक जटिल, 3D मूर्ति के साथ हैं (AI का व्यवहार)। आप मूर्ति को देख नहीं सकते, लेकिन आप एक सपाट दीवार पर उसकी छाया देख सकते हैं।
"मिरर" एक विशेष गणितीय सतह है जो एक छाया बनाने वाले उपकरण (shadow-casting device) की तरह कार्य करती है। यह AI के जवाबों के जटिल, उच्च-आयामी (high-dimensional) "बादलों" को एक सरल, निम्न-आयामी (low-dimensional) मानचित्र पर समतल कर देती है (जैसे कि कागज का एक 2D टुकड़ा)।
महत्वपूर्ण बात यह है कि यह मानचित्र दूरी को सुरक्षित रखता है। यदि उत्तरों के दो सेट बहुत अलग हैं (जैसे कि एक गंभीर समाचार रिपोर्ट बनाम एक मजाकिया चुटकुला), तो वे मानचित्र पर बहुत दूर दिखाई देंगे। यदि वे समान हैं, तो वे पास दिखाई देंगे।

3. मानचित्र पर नॉब्स को मैप करना

शोधकर्ताओं ने पाया कि यह "शैडो मैप" (छाया मानचित्र) यादृच्छिक नहीं है। इसकी एक संरचना है जो मशीन के नॉब्स से मेल खाती है।

उपमा: कल्पना कीजिए कि मानचित्र एक पहाड़ का स्थलाकृतिक मानचित्र (topographical map) है।
- "टेम्परेचर" के नॉब को घुमाने से आप मानचित्र पर उत्तर-दक्षिण की ओर बढ़ते हैं।
- "बायस" के नॉब को घुमाने से आप पूर्व-पश्चिम की ओर बढ़ते हैं।
भले ही AI एक जटिल ब्लैक बॉक्स है, इसका व्यवहार इस मानचित्र पर एक सुचारू, अनुमानित पथ का अनुसरण करता है।

4. "रिवर्स इंजीनियरिंग" की ट्रिक (पैरमीटर रिकवरी)

यह सबसे रोमांचक हिस्सा है। आमतौर पर, हम सेटिंग्स जानते हैं और पूछते हैं, "AI क्या कहेगा?"

शोध पत्र का नवाचार: वे इसके विपरीत पूछते हैं: "हमारे पास एक कहानी है जो AI ने लिखी है, लेकिन हमें सेटिंग्स नहीं पता। क्या हम सेटिंग्स ढूंढ सकते हैं?"
यह कैसे काम करता है:
1. नई कहानी लें और उसे डेटा के एक "बादल" में बदलें।
2. उस बादल को मिरर मैप पर प्रोजेक्ट करें।
3. देखें कि वह मानचित्र पर कहाँ गिरता है।
4. चूंकि हम जानते हैं कि "उत्तर" का अर्थ "उच्च तापमान" है और "पूर्व" का अर्थ "उच्च बायस" है, इसलिए हम निर्देशांक (coordinates) पढ़ सकते हैं और उस कहानी को बनाने के लिए उपयोग की गई सटीक सेटिंग्स का अनुमान लगा सकते हैं।

5. यह क्यों महत्वपूर्ण है

इसे AI के लिए एक फोरेंसिक टूल की तरह समझें।

गुप्त चीजों का पता लगाना: यदि कोई मॉडल अचानक अजीब व्यवहार करने लगता है, तो हम अपने मानचित्र पर उसकी "छाया" की जांच कर सकते हैं ताकि यह देख सकें कि क्या किसी ने गुप्त रूप से तापमान बदल दिया है या इसमें संवेदनशील डेटा डाल दिया है।
व्यवहार का पूर्वानुमान लगाना: यदि हम जानना चाहते हैं कि AI ऐसी सेटिंग के साथ क्या करेगा जिसे हमने कभी आजमाया नहीं है, तो हम मानचित्र के सुचारू वक्र (smooth curve) को देख सकते हैं और महंगे कंप्यूटर सिमुलेशन को वास्तव में चलाए बिना परिणाम का अनुमान लगा सकते हैं।
मॉडल्स की तुलना करना: यह हमें विभिन्न AI मॉडल्स की तुलना करने का एक मानकीकृत तरीका देता है, उनके कोड (जो अक्सर गुप्त होता है) के माध्यम से नहीं, बल्कि मानचित्र पर उनकी "छाया" कैसी दिखती है, इसके माध्यम से।

सारांश

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक गणितीय GPS बनाता है। यह AI प्रतिक्रियाओं के अराजक, उच्च-आयामी व्यवहार को एक सरल, सुचारू मानचित्र में अनुवादित करता है। एक बार जब आपके पास मानचित्र होता है, तो आप AI के व्यवहार को नेविगेट कर सकते हैं, भविष्यवाणी कर सकते हैं कि यह क्या करेगा, और यहाँ तक कि विशिष्ट आउटपुट बनाने के लिए उपयोग की गई छिपी हुई सेटिंग्स को रिवर्स-इंजीनियर भी कर सकते हैं। यह एक "ब्लैक बॉक्स" को एक पारदर्शी, सुलभ परिदृश्य में बदल देता है।

यहाँ शोध पत्र "A mathematical framework for parameter recovery in large language models via a joint Euclidean mirror" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर "ब्लैक बॉक्स" के रूप में माना जाता है जहाँ आंतरिक पैरामीटर्स (जैसे तापमान/temperature, लॉजिट बायस/logit bias, ट्रेनिंग डेटा एक्सेस) अनऑब्जर्व्ड या अप्राप्य होते हैं। जबकि उनके वेट्स (weights) के आधार पर मॉडल्स की तुलना करना अक्सर मालिकाना प्रतिबंधों के कारण असंभव होता है, उनके आउटपुट रिस्पॉन्स (output responses) के आधार पर तुलना करना संभव है।

मुख्य समस्या जिसका समाधान किया गया है:

संवेदनशीलता को समझना (Understanding Sensitivity): ट्यूनिंग पैरामीटर्स में बदलाव LLM के रिस्पॉन्स डिस्ट्रीब्यूशन को कैसे प्रभावित करते हैं?
पैरामीटर रिकवरी (Parameter Recovery): अनलेबल LLM रिस्पॉन्स के एक सेट को देखते हुए, क्या हम उन विशिष्ट ट्यूनिंग पैरामीटर्स (जैसे तापमान, प्रॉम्प्ट वेटिंग) का अनुमान लगा सकते हैं जिनका उपयोग उन्हें उत्पन्न करने के लिए किया गया था?
ज्यामितीय प्रतिनिधित्व (Geometric Representation): हम रिस्पॉन्स डिस्ट्रीब्यूशन के उच्च-आयामी (high-dimensional) स्थान को एक निम्न-आयामी यूक्लिडियन स्पेस (low-dimensional Euclidean space) में कैसे मैप कर सकते हैं जो उनके बीच के ज्यामितीय संबंधों (दूरियों) को सुरक्षित रखता है?

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो LLM रिस्पॉन्स को एक पैरामीटर वेक्टर $x$ द्वारा इंडेक्स किए गए उच्च-आयामी प्रायिकता वितरण (probability distributions) के रूप में मानता है। वे इन डिस्ट्रीब्यूशन को एक निम्न-आयामी यूक्लिडियन स्पेस में मैप करने के लिए जॉइंट यूक्लिडियन मिरर (Joint Euclidean Mirror) की अवधारणा पेश करते हैं।

A. सैद्धांतिक ढांचा (Theoretical Framework)

डिस्ट्रीब्यूशन का स्थान ( $\mathcal{F}$ ): मान लीजिए $\mathcal{F}$ , $x \in \mathcal{X} \subset \mathbb{R}^d$ द्वारा पैरामीटराइज्ड डिस्ट्रीब्यूशन का एक परिवार है। एक LLM के लिए, $F_x$ विशिष्ट पैरामीटर्स $x$ दिए जाने पर एक विशिष्ट क्वेरी के प्रति रिस्पॉन्स का डिस्ट्रीब्यूशन है।
असमानता मीट्रिक ( $D$ ): $\mathcal{F}$ पर दो रिस्पॉन्स डिस्ट्रीब्यूशन के बीच अंतर मापने के लिए एक डिस्टेंस मीट्रिक (जैसे वासरस्टीन डिस्टेंस/Wasserstein distance) परिभाषित किया गया है।
सटीक यूक्लिडियन रियलाइज़ेबिलिटी (Exact Euclidean Realizability): जोड़ा $(\mathcal{F}, D)$ एक्जेक्टली यूक्लिडियन $c$ -रियलाइज़ेबल है यदि एक निरंतर फलन (continuous function) $f: \mathcal{X} \to \mathbb{R}^c$ मौजूद है जिससे मैप किए गए बिंदुओं के बीच का यूक्लिडियन डिस्टेंस, डिस्ट्रीब्यूशनल डिस्टेंस के बराबर होता है:
$\|f(x) - f(x')\| = D(F_x, F_{x'})$
इस फलन को जॉइंट यूक्लिडियन मिरर कहा जाता है।

B. अनुमान प्रक्रिया (Estimation Procedure - Algorithm 1)

चूंकि वास्तविक डिस्ट्रीब्यूशन अज्ञात हैं, यह विधि देखे गए सैंपल्स का उपयोग करके मिरर का अनुमान लगाती है:

डिस्टेंस मैट्रिक्स अनुमान (Distance Matrix Estimation): $m$ ज्ञात पैरामीटर सेटिंग्स $\{x_1, \dots, x_m\}$ के लिए, प्रत्येक से $n$ सैंपल एकत्र करें। एम्पेरिकल डिस्ट्रीब्यूशन के बीच वासरस्टीन-1 डिस्टेंस (या अन्य मेट्रिक्स जैसे MMD) का उपयोग करके एम्पेरिकल डिसिमिलरिटी मैट्रिक्स $\hat{\Delta}$ की गणना करें।
मिरर वैल्यू अनुमान (Mirror Value Estimation): $\hat{\Delta}$ से $\hat{\Psi} \in \mathbb{R}^{m \times c}$ प्राप्त करने के लिए क्लासिकल मल्टीडायमेंशनल स्केलिंग (CMDS) लागू करें। $\hat{\Psi}$ की पंक्तियाँ (rows) एक रिजिड यूक्लिडियन ट्रांसफॉर्मेशन (रोटेशन/ट्रांसलेशन) तक मिरर वैल्यूज $f(x_i)$ के अनुमान के रूप में कार्य करती हैं।
सरफेस फिटिंग (Surface Fitting): बिंदुओं $\{(x_i, \hat{\Psi}_i)\}$ पर मल्टीवेरिएट सरफेस फिटिंग (जैसे डेलाउनी ट्राइएंगुलेशन इंटरपोलेशन या B-splines) करके एक निरंतर एस्टीमेटर $\hat{f}: \mathcal{X} \to \mathbb{R}^c$ का निर्माण करें।

C. पैरामीटर रिकवरी (Parameter Recovery - Algorithm 2)

अनलेबल सैंपल्स $S_{x^*}$ से अज्ञात पैरामीटर $x^*$ को रिकवर करने के लिए:

अनलेबल सैंपल्स को ज्ञात सैंपल्स के साथ डिस्टेंस मैट्रिक्स गणना में शामिल करें।
अज्ञात सैंपल के लिए अनुमानित मिरर वैल्यू $\hat{f}^*$ प्राप्त करने के लिए विस्तारित $(m+1) \times (m+1)$ मैट्रिक्स पर CMDS करें।
इस ऑप्टिमाइज़ेशन समस्या को हल करें:
$\hat{x} = \arg\min_{s \in \mathcal{X}} \| \hat{f}(s) - \hat{f}^* \|$
यह उस पैरामीटर $s$ को खोजता है जिसका अनुमानित मिरर वैल्यू, देखे गए अज्ञात सैंपल के मिरर वैल्यू के सबसे करीब है।

3. मुख्य योगदान (Key Contributions)

पैरामीटर रिकवरी का औपचारिककरण (Formalization of Parameter Recovery): यह जॉइंट यूक्लिडियन मिरर का उपयोग करते हुए एक सिद्धांत आधारित गणितीय ढांचे के भीतर LLM रिस्पॉन्स से लेटेंट जेनेरेटिव पैरामीटर्स को रिकवर करने की समस्या को औपचारिक रूप देने वाला पहला कार्य है।
यूक्लिडियन मिरर्स का सामान्यीकरण (Generalization of Euclidean Mirrors): डायनेमिक ग्राफ्स के लिए पहले से उपयोग किए जाने वाले यूक्लिडियन मिरर्स की अवधारणा को एक मल्टीवेरिएट सेटिंग में विस्तारित करता है जहाँ दूरियां कई फीचर्स (जैसे तापमान और प्रॉम्प्ट वेट को एक साथ) द्वारा पैरामीटराइज्ड होती हैं।
सांख्यिकीय निरंतरता प्रमाण (Statistical Consistency Proofs): पेपर कठोर एसिम्प्टोटिक प्रमाण प्रदान करता है कि:
- अनुमानित डिस्टेंस मैट्रिक्स वास्तविक डिस्टेंस मैट्रिक्स की ओर अभिसरित (converge) होता है जैसे-जैसे सैंपल साइज $n$ और संख्या में पैरामीटर्स $m$ बढ़ते हैं (प्रपोजिशन 1)।
- अनुमानित मिरर वैल्यूज वास्तविक मिरर वैल्यूज की ओर अभिसरित होते हैं (थ्योरम 1)।
- सरफेस-फिटेड मिरर फंक्शन वास्तविक मिरर की ओर यूनिफॉर्मली अभिसरित होता है (थ्योरम 2)।
- पैरामीटर रिकवरी प्रक्रिया अज्ञात पैरामीटर्स का कंसिस्टेंट एस्टीमेट प्रदान करती है (थ्योरम 3), बशर्ते कि मिरर इन्वर्टिबल हो और जैकोबियन (Jacobian) सुव्यवस्थित हो।
मेट्रिक फ्लेक्सिबिलिटी (Metric Flexibility): हालांकि इसके प्रमाण वासरस्टीन डिस्टेंस का उपयोग करते हैं (जो स्थान, फैलाव और आकार के अंतर को कैप्चर करता है), फ्रेमवर्क विशिष्ट मेट्रिक के प्रति उदासीन (agnostic) है, जिससे टोटल वेरिएशन, KL-डाइवर्जेंस या MMD का उपयोग किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिमुलेशन और वास्तविक दुनिया के LLM प्रयोगों के माध्यम से अपने फ्रेमवर्क को मान्य करते हैं।

सिमुलेटेड डेटा (Gaussian Distributions):
- मिरर एस्टीमेशन: यह प्रदर्शित किया गया कि जैसे-जैसे सैंपल साइज $n$ बढ़ता है, अनुमानित मिरर सरफेस अंतर्निहित फलन के वास्तविक पैराबोलिक आकार की ओर अभिसरित होता है।
- पैरामीटर रिकवरी: एक लीव-वन-आउट विश्लेषण ने दिखाया कि जैसे-जैसे $n$ बढ़ता है, रिकवरी एरर शून्य की ओर जाता है, जो इसकी सैद्धांतिक निरंतरता की पुष्टि करता है।
LLM एप्लीकेशन (ChatGPT):
- सेटअप: R.A. Fisher के बारे में एक प्रॉम्प्ट का उपयोग करके बदलते तापमान ( $t \in [0.1, 0.9]$ ) और प्रॉम्प्ट वेट ( $w \in [10\%, 90\%]$ ) के साथ रिस्पॉन्स जेनरेट किए गए।
- एम्बेडिंग: रिस्पॉन्स को NomicEmbedv1.5 का उपयोग करके एम्बेड किया गया।
- लेटेंट स्ट्रक्चर: डिस्टेंस मैट्रिक्स के आइजनवैल्यू स्पेक्ट्रम ने एक निम्न-आयामी संरचना ( $c=5$ ) का सुझाव दिया।
- विज़ुअलाइज़ेशन: अनुमानित 2D मिरर ने दिखाया कि तापमान और वेट में बदलाव रिस्पॉन्स डिस्ट्रीब्यूशन को अलग-अलग, लगभग ऑर्थोगोनल अक्षों (orthogonal axes) के साथ शिफ्ट करता है। यह इंगित करता है कि ये पैरामीटर्स आउटपुट डिस्ट्रीब्यूशन के स्वतंत्र पहलुओं को नियंत्रित करते हैं।
- रिकवरी: पैरामीटर रिकवरी एल्गोरिदम ने अनदेखे रिस्पॉन्स के लिए तापमान और वेट को ग्राउंड ट्रुथ के साथ एक मजबूत रैखिक संबंध के बावजूद, कुछ बायस और वेरिएंस के साथ सफलतापूर्वक अनुमानित किया।

5. महत्व और प्रभाव (Significance and Impact)

व्याख्यात्मकता (Interpretability): LLM व्यवहार को समझने के लिए एक सुलभ तरीका प्रदान करता है, जो ब्लैक-बॉक्स तुलनाओं से आगे बढ़कर यह बताता है कि विशिष्ट ट्यूनिंग पैरामीटर्स कैसे काम करते हैं।
सुरक्षा और फोरेंसिक (Security and Forensics): मॉडल की जेनरेशन प्रक्रिया के छिपे हुए गुणों को खोजने का एक तरीका प्रदान करता है। संभावित अनुप्रयोगों में शामिल हैं:
- यह पता लगाना कि क्या मॉडल को संवेदनशील या मालिकाना डेटा पर प्रशिक्षित किया गया था।
- किसी विशिष्ट "ट्यूनिंग" या "पर्सोना" की पहचान करना जिसका उपयोग टेक्स्ट जेनरेट करने के लिए किया गया था।
- उन प्रमुख प्रॉम्प्ट फीचर्स को अलग करना जो विशिष्ट मॉडल व्यवहार को संचालित करते हैं।
भविष्यवाणी मॉडलिंग (Predictive Modeling): सीखे गए मिरर सरफेस पर इंटरपोलेशन करके नए, अनऑब्जर्व्ड पैरामीटर वैल्यूज के लिए रिस्पॉन्स डिस्ट्रीब्यूशन की भविष्यवाणी करने में सक्षम बनाता है।
सैद्धांतिक कठोरता (Theoretical Rigor): प्रायिकता वितरणों को उनके ज्यामितीय ढांचे को सुरक्षित रखते हुए एम्बेड करने के लिए एक ठोस सांख्यिकीय आधार स्थापित करता है, जो एब्स्ट्रैक्ट डिस्ट्रीब्यूशन थ्योरी और व्यावहारिक LLM इंजीनियरिंग के बीच के अंतर को पाटता है।

संक्षेप में, यह पेपर उनके आउटपुट डिस्ट्रीब्यूशन के ज्यामिति का विश्लेषण करके लार्ज लैंग्वेज मॉडल्स के ट्यूनिंग पैरामीटर्स को "रिवर्स इंजीनियर" करने के लिए एक गणितीय रूप से सुदृढ़ और सांख्यिकीय रूप से सुसंगत विधि प्रस्तुत करता है।