💬 NLP

Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

यह शोध पत्र एक ऐसे ढांचे का प्रस्ताव करता है जो भाषा मॉडलों को प्रॉम्प्ट-रिस्पॉन्स युग्मों पर लॉग-लाइक्लीहुड (log-likelihood) या पीएमआई (PMI) वेक्टर्स के रूप में प्रस्तुत करता है ताकि ऐसे मानचित्रों का निर्माण किया जा सके जहाँ दूरियाँ KL डाइवर्जेंस (KL divergence) के करीब हों, जिससे वैश्विक मॉडल संरचनाओं, कार्य प्रदर्शन संबंधों और प्रॉम्प्ट संशोधनों के योगात्मक प्रभावों का विश्लेषण सक्षम हो सके।

मूल लेखक: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

प्रकाशित 2026-03-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास विभिन्न "AI शेफ" (AI chefs) का एक विशाल पुस्तकालय है। कुछ को इतालवी भोजन बनाने के लिए प्रशिक्षित किया गया है, कुछ को सुशी बनाने के लिए, और कुछ ऐसे हैं जो सामान्य विशेषज्ञ हैं और थोड़ा बहुत सब कुछ बना सकते हैं।

अब तक, यदि आप इन शेफ की तुलना करना चाहते थे, तो आपको उन्हें भोजन पकाने के लिए कहना पड़ता था, परिणाम का स्वाद लेना पड़ता था, और फिर यह अनुमान लगाना पड़ता था कि उनकी शैलियाँ कितनी समान हैं। लेकिन क्या होगा यदि उनके द्वारा बनाया गया भोजन केवल एक भाग्यशाली अनुमान था, या यदि उन्होंने उपयोग की गई रेसिपी में थोड़ा बदलाव किया था? यह बताना कठिन है कि वे वास्तव में समान हैं या उन्होंने केवल संयोग से एक ही व्यंजन बना लिया है।

यह शोध पत्र इन AI शेफ (लार्ज लैंग्वेज मॉडल्स) की तुलना करने का एक नया तरीका प्रस्तावित करता है, बिना उनसे खाना बनवाए। इसके बजाय, यह उनके आंतरिक "रेसिपी बुक्स" (internal recipe books) को देखता है कि वे विशिष्ट निर्देशों के प्रति कैसे प्रतिक्रिया देंगे।

यहाँ उनके नए तरीके का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "मेन्यू स्कोर" (कंडीशनल लॉग-लाइक्लीहुड वेक्टर्स - Conditional Log-Likelihood Vectors)

हर AI मॉडल को एक विशाल स्कोरकार्ड के रूप में सोचें।

पुराना तरीका: पुराना तरीका पूछता था, "इस वाक्य के दुनिया में दिखाई देने की कितनी संभावना है?" यह एक शेफ से पूछने जैसा था, "इस बात की कितनी संभावना है कि कोई 'स्पैगेटी' ऑर्डर करेगा?" यह आपको शेफ के सामान्य स्वाद के बारे में बताता है, लेकिन यह नहीं कि वे एक विशिष्ट ऑर्डर को कैसे संभालते हैं।
नया तरीका: यह शोध पत्र कहता है, "आइए देखें कि एक विशिष्ट ऑर्डर के प्रति शेफ कैसे प्रतिक्रिया देता है।"
- प्रॉम्प्ट (ऑर्डर): "मेरे लिए एक स्पाइसी पास्ता बनाओ।"
- रिस्पॉन्स (डिश): "यहाँ एक स्पाइसी पास्ता रेसिपी है।"
- यह पेपर गणना करता है कि उस विशिष्ट ऑर्डर को दिए जाने पर शेफ उस विशिष्ट डिश को कितनी अच्छी तरह बनाएगा।

ऐसा हजारों अलग-अलग ऑर्डर्स के लिए करने से, वे प्रत्येक शेफ के लिए एक वेक्टर (स्कोर की एक सूची) बनाते हैं। यदि आप इन स्कोर के आधार पर सभी शेफ को एक मानचित्र पर रखते हैं, तो समान शैली वाले शेफ एक दूसरे के पास खड़े होते हैं।

2. शेफ के बीच की "दूरी" (KL डाइवर्जेंस - KL Divergence)

इस नए मानचित्र पर, दो शेफों के बीच की दूरी बताती है कि उनकी खाना पकाने की शैलियाँ कितनी भिन्न हैं।

यदि दो शेफ बिल्कुल बगल में खड़े हैं, तो वे आपके ऑर्डर्स के प्रति लगभग एक ही तरह से प्रतिक्रिया देंगे।
यदि वे दूर हैं, तो एक स्पाइसी डिश बना सकता है जबकि दूसरा मीठा डिश बना सकता है, भले ही आपने एक ही चीज़ के लिए पूछा हो।
इस दूरी के पीछे का गणित चतुर है: यह KL डाइवर्जेंस नामक एक जटिल सांख्यिकीय माप का अनुमान लगाता है, जो मूल रूप से मापता है कि "एक शेफ को दूसरे से बदलने पर कितनी जानकारी खो जाती है।"

3. "जादुई सामग्री" (PMI वेक्टर्स - PMI Vectors)

कभी-कभी, एक शेफ सामान्य रूप से खाना बनाने में बहुत अच्छा होता है, चाहे ऑर्डर कुछ भी हो। शायद वे पास्ता को इतना पसंद करते हैं कि वे आपको पास्ता की रेसिपी दे देते हैं भले ही आपने सलाद के लिए पूछा हो। यह "पास्ता के प्रति सामान्य प्रेम" मानचित्र को बिगाड़ सकता है, जिससे शेफ समान लग सकते हैं क्योंकि वे दोनों पास्ता से प्यार करते हैं, न कि इसलिए कि वे आदेशों का पालन करने में अच्छे हैं।

इसे ठीक करने के लिए, लेखक PMI वेक्टर्स पेश करते हैं।

उपमा: कल्पना करें कि आप शेफ के "पास्ता के प्रति सामान्य प्रेम" को उनके "पास्ता ऑर्डर के प्रति प्रतिक्रिया" से घटा देते हैं।
परिणाम: आपके पास एक स्कोर बचता है जो शुद्ध रूप से मापता है: "यह शेफ विशेष रूप से आपके ऑर्डर और डिश के बीच के संबंध के बारे में कितना परवाह करता है?"
यह उन शेफों को अलग करने में मदद करता है जो विशिष्ट डेटा (जैसे एक शेफ जिसने केवल इतालवी कुकबुक से सीखा है) पर प्रशिक्षित हैं, उनसे जो सब कुछ सीख चुके हैं।

4. "प्रॉम्प्ट शिफ्ट" (मानचित्र पर चलना - Prompt Shift)

सबसे रोमांचक खोजों में से एक यह है कि आप अपने ऑर्डर को बदलकर एक शेफ की स्थिति को मानचित्र पर बदल सकते हैं।

प्रयोग: उन्होंने एक शेफ को एक सामान्य ऑर्डर दिया। फिर, उन्होंने उन्हें वही ऑर्डर दिया लेकिन उसमें "Let's think step by step" (AI को स्मार्ट बनाने की एक ट्रिक) वाक्यांश जोड़ दिया।
परिणाम: शेफ ने केवल डिश नहीं बदली; वह मानचित्र पर एक नई जगह पर भौतिक रूप से "स्थानांतरित" हो गया।
जादू: उन्होंने पाया कि ये गतियाँ योगात्मक (additive) हैं।
- "Step-by-Step" के साथ शेफ को हिलाना उत्तर की ओर एक कदम लेने जैसा है।
- "Repeat the order" के साथ शेफ को हिलाना पूर्व की ओर एक कदम लेने जैसा है।
- यदि आप दोनों करते हैं, तो शेफ उत्तर-पूर्व की ओर जाता है, ठीक वहीं जहाँ आप उम्मीद करेंगे यदि आप उन दोनों कदमों को जोड़ दें।

इसका मतलब है कि हम यह अनुमान लगा सकते हैं कि एक जटिल नए ऑर्डर के साथ एक शेफ कैसे व्यवहार करेगा, बस छोटे, ज्ञात परिवर्तनों को जोड़कर।

यह क्यों मायने रखता है?

अनुमान लगाने के खेल नहीं: आपको टेक्स्ट जेनरेट होने का इंतज़ार करने की ज़रूरत नहीं है (जो रैंडम या धीमा हो सकता है) तुलना करने के लिए। आप बस गणित देखते हैं।
बेहतर चयन: यदि आपको एक ऐसे मॉडल की आवश्यकता है जो गणित में बहुत अच्छा है लेकिन रचनात्मक लेखन में बुरा है, तो आप मानचित्र को देख सकते हैं, "मैथ क्लस्टर" (Math Cluster) को ढूंढ सकते हैं, और अपनी ज़रूरतों के सबसे करीब वाले को चुन सकते हैं।
व्यवहार की भविष्यवाणी: आप भविष्यवाणी कर सकते हैं कि यदि आप अपने प्रॉम्प्ट में बदलाव करते हैं तो एक मॉडल कैसे बदलेगा, जिससे आपको ट्रायल और एरर के बिना बेहतर निर्देश डिज़ाइन करने में मदद मिलती है।

संक्षेप में: यह पेपर हमें AI मॉडल्स की दुनिया के लिए एक GPS देता है। उन्हें खाना बनाते देखने के बजाय, हम उनके आंतरिक रेसिपी बुक्स को देखते हैं ताकि यह देख सकें कि वे वास्तव में कहाँ खड़े हैं, निर्देश बदलने पर वे कैसे चलते हैं, और कौन से वास्तव में उन विशिष्ट सामग्रियों पर प्रशिक्षित हैं जिनकी हमें परवाह है।

यहाँ शोध पत्र "Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) अधिक विविध होते जा रहे हैं, एक ऐसी रूपरेखा (framework) की महत्वपूर्ण आवश्यकता है जो उनके व्यवहारों की व्यवस्थित रूप से तुलना कर सके, विशेष रूप से कंडीशनल जनरेशन (conditional generation) सेटिंग्स में (अर्थात, $p(y|x)$ , जहाँ $x$ एक प्रॉम्प्ट के लिए $y$ एक रिस्पॉन्स है)।

LLMs की तुलना करने वाली मौजूदा विधियों को विशिष्ट सीमाओं का सामना करना पड़ता है:

मॉडल इंटरनल्स (Model Internals): विभिन्न आर्किटेक्चर और रिप्रेजेंटेशन स्पेस के बीच वेट्स (weights) या एक्टिवेशन्स की तुलना करना कठिन है।
जेनरेटेड टेक्स्ट (Generated Texts): जेनरेटेड आउटपुट के एम्बेडिंग डिस्टेंस पर आधारित विधियाँ जेनरेशन प्रक्रिया की रैंडमनेस और एम्बेडिंग स्पेस की परिवर्तनशीलता के प्रति संवेदनशील होती हैं।
अनकंडीशनल लॉग-लाइक्लीहुड (Unconditional Log-Likelihoods): पिछले कार्यों (जैसे, Oyama et al., 2025b) ने अनकंडीशनल डिस्ट्रीब्यूशन ( $p(y)$ ) पर आधारित लॉग-लाइक्लीहुड वेक्टर्स का उपयोग किया। यह उन विशिष्ट इनपुट-आउटपुट डिपेंडेंसीज को कैप्चर करने में विफल रहता है जो संवाद और प्रश्नोत्तर जैसे कार्यों के लिए महत्वपूर्ण हैं।

यह शोध पत्र एक साझा, व्याख्या योग्य स्थान (interpretable space) में कई मॉडल्स की कंडीशनल प्रोबेबिलिटी डिस्ट्रीब्यूशन की तुलना करने के अंतराल को संबोधित करता है, जिसमें स्टोकेस्टिक टेक्स्ट जेनरेशन पर निर्भर रहने की आवश्यकता नहीं है।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा फ्रेमवर्क प्रस्तावित करते हैं जो भाषा मॉडल्स को पूर्व-निर्धारित प्रॉम्प्ट-रिस्पॉन्स पेयर्स पर उनके लॉग-लाइक्लीहुड के आधार पर एक यूक्लिडियन स्पेस (Euclidean space) में वेक्टर्स के रूप में प्रस्तुत करता है।

A. कंडीशनल लॉग-लाइक्लीहुड वेक्टर्स (Conditional Log-Likelihood Vectors)

$N$ प्रॉम्प्ट-रिस्पॉन्स पेयर्स के एक डेटासेट $D = \{(x_s, y_s)\}_{s=1}^N$ के लिए, एक लैंग्वेज मॉडल $p_i$ को एक वेक्टर $\ell_i \in \mathbb{R}^N$ द्वारा दर्शाया जाता है:
$\ell_i = (\log p_i(y_1|x_1), \dots, \log p_i(y_N|x_N))^\top$
डेटा को सेंट्रलाइज करने के लिए, मीन लॉग-लाइक्लीहुड को घटाकर एक सेंटर्ड वेक्टर $\xi_i$ बनाया जाता है।

B. सैद्धांतिक आधार: KL डाइवर्जेंस एप्रोक्सिमेशन (Theoretical Foundation: KL Divergence Approximation)

मुख्य सैद्धांतिक योगदान यह दिखाना है कि इन सेंटर्ड वेक्टर्स के बीच का स्क्वेर्ड यूक्लिडियन डिस्टेंस (squared Euclidean distance), इनपुट डिस्ट्रीब्यूशन पर औसत किए गए दो मॉडल्स के कंडीशनल डिस्ट्रीब्यूशन के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस का अनुमान लगाता है:
$KL(p_i, p_j) \approx \frac{1}{2N} \| \xi_i - \xi_j \|^2$
यह इस बात की अनुमति देता है कि वेक्टर स्पेस में दूरी को डिस्ट्रीब्यूशनल अंतर के माप के रूप में व्याख्यायित किया जा सके।

C. PMI वेक्टर्स (PMI Vectors - Pointwise Mutual Information)

रिस्पॉन्स के अनकंडीशनल डिस्ट्रीब्यूशन से प्रॉम्प्ट और रिस्पॉन्स के बीच की डिपेंडेंसी को अलग करने के लिए, लेखक PMI वेक्टर्स पेश करते हैं। इसे कंडीशनल और अनकंडीशनल लॉग-लाइक्लीहुड के अंतर के रूप में परिभाषित किया गया है:
$\Delta \ell_{is} = \log p_i(y_s|x_s) - \log p_i(y_s)$
यह वेक्टर इनपुट $x$ और आउटपुट $y$ के बीच के संबंध की मजबूती पर जोर देता है, प्रभावी रूप से मॉडल के सामान्य टेक्स्ट जेनरेशन बायस (bias) के प्रभाव को हटा देता है।

D. प्रॉम्प्ट शिफ्ट और एडिटिव कंपोजिबिलिटी (Prompt Shift and Additive Compositionality)

फ्रेमवर्क विश्लेषण करता है कि जब इनपुट प्रॉम्प्ट को संशोधित किया जाता है (जैसे, चेन-ऑफ-थॉट वाक्यांश जोड़ना या प्रॉम्प्ट को दोहराना), तो मॉडल्स इस वेक्टर स्पेस में कैसे चलते हैं। लेखक जांचते हैं कि क्या ये शिफ्ट्स एडिटिव कंपोजिबिलिटी (additive compositionality) प्रदर्शित करते हैं, जो वर्ड एम्बेडिंग्स (जैसे, $v_{A+B} \approx v_A + v_B$ ) के समान है।

3. मुख्य योगदान (Key Contributions)

कंडीशनल मॉडल मैप्स (Conditional Model Maps): कंडीशनल लॉग-लाइक्लीहुड वेक्टर्स के आधार पर LLMs को मैप करने के लिए एक नया फ्रेमवर्क, जहाँ दूरियां कंडीशनल डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस का अनुमान लगाती हैं।
प्रॉम्प्ट शिफ्ट विश्लेषण (Prompt Shift Analysis): यह प्रदर्शन कि प्रॉम्प्ट संशोधन मॉडल की स्थिति में व्यवस्थित और अनुमानित बदलाव (shifts) लाते हैं।
एडिटिव कंपोजिबिलिटी (Additive Compositionality): यह खोज कि कंपोजिट प्रॉम्प्ट ऑपरेशन्स (जैसे, CoT + रिपीट प्रॉम्प्ट जोड़ना) के प्रभाव लॉग-लाइक्लीहुड स्पेस में लगभग एडिटिव होते हैं, जिससे कंपोजिट प्रॉम्प्ट प्रभावों की भविष्यवाणी करना संभव हो जाता है।
PMI वेक्टर इंटीग्रेशन (PMI Vector Integration): अनकंडीशनल डिस्ट्रीब्यूशन शोर (noise) को फ़िल्टर करने के लिए PMI वेक्टर्स का परिचय, जो यह दर्शाता है कि वे कुछ संदर्भों में ट्रेनिंग-डेटा-विशिष्ट अंतरों को बेहतर ढंग से दर्शाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो डेटासेट्स: Tulu-3 और Infinity-Instruct का उपयोग करके 552 सार्वजनिक रूप से उपलब्ध LLMs (70B पैरामीटर्स तक) का मूल्यांकन किया।

ग्लोबल स्ट्रक्चर और एट्रिब्यूट्स (Global Structure & Attributes):
- मैप्स ने मॉडल्स को आर्किटेक्चर फैमिली (जैसे, Llama, Mistral, Qwen अलग-अलग क्षेत्रों में) के आधार पर सफलतापूर्वक क्लस्टर किया।
- स्थानिक निकटता (Spatial proximity) परफॉर्मेंस (Open LLM Leaderboard v2 पर औसत स्कोर) के साथ सह-संबंधित है।
प्रॉम्प्ट शिफ्ट विज़ुअलाइज़ेशन (Prompt Shift Visualization):
- विभिन्न प्रॉम्प्ट स्थितियों (Base, CoT, Repeat, Repeat+CoT) के तहत मॉडल्स के मूवमेंट को विज़ुअलाइज़ करने पर व्यवस्थित बदलाव देखे गए।
- एडिटिविटी (Additivity): पाया गया कि "Repeat + CoT" के लिए शिफ्ट वेक्टर, "Repeat" और "CoT" के शिफ्ट वेक्टर्स के योग के लगभग बराबर था (मीडियन रिलेटिव प्रेडिक्शन एरर $\approx 0.062$ )। यह सुझाव देता है कि प्रॉम्प्ट मॉडल्स के व्यवहार को प्रभावित करने के तरीके में एक रैखिक संरचना (linear structure) होती है।
PMI बनाम कंडीशनल मैप्स (PMI vs. Conditional Maps):
- कंडीशनल मैप्स: सामान्य मॉडल व्यवहार और प्रदर्शन को दर्शाते हैं।
- PMI मैप्स: ट्रेनिंग डेटा प्रोवेनेंस (training data provenance) को बेहतर ढंग से उजागर करते हैं। जो मॉडल्स एक विशिष्ट डेटासेट (जैसे, Tulu-3) पर प्रशिक्षित हैं, वे PMI स्पेस में उसी डेटासेट पर मूल्यांकन किए जाने पर घनिष्ठ रूप से क्लस्टर होते हैं, जबकि अनकंडीशनल स्पेस में यह क्लस्टरिंग कमजोर हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation):
- KL एप्रोक्सिमेशन: स्क्वेर्ड यूक्लिडियन डिस्टेंस ने वास्तविक KL डाइवर्जेंस के मोंटे कार्लो अनुमानों के साथ एक मजबूत सहसंबंध ( $\rho = 0.94$ $ρ = 0.94$ ) दिखाया।
  - सिमेंटिक डिस्टेंस: लॉग-लाइक्लीहुड-आधारित दूरियों ने एम्बेडिंग-आधारित सिमेंटिक दूरियों के साथ एक सकारात्मक जुड़ाव दिखाया, लेकिन जेनरेशन रैंडमनेस से बचकर अधिक स्थिरता प्रदान की।

5. महत्व और निहितार्थ (Significance and Implications)

भवितिक शक्ति (Predictive Power): प्रॉम्प्ट शिफ्ट की एडिटिव कंपोजिबिलिटी यह सुझाव देती है कि शोधकर्ता व्यक्तिगत ऑपरेशन्स के प्रभावों को जोड़कर जटिल, कंपोजिट प्रॉम्प्ट इंजीनियरिंग रणनीतियों के व्यवहार संबंधी प्रभाव की भविष्यवाणी कर सकते हैं, जिससे संभावित रूप से पूर्ण इन्फरेंस चलाए बिना प्रदर्शन परिवर्तनों की भविष्यवाणी की जा सकती है।
ट्रेनिंग डेटा विश्लेषण (Training Data Analysis): PMI-आधारित दृष्टिकोण यह विश्लेषण करने के लिए एक नया उपकरण प्रदान करता है कि विशिष्ट ट्रेनिंग डेटा मॉडल व्यवहार को कैसे प्रभावित करता है, जो सामान्य मॉडल क्षमताओं और डेटासेट-विशिष्ट बायस के बीच अंतर करता है।
दक्षता (Efficiency): यह विधि प्रत्येक मॉडल के लिए हजारों टेक्स्ट सैंपल जेनरेट करने की कम्प्यूटेशनल लागत और स्टोकेस्टिक शोर के बिना सैकड़ों मॉडल्स की तुलना करने की अनुमति देती है।
एकीकृत स्थान (Unified Space): यह अनकंडीशनल मॉडल विश्लेषण और व्यावहारिक कंडीशनल जेनरेशन कार्यों के बीच के अंतर को पाटता है, जो LLM विकास और डिस्टिलेशन के अध्ययन के लिए एक एकीकृत ज्यामितीय स्थान प्रदान करता है।

6. सीमाएं (Limitations)

दायरा (Scope): वर्तमान में केवल सार्वजनिक रूप से उपलब्ध वेट्स तक सीमित है; क्लोज्ड मॉडल्स का विश्लेषण नहीं किया जा सकता।
डेटा बायस (Data Bias): प्रयोग इंस्ट्रक्शन-स्टाइल डेटासेट्स पर केंद्रित हैं; कोड, मल्टीलिंगुअल, या लॉन्ग-कॉन्टेक्स्ट कार्यों के लिए सामान्यीकरण अनवेरिफाइड है।
PMI एप्रोक्सिमेशन (PMI Approximation): PMI गणना मार्जिनल प्रोबेबिलिटी के लिए एक एप्रोक्सिमेशन का उपयोग करती है जो शायद वास्तविक परिभाषा से पूरी तरह मेल न खाती हो, और इसकी प्रभावशीलता डेटासेट के अनुसार बदलती है।
ज्यामितीय धारणाएं (Geometric Assumptions): KL एप्रोक्सिमेशन यह मान लेता है कि मॉडल्स डेटा-जेनरेटिंग डिस्ट्रीब्यूशन के करीब हैं; महत्वपूर्ण विचलन सटीकता को कम कर सकते हैं।
विज़ुअलाइज़ेशन (Visualization): विज़ुअलाइज़ेशन के लिए लो-डायमेंशनल प्रोजेक्शन (t-SNE/PCA) का उपयोग किया गया है, जो उच्च-आयामी ज्यामितीय संबंधों को विकृत कर सकता है।