💬 NLP

Measuring Semantic Progress in Multi-turn Dialogue via Information Gain

यह शोध पत्र बहु-टर्न संवादों (multi-turn dialogues) में सिमेंटिक प्रोग्रेस (semantic progress) को कुशलतापूर्वक मापने के लिए प्रश्न-सशर्त अनिश्चितता न्यूनीकरण (question-conditioned uncertainty reduction) और गॉसियन एम्बेडिंग स्पेस विश्लेषण पर आधारित एक सूचना-सैद्धांतिक मीट्रिक प्रस्तुत करता है, जो संसाधन-गहन LLM-आधारित मूल्यांकन पर निर्भर हुए बिना मानव निर्णयों के साथ प्रतिस्पर्धी संरेखण प्राप्त करता है।

मूल लेखक: Paul He, Shiva Kasiviswanathan, Dominik Janzing

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paul He, Shiva Kasiviswanathan, Dominik Janzing

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी दोस्त से एक विशिष्ट रेसिपी खोजने के लिए मदद मांग रहे हैं। आप केवल एक वाक्य वाला जवाब नहीं चाहते; आप चाहते हैं कि एक बातचीत हो जहाँ वे उत्तर खोजने में आपकी मदद करें।

यह शोध पत्र एक नया तरीका पेश करता है कि यह मापा जाए कि वह बातचीत कितनी अच्छी चल रही है। यह पूछने के बजाय कि, "क्या दोस्त विनम्र था?" या "क्या उन्होंने स्पष्ट रूप से बात की?", लेखक एक बहुत ही विशिष्ट प्रश्न पूछते हैं: "क्या दोस्त वास्तव में हमें नई, उपयोगी जानकारी दे रहा है जो समस्या को हल करने में मदद करती है, या वे केवल अपनी ही बातें दोहरा रहे हैं?"

यहाँ उनके विचार का विवरण दिया गया है, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:

1. समस्या: "बक-बक" बनाम "अहा!" क्षण

एक लंबी बातचीत में, यह बताना कठिन होता है कि क्या आप प्रगति कर रहे हैं।

अच्छी प्रगति: आप पूछते हैं, "मैं ब्रेड कैसे बनाऊं?" दोस्त कहता है, "आपको मैदा चाहिए।" (नई जानकारी)। आप पूछते हैं, "किस प्रकार का?" वे कहते हैं, "ब्रेड फ्लोर सबसे अच्छा काम करता है।" (नई जानकारी)। आप पूछते हैं, "कितना?" वे कहते हैं, "दो कप।" (नई जानकारी)। आप उत्तर के करीब पहुँच रहे हैं।
खराब प्रगति: आप पूछते हैं, "मैं ब्रेड कैसे बनाऊं?" दोस्त कहता है, "आपको मैदा चाहिए।" फिर वे कहते हैं, "मैदा महत्वपूर्ण है।" फिर, "आपको निश्चित रूप से मैदा चाहिए।" फिर, "मैदा मुख्य है।" उन्होंने आपको कुछ भी नया नहीं बताया है; वे केवल एक ही विचार को दोहरा रहे हैं।

लेखक इस अच्छी चीज़ को "सिमेंटिक प्रोग्रेस" (Semantic Progress) कहते हैं। यह नई, प्रासंगिक और गैर-पुनरावृत्ति (non-redundant) जानकारी का संचय है।

2. समाधान: "अनसर्टेन्टी श्रिंक" (Uncertainty Shrink) मीटर

लेखकों ने इस प्रगति को मापने के लिए एक गणितीय उपकरण बनाया है। वे यह नहीं देखते कि एक सुपर-स्मार्ट AI पूरी बातचीत को पढ़े और ग्रेड दे (जो धीमा और महंगा है)। इसके बजाय, वे अनिश्चितता (uncertainty) पर आधारित एक चतुर शॉर्टकट का उपयोग करते हैं।

एक धुंधले कमरे के बारे में सोचें।

शुरुआत में: कमरा बहुत धुंधला है। आपको नहीं पता कि ब्रेड कैसे बनाई जाती है।
हर नई उपयोगी जानकारी के साथ: दोस्त आपको एक तथ्य देता है। हर बार जब वे एक नया तथ्य देते हैं, तो कमरे की धुंध थोड़ी कम हो जाती है।
हर दोहराई गई जानकारी के साथ: यदि दोस्त दोहराता है "आपको मैदा चाहिए," तो धुंध कम नहीं होती क्योंकि आप पहले से ही यह जानते थे।

लेखकों का उपकरण मापता है कि बातचीत के हर मोड़ के साथ "धुंध" (अनिश्चितता) कितनी कम होती है।

नई जानकारी = धुंध में बड़ी कमी = उच्च स्कोर।
दोहराई गई जानकारी = धुंध में बहुत कम या कोई कमी नहीं = कम स्कोर।

3. गणित कैसे काम करता है (द "गौसियन" ट्रिक)

बिना किसी इंसान द्वारा हर शब्द पढ़े यह करने के लिए, वे "गौसियन इंफॉर्मेशन गेन" (Gaussian Information Gain) की अवधारणा का उपयोग करते हैं।

कल्पना करें कि बातचीत एक मानचित्र (map) है।
हर बार जब AI एक उत्तर देता है, तो वह मानचित्र पर एक नई रेखा खींचता है।
यदि रेखा एक नई जगह जाती है, तो मानचित्र अधिक विस्तृत हो जाता है (अनिश्चितता कम हो जाती है)।
यदि रेखा केवल उसी स्थान पर बार-बार जाती है, तो मानचित्र अधिक विस्तृत नहीं होता है।

वे एक विशिष्ट गणितीय सूत्र (जिसमें "लॉग-डिटरमिनेंट" शामिल है) का उपयोग करते हैं जो स्वचालित रूप से जानता है:

मोनोटोनिसिटी (Monotonicity): स्कोर कभी कम नहीं हो सकता; यह केवल बढ़ता है या स्थिर रहता है क्योंकि आप इसमें अधिक मोड़ जोड़ रहे हैं।
घटता हुआ प्रतिफल (Diminishing Returns): पहली बार जब आप "मैदा" सुनते हैं, तो यह बहुत कीमती होता है। दसवीं बार जब आप इसे सुनते हैं, तो इसका मूल्य लगभग शून्य होता है। गणित स्वाभाविक रूप से इसे संभालता है ताकि AI को केवल अधिक बातें करने के लिए पुरस्कृत न किया जाए।

4. यह क्यों एक बड़ी बात है

आमतौर पर, चैटबॉट को ग्रेड देने के लिए, कंपनियाँ अन्य विशाल AI मॉडलों (जैसे GPT-4) का उपयोग करती हैं जो न्यायाधीश (judge) के रूप में कार्य करते हैं। यह हर होमवर्क असाइनमेंट को ग्रेड देने के लिए एक महंगे प्रोफेसर को काम पर रखने जैसा है। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है।

यह नया तरीका अलग है:

यह तेज़ है: यह सेकंडों में एक मानक कंप्यूटर प्रोसेसर (CPU) पर चलता है, मिनटों में नहीं।
यह सुसंगत है: यह थकता नहीं है, यह समय के साथ भ्रमित नहीं होता है, और यह हर बार बिल्कुल वही स्कोर देता है जब आप इसे चलाते हैं।
यह केंद्रित है: यह यह निर्णय लेने की कोशिश नहीं करता कि AI "मजाकिया" है या "सुरक्षित" है। यह सख्ती से यह निर्णय लेता है कि क्या AI आपको उत्तर खोजने में मदद कर रहा है।

5. उन्होंने क्या पाया

उन्होंने अपने टूल का परीक्षण वास्तविक दुनिया की तीन बड़ी बातचीत के सेटों (MT-Bench, Chatbot Arena, और UltraFeedback) पर किया।

परिणाम: उनका टूल एक प्रमुख परीक्षण में मानव प्राथमिकताओं के साथ लगभग 84% बार सहमत हुआ। यह "AI जज" मॉडलों के समान या कभी-कभी उनसे बेहतर है।
गति: उनका टूल AI जजों की तुलना में 3 से 10 गुना तेज़ था।
आश्चर्य: यहाँ तक कि बहुत छोटे, हल्के कंप्यूटर मॉडल भी यह काम अच्छी तरह से कर सकते थे। आपको यह मापने के लिए कि क्या एक बातचीत वास्तव में आगे बढ़ रही है, किसी विशाल सुपर-कंप्यूटर की आवश्यकता नहीं है।

सारांश

यह शोध पत्र हमें बातचीत के लिए एक तेज़, सस्ता और विश्वसनीय "प्रोग्रेस बार" प्रदान करता है। यह हमें बताता है कि क्या एक AI नई जानकारी जोड़कर वास्तव में किसी समस्या को हल कर रहा है, या क्या यह केवल चक्कर काट रहा है और खुद को दोहरा रहा है। यह सुनिश्चित करने का एक तरीका है कि एक बहु-चरण (multi-turn) चैट में, हम वास्तव में आगे बढ़ रहे हैं, न कि केवल गोल-गोल घूम रहे हैं।

तकनीकी सारांश: सूचना लाभ (Information Gain) के माध्यम से बहु-चरण संवाद में सिमेंटिक प्रगति का मापन

समस्या विवरण
बहु-चरण संवाद (multi-turn dialogue) का मूल्यांकन करना स्वाभाविक रूप से कठिन है क्योंकि गुणवत्ता अक्सर अलग-थलग प्रतिक्रियाओं के बजाय पूरी बातचीत के दौरान उभरती है। जबकि मौजूदा विधियाँ समग्र गुणवत्ता (प्रवाह, सुरक्षा, शैली) या कार्य-विशिष्ट सफलता पर ध्यान केंद्रित करती हैं, सूचना-खोज वाले संवादों में सिमेंटिक प्रगति (semantic progress) को मापने के लिए विशेष रूप से डिज़ाइन किए गए कुशल और पुनरुत्पादनीय मेट्रिक्स की कमी है। यहाँ सिमेंटिक प्रगति को एक बातचीत के दौरान नए, प्रश्न-प्रासंगिक और गैर-अतिरेक (non-redundant) सूचना के संचय के रूप में परिभाषित किया गया है। वर्तमान अत्याधुनिक इवैल्यूएटर्स, जैसे कि "LLM-as-a-judge" दृष्टिकोण, कम्प्यूटेशनल रूप से महंगे हैं, प्रॉम्प्टिंग और मॉडल संस्करणों के प्रति संवेदनशील हैं, और ऑटोरिग्रेसिव इन्फरेंस (autoregressive inference) पर निर्भर करते हैं, जो उन्हें बड़े पैमाने पर रिग्रेशन टेस्टिंग या निरंतर निगरानी के लिए अव्यावहारिक बनाते हैं।

कार्यप्रणाली (Methodology)
लेखक सिमेंटिक प्रगति को प्रश्न-सशर्त सिमेंटिक अनिश्चितता न्यूनीकरण (question-conditioned semantic uncertainty reduction) के रूप में औपचारिक रूप देते हैं। मुख्य परिकल्पना यह है कि जैसे-जैसे संवाद आगे बढ़ता है, संचित उत्तर साक्ष्य (answer evidence) उपयोगकर्ता की सूचना संबंधी आवश्यकता के संबंध में अनिश्चितता को कम कर देने चाहिए। चूंकि मुक्त-अंत वाली प्राकृतिक भाषा में स्पष्ट तथ्य या संरचित विश्व अवस्थाएँ उपलब्ध नहीं होती हैं, इसलिए यह विधि इस अनिश्चितता न्यूनीकरण को सीधे एम्बेडिंग स्पेस (embedding space) में अनुमानित करती है।

प्रस्तावित एस्टिमेटर, GAUSSIANIG, निम्नलिखित पाइपलाइन के माध्यम से संचालित होता है:

साक्ष्य निष्कर्षण (Evidence Extraction): प्रत्येक एजेंट प्रतिक्रिया को अलग-अलग साक्ष्य इकाइयों (जैसे, वाक्य) में विभाजित किया जाता है।
एम्बेडिंग और वेटिंग (Embedding and Weighting): साक्ष्य इकाइयों और वर्तमान उपयोगकर्ता क्वेरी को एक वेक्टर स्पेस में एम्बेड किया जाता है। प्रत्येक साक्ष्य इकाई को क्वेरी के साथ प्रासंगिकता (कोसाइन सिमिलरिटी का उपयोग करके) और एक वैकल्पिक गुणवत्ता कारक के आधार पर एक भार (weight) दिया जाता है।
गौसियन अनिश्चितता मॉडलिंग (Gaussian Uncertainty Modeling): एक लेटेंट सिमेंटिक स्टेट $S$ को एक आइसोट्रोपिक गौसियन वेरिएबल के रूप में मॉडल किया जाता है। साक्ष्य के संचय को बेयसियन लीनियर रिग्रेशन में अनुक्रमिक रैखिक मापों के रूप में माना जाता है।
प्रिसिजन अपडेट (Precision Update): यह विधि लेटेंट स्टेट के प्रिसिजन मैट्रिक्स (precision matrix - व्युत्क्रम सहप्रसरण) को अपडेट करती है। प्रत्येक साक्ष्य इकाई $z$ के लिए जिसका भार $w$ है, प्रिसिजन मैट्रिक्स $J$ को योगात्मक रूप से अपडेट किया जाता है:
$J_t = J_{t-1} + \sum \frac{w}{\sigma^2} z z^\top$
सूचना लाभ गणना (Information Gain Calculation): एक टर्न के लिए सूचना लाभ की गणना डिफरेंशियल एंट्रॉपी में कमी के रूप में की जाती है, जो लॉग-डिटरमिनेंट (log-determinant) के अनुपात के रूप में होती है:
$\widehat{IG}_t = \frac{1}{2} \log \frac{\det(\Sigma_{t-1})}{\det(\Sigma_t)}$
कुल संवाद स्कोर इन टर्न-स्तरीय लाभों का योग है।

सैद्धांतिक गुण (Theoretical Properties)
गौसियन फॉर्मूलेशन यह सुनिश्चित करता है कि मेट्रिक में वांछित संरचनात्मक गुण हों:

मोनोटोनिसिटी (Monotonicity): साक्ष्य जोड़ने से स्कोर कभी कम नहीं होता।
टेलीस्कोपिंग एग्रीगेशन (Telescoping Aggregation): कुल स्कोर केवल प्रारंभिक और अंतिम पोस्टीरियर कोवेरियन्स (posterior covariances) पर निर्भर करता है।
घटता हुआ प्रतिफल (Diminishing Returns): मेट्रिक सबमॉड्यूलर (submodular) है। अतिरेक वाला साक्ष्य (वेक्टर जो पहले देखे गए साक्ष्य के समान हैं) घटते हुए सीमांत लाभ (diminishing marginal gains) देता है, जो स्वाभाविक रूप से स्पष्ट नियम-आधारित फ़िल्टरिंग के बिना वर्बोसिटी (verbosity) और पुनरावृत्ति को दंडित करता है।
अप्रासंगिकता (Irrelevance): प्रश्न के साथ कमजोर रूप से संरेखित साक्ष्य स्कोर में नगण्य योगदान देते हैं।

प्रमुख योगदान

सूचना-सैद्धांतिक सूत्रीकरण: पेपर सिमेंटिक प्रगति को प्रश्न-सशर्त अनिश्चितता न्यूनीकरण के रूप में परिभाषित करता है, जो गैर-अतिरेक सूचना के संचय पर आधारित एक मॉडल-अज्ञेय (model-agnostic) परिभाषा प्रदान करता है।
कुशल, ट्रेनिंग-मुक्त एस्टिमेटर: यह एम्बेडिंग स्पेस में एक नियत (deterministic), रेफरेंस-फ्री गौसियन सन्निकटन पेश करता है जिसमें क्लोज्ड-फॉर्म अपडेट शामिल हैं। LLM जजों के विपरीत, इसे मूल्यांकन के समय किसी ऑटोरिग्रेसिव इन्फरेंस की आवश्यकता नहीं होती है।
सैद्धांतिक गारंटी: यह विधि मोनोटोनिसिटी और घटते प्रतिफल की स्पष्ट गारंटी प्रदान करती है, जो गौसियन प्रक्रियाओं में लॉग-डिटरमिनेंट अपडेट के गुणों से प्राप्त होती है।

प्रायोगिक परिणाम
GAUSSIANIG का मूल्यांकन MT-Bench, Chatbot Arena, और UltraFeedback पर किया गया, जिसमें मानव प्राथमिकता लेबल के विरुद्ध विभिन्न LLM-as-a-judge बेसलाइन्स (जैसे, GPT-4, Claude Sonet, Mistral Large) के साथ तुलना की गई।

सहमति (Agreement): GAUSSIANIG ने MT-Bench पर 84.03%, Chatbot Arena पर 65.80%, और UltraFeedback पर 71.64% सहमति प्राप्त की। ये परिणाम बड़े LLM जजों के प्रतिस्पर्धी या उनसे बेहतर हैं, भले ही मेट्रिक केवल सिमेंटिक प्रगति को लक्षित करता है न कि समग्र गुणवत्ता को।
दक्षता (Efficiency): विधि ने होस्टेड LLM जजों की तुलना में 3–10x की गति वृद्धि प्रदर्शित की। उदाहरण के लिए, MT-Bench पर, इसने 100 संवाद युग्मों को 86 सेकंड में संसाधित किया, जबकि LLM बेसलाइन्स को 132–633 सेकंड लगे।
स्केलेबिलिटी (Scalability): दृष्टिकोण हल्के एम्बेडिंग मॉडल्स (जैसे, एक 2M-पैरामीटर CPU मॉडल ने 80.25% सहमति प्राप्त की) के साथ भी प्रभावी रहता है, जो दर्शाता है कि विशाल मॉडल क्षमता पर निर्भर किए बिना सिमेंटिक प्रगति को कैप्चर किया जा सकता है।
एब्लेशन (Ablations): सूचना-लाभ तंत्र को हटाने (केवल कोसाइन सिमिलरिटी का उपयोग करने) से खराब प्रदर्शन (44.5% सहमति) हुआ, जिससे पुष्टि हुई कि हिस्ट्री-डिपेंडेंट कोवेरियंस अपडेट और रेडंडेंसी डिस्काउंटिंग महत्वपूर्ण हैं। मेट्रिक को यह भी दिखाया गया कि यह प्रतिक्रिया की लंबाई के बजाय प्रश्न-प्रासंगिक साक्ष्य के प्रति संवेदनशील है।

महत्व और दावे
पेपर का दावा है कि सिमेंटिक प्रगति संवाद गुणवत्ता का एक विशिष्ट और महत्वपूर्ण आयाम है जिसे बड़े भाषा मॉडलों के कम्प्यूटेशनल ओवरहेड के बिना कुशलतापूर्वक मापा जा सकता है। लेखक GAUSSIANIG को समग्र इवैल्यूएटर्स के विकल्प के रूप में नहीं, बल्कि स्केलेबल मॉडल तुलना, रिग्रेशन टेस्टिंग और लाइव सिस्टम मॉनिटरिंग के लिए उपयुक्त एक पूरक संकेत (complementary signal) के रूप में देखते हैं।

यह कार्य प्रदर्शित करता है कि एम्बेडिंग मॉडल्स, जब प्रासंगिकता वेटिंग और अनिश्चितता अपडेट के साथ संयोजित होते हैं, तो मजबूत संवाद-स्तर के मूल्यांकन सिग्नल दे सकते हैं। लेखक इस बात पर जोर देते हैं कि जबकि मेट्रिक प्रासंगिक सूचना के संचय को प्रभावी ढंग से कैप्चर करता है, यह सीधे तौर पर तथ्यात्मकता, सुरक्षा, सुसंगतता या शैली का आकलन नहीं करता है, और इसका उपयोग संवाद गुणवत्ता के पूर्ण मूल्यांकन के लिए अन्य इवैल्यूटर्स के साथ मिलकर किया जाना चाहिए।