💬 NLP

Surprisal Minimisation over Goal-directed Alternatives Predicts Production Choice in Dialogue

यह शोध पत्र यह प्रदर्शित करता है कि उत्पत्ति (utterance) के उत्पादन को भाषा मॉडल द्वारा जनरेट किए गए, लक्ष्य-निर्देशित विकल्पों पर एक संभाव्य लागत-संवेदनशील विकल्प (probabilistic cost-sensitive choice) के रूप में मॉडल करना यह प्रकट करता है कि इन विकल्पों के सापेक्ष सर्प्राइज़ल न्यूनीकरण (surprisal minimisation), यूनिफॉर्म इंफॉर्मेशन डेंसिटी और लंबाई-आधारित लागतों से बेहतर प्रदर्शन करते हुए, संवाद में वक्ता के विकल्पों का सबसे मजबूत भविष्यवक्ता है।

मूल लेखक: Tom Utting, Mario Giulianelli, Arabella Sinclair

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Utting, Mario Giulianelli, Arabella Sinclair

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिनर पार्टी में हैं, और आपको अपने दोस्त द्वारा शुरू किए गए एक वाक्य को पूरा करना है। आपके पास एक विशिष्ट बिंदु है जिसे आप रखना चाहते हैं (आपका लक्ष्य), लेकिन आप यह भी जानते हैं कि आपका दोस्त आपकी बात सुन रहा है और आपको समझने की कोशिश कर रहा है।

यह पेपर एक जासूसी कहानी की तरह है जो इस बात की जांच करता है कि हम उस वाक्य को पूरा करने के लिए सटीक शब्दों का चुनाव कैसे करते हैं। लेखक एक रहस्य सुलझाना चाहते थे: जब हम बोलते हैं, तो क्या हम अपना काम आसान बनाने की कोशिश कर रहे होते हैं, या हम अपने श्रोता का काम आसान बनाने की कोशिश कर रहे होते हैं?

इसे सुलझाने के लिए, उन्होंने दो अलग-अलग "विकल्पों की सूचियों" (alternatives) और एक डिजिटल मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) का उपयोग करके एक चतुर तरकीब अपनाई।

विकल्पों की दो सूचियाँ

शोधकर्ताओं ने महसूस किया कि यह समझने के लिए कि हम कुछ खास शब्द क्यों चुनते हैं, हमें यह जानना होगा कि हमने और कौन से शब्द चुने हो सकते थे। उन्होंने दो प्रकार की सूचियाँ बनाईं:

"समान लक्ष्य" वाली सूची (Goal-Directed): कल्पना कीजिए कि आप कहना चाहते हैं, "The meeting was a disaster" (मीटिंग एक आपदा थी)।
- विकल्प A: "The meeting was a disaster."
- विकल्प B: "The meeting was a total catastrophe."
- विकल्प C: "The meeting went terribly."
- ये सभी विकल्प बिल्कुल एक ही बात का अर्थ देते हैं। ये वे विकल्प हैं जो एक वक्ता के पास तब होते हैं जब वे केवल अपना विशिष्ट संदेश पहुँचाने की कोशिश कर रहे होते हैं।
"कुछ भी हो सकता है" वाली सूची (Goal-Agnostic): अब, कल्पना कीजिए कि श्रोता को अभी तक नहीं पता कि आप क्या कहने वाले हैं। वे केवल अब तक की बातचीत के आधार पर अनुमान लगा रहे हैं।
- विकल्प A: "The meeting was a disaster."
- विकल्प B: "The meeting was rescheduled."
- विकल्प C: "The meeting was canceled."
- विकल्प D: "The meeting was fun."
- यह सूची उन सभी विकल्पों का प्रतिनिधित्व करती है जो एक श्रोता को आगे सुनने की उम्मीद हो सकती है, चाहे आपका वास्तविक इरादा कुछ भी हो।

चार "लागत" माप (Cost Measures)

पेपर चार अलग-अलग विचारों का परीक्षण करता है कि क्या चीज़ किसी वाक्य को "महंगा" या "कठिन" बनाती है। इन्हें प्रयास को मापने के विभिन्न तरीकों के रूप में सोचें:

सरप्राइज़ल (Surprisal - "आश्चर्य" का कारक): यह शब्द कितना अप्रत्याशित है? यदि आप कहते हैं "The meeting was a..." और फिर "disaster" कहते हैं, तो यह बहुत आश्चर्यजनक नहीं है। यदि आप कहते हैं "The meeting was a... pineapple", तो यह उच्च आश्चर्य (high surprise) है। उच्च आश्चर्य को प्रोसेस करना मस्तिष्क के लिए "महंगा" होता है।
यूनिफॉर्म इंफॉर्मेशन डेंसिटी (Uniform Information Density - "प्रवाह" का कारक): क्या शब्द समान रूप से बहते हैं, या कहीं अचानक कठिन शब्दों का उछाल आता है और फिर आसान शब्दों का? वक्ता आमतौर पर एक सहज, स्थिर लय पसंद करते हैं।
लंबाई (Length - "संक्षिप्तता" का कारक): छोटा होना आमतौर पर लंबे होने से आसान होता है।
ग्लोबल यूनिफॉर्मिटी (Global Uniformity): यूनिफॉर्मिटी के समान, लेकिन पूरे वाक्य को एक साथ देखते हुए।

प्रयोग: बॉस कौन है?

शोधकर्ताओं ने एक सुपर-स्मार्ट AI (GPT-4) का उपयोग करके वास्तविक मानवीय बातचीत के हजारों "समान लक्ष्य" और "कुछ भी हो सकता है" वाली सूचियाँ तैयार कीं। फिर, उन्होंने वास्तविक मानवों द्वारा कहे गए शब्दों की तुलना AI की सूचियों से की।

उन्होंने पूछा: क्या मनुष्यों ने उस विकल्प को चुना जो इन नियमों के अनुसार सबसे सस्ता था?

यहाँ उन्हें क्या मिला:

1. "वक्ता" का नियम जीतता है (Surprisal):
जब "समान लक्ष्य" वाली सूची को देखा गया, तो मनुष्यों ने भारी बहुमत से उस विकल्प को चुना जिसमें न्यूनतम आश्चर्य (lowest surprise) था।

उपमा: कल्पना कीजिए कि आप काम पर जाने के लिए गाड़ी चला रहे हैं (आपका लक्ष्य)। आपके पास तीन रास्ते हैं जो सभी आपको वहाँ पहुँचाते हैं। आप हमेशा वही रास्ता चुनते हैं जहाँ कम ट्रैफिक (कम आश्चर्य) हो।
निष्कर्ष: जब हमें पता होता है कि हमें क्या कहना है, तो हम उन शब्दों को चुनते हैं जिन्हें उत्पन्न करना हमारे लिए सबसे आसान होता है। हम सबसे सामान्य, अनुमानित रास्तों पर चलते हैं। यह सुझाव देता है कि Surprisal एक वक्ता-पक्ष (speaker-side) की लागत है।

2. "श्रोता" का नियम कमजोर है:
जब "कुछ भी हो सकता है" वाली सूची को देखा गया, तो परिणाम मिले-जुले थे।

मनुष्य श्रोता की मदद करने के लिए लगातार "सबसे सहज" या "सबसे छोटे" विकल्पों को नहीं चुनते हैं।
वास्तव में, कुछ मापों के लिए, मनुष्य कभी-कभी AI के अनुमान से अधिक आश्चर्यजनक या लंबे विकल्प भी चुनते हैं।
निष्कर्ष: हालांकि हम श्रोता की परवाह करते हैं, लेकिन अपने स्वयं के लक्ष्य के लिए सबसे स्वाभाविक, कम-आश्चर्य वाले शब्दों को चुनने का हमारा आवेग, श्रोता के लिए जानकारी को सुचारू बनाने के हमारे आवेग से कहीं अधिक शक्तिशाली है।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि आप केवल यह नहीं कह सकते कि "वक्ता लागत को कम करते हैं।" आपको यह पूछना होगा कि: "लागत किसे कम करने के लिए, और किन विकल्पों के विरुद्ध?"

यदि आप उन विकल्पों को देखते हैं जो एक ही बात कहते हैं (Goal-Directed), तो वक्ता कुशल ड्राइवरों की तरह कार्य करते हैं, जो सबसे सहज, सबसे अनुमानित रास्ता (Low Surprisal) चुनते हैं।
यदि आप उन विकल्पों को देखते हैं जो अर्थ को पूरी तरह से बदल देते हैं (Goal-Agnostic), तो नियम जटिल हो जाते हैं।

सरल शब्दों में: जब हम बोलते हैं, तो हम मुख्य रूप से अपने विशिष्ट विचार को व्यक्त करने के लिए सबसे परिचित शब्दों को चुनकर अपना काम आसान बनाने की कोशिश कर रहे होते हैं। हम अपने वाक्यों को श्रोता के लिए पूरी तरह से सुचारू बनाने के लिए लगातार पुनर्गठित नहीं करते हैं, कम से कम उतना नहीं जितना पिछले सिद्धांतों ने सुझाव दिया था। हम ड्राइवर हैं, और हम अपने गंतव्य तक पहुँचने के लिए प्रतिरोध के सबसे कम मार्ग को चुनते हैं।

यहाँ शोध पत्र "Surprisal Minimisation over Goal-directed Alternatives Predicts Production Choice in Dialogue" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सूचना-सैद्धांतिक (information-theoretic) भाषा उत्पादन मॉडलों में एक मौलिक अस्पष्टता को संबोधित करता है: लागत मापों (cost measures) (जैसे कि सरप्राइज़ल/surprisal, यूनिफॉर्म इंफॉर्मेशन डेंसिटी, और लंबाई) की व्याख्या कैसे की जाए—या तो वक्ता-केंद्रित (उत्पादन प्रयास) के रूप में या श्रोता-केंद्रित (समझने का प्रयास) के रूप में।

पिछले मॉडल अक्सर इन लागतों को या तो अंतर्निहित रूप से मानते हैं या बिना किसी अंतर के एक निश्चित विकल्पों के सेट को मान लेते हैं, जो निम्नलिखित के बीच अंतर नहीं करते:

लक्ष्य-निर्देशित विकल्प (Goal-directed alternatives): वे कथन जो वक्ता के वास्तविक चुनाव के समान ही संचार संबंधी इरादे (communicative intent) को साकार करते हैं।
लक्ष्य-अज्ञेय विकल्प (Goal-agnostic alternatives): वे कथन जो संदर्भगत रूप से तर्कसंगत हैं लेकिन विभिन्न संचार संबंधी लक्ष्यों को साकार कर सकते हैं।

लेखकों का तर्क है कि लागत फलन (cost function) की व्याख्या पूरी तरह से उन विकल्पों के सेट पर निर्भर करती है जिस पर इसका मूल्यांकन किया जाता है। वैकल्पिक स्थानों (alternative spaces) को स्पष्ट रूप से परिभाषित किए बिना, यह निर्धारित करना असंभव है कि वक्ता अपने लिए प्रयास को कम कर रहा है या श्रोता की समझ के लिए अनुकूलन कर रहा है।

2. कार्यप्रणाली (Methodology)

A. सैद्धांतिक ढांचा: लागत-संवेदनशील चयन (Cost-Sensitive Choice)

लेखक भाषा उत्पादन को प्रासंगिक विकल्पों पर एक संभाव्य चयन के रूप में औपचारिक रूप देते हैं। वे किसी दिए गए संदर्भ $c$ और चुनाव बिंदु के लिए दो अलग-अलग विकल्पों के सेट को परिभाषित करते हैं:

लक्ष्य-अज्ञेय सेट ( $A_c$ ): केवल संदर्भ (और संभावित रूप से संवाद इतिहास) पर आधारित एक लैंग्वेज मॉडल से नमूने लेकर बनाया गया। ये श्रोता की अनिश्चितता को दर्शाते हैं कि वक्ता आगे क्या कह सकता है।
लक्ष्य-निर्देशित सेट ( $A_{c,g}$ ): संदर्भ और एक निश्चित संचार संबंधी लक्ष्य ( $g$ ) पर आधारित एक लैंग्वेज मॉडल से नमूने लेकर बनाया गया। ये एक विशिष्ट इरादे को साकार करने के बारे में वक्ता की अनिश्चितता को दर्शाते हैं।

उत्पादन की संभावना को लागत पर एक सॉफ्टमैक्स नियम (softmax rule) का उपयोग करके मॉडल किया जाता है:
$P_S(a | c, g) \propto \exp(-\alpha C(a; c))$
जहाँ $C$ लागत है और $\alpha$ एक संवेदनशीलता पैरामीटर है।

वक्ता-केंद्रित व्याख्या: $A_{c,g}$ पर लागत को कम करना (उसी बात को कहने का सबसे आसान तरीका चुनना)।
श्रोता-केंद्रित व्याख्या: $A_c$ पर लागत को कम करना (एक ऐसा कथन चुनना जो श्रोता की अनिश्चितता को देखते हुए समझने में आसान हो)।

B. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: स्विचबोर्ड डायलॉग एक्ट कॉर्पस (स्वाभाविक बोले गए संवाद)।
डेटा प्रोसेसिंग: 1,342 कथनों का चयन किया गया (10–30 शब्द, स्टेटमेंट/क्वेश्चन एक्ट्स)। प्रत्येक को रूट वर्ब (चुनाव बिंदु) पर एक संदर्भ ( $c$ ) और एक मानव निरंतरता ( $a^*$ ) में विभाजित किया गया।
विकल्प निर्माण:
- लक्ष्य-अज्ञेय: GPT-4o को विभिन्न मात्रा में संवाद इतिहास (कोई इतिहास नहीं, पिछला कथन, पूर्ण इतिहास) के साथ वाक्यों को पूरा करने के लिए प्रॉम्प्ट दिया गया।
- लक्ष्य-निर्देशित: GPT-4o को मानव निरंतरता के 10 अद्वितीय पैराफ्रेस (paraphrases) उत्पन्न करने के लिए प्रॉम्प्ट दिया गया, जो समान संदर्भ के साथ शुरू होने के लिए बाध्य थे।
- फिल्टरिंग: एक LLM-एज़-ए-जज (GPT-4o) ने सत्यापित किया कि लक्ष्य-निर्देशित विकल्प वास्तविक पैराफ्रेस थे (98.75% सटीकता)।
लागत माप (Cost Measures):
1. सरप्राइज़ल (Surprisal): $-\log p(a|c)$ (GPT-2 Small के माध्यम से अनुमानित)।
2. स्थानीय एकरूपता (Local Uniformity): आसन्न शब्दों के बीच सरप्राइज़ल का विचरण (variance)।
3. वैश्विक एकरूपता (Global Uniformity): पूरे वाक्य में सरप्राइज़ल का विचरण।
4. लंबाई (Length): निरंतरता के शब्दों की संख्या।
संरेखण (Alignment): वितरण संबंधी विसंगतियों को रोकने के लिए, लेखकों ने लंबाई और वैश्विक एकरूपता के संबंध में उत्पन्न विकल्पों को संरेखित करने के लिए स्तरीकृत नमूनाकरण (stratified sampling) का उपयोग किया।

C. विश्लेषण तकनीकें (Analysis Techniques)

निश्चयात्मक लागत न्यूनीकरण (Deterministic Cost Minimisation): अपने विकल्पों के बीच मानव निरंतरता की रैंक की गणना करना। यदि मनुष्य लागत को कम करते हैं, तो मानव का चुनाव अक्सर रैंक 1 (सबसे कम लागत) होना चाहिए।
संभाव्य लागत संवेदनशीलता (Probabilistic Cost Sensitivity): यह अनुमान लगाने के लिए कि क्या मानव निरंतरता को लागत अंतर ( $\Delta C$ ) के आधार पर एक उत्पन्न विकल्प के ऊपर प्राथमिकता दी जाती है, एक पेयरवाइज लॉजिस्टिक रिग्रेशन मॉडल का उपयोग किया गया। यह सख्त न्यूनीकरण के बजाय क्रमिक संवेदनशीलता का परीक्षण करता है।

3. मुख्य योगदान (Key Contributions)

स्पष्ट वैकल्पिक स्थान: शोध पत्र एक सिद्धांतपूर्ण तरीका प्रदान करता है जिससे "वक्ता" बनाम "श्रोता" दबावों को स्पष्ट रूप से LLMs का उपयोग करके लक्ष्य-निर्देशित और लक्ष्य-अज्ञेय वैकल्पिक सेट बनाकर संचालित किया जा सके।
लागत की पुनर्व्याख्या: यह प्रदर्शित करता है कि एक ही लागत मीट्रिक (जैसे सरप्राइज़ल) उपयोग किए गए वैकल्पिक सेट के आधार पर अलग-अलग भविष्य कहनेवाला शक्ति और व्याख्याएँ देता है।
स्केलेबल फ्रेमवर्क: यह खुले संवाद में उत्पादन प्राथमिकताओं का अध्ययन करने के लिए एक स्केलेबल पाइपलाइन पेश करता है, जो प्रतिबंधित सिंटैक्टिक वेरिएंट्स से आगे बढ़कर समृद्ध, संदर्भगत रूप से आधारित विकल्पों तक जाता है।

4. मुख्य परिणाम (Key Results)

A. निश्चयात्मक विश्लेषण (Rank-1 Outcomes)

सरप्राइज़ल (लक्ष्य-निर्देशित): सबसे मजबूत भविष्यवक्ता। 53.4% मानव निरंतरता लक्ष्य-निर्देशित विकल्पों के बीच सबसे कम-सरप्राइज़ल वाला विकल्प था (संयोग से 3.24 गुना अधिक)। यह एक वक्ता-केंद्रित दृष्टिकोण का समर्थन करता है: वक्ता अपने इच्छित लक्ष्य के सबसे पूर्वानुमान योग्य क्रियान्वयन को चुनते हैं।
सरप्राइज़ल (लक्ष्य-अज्ञेय): कमजोर प्रभाव (15.2% Rank-1), जो बताता है कि वक्ता श्रोता की व्यापक अनिश्चितता के सापेक्ष सरप्राइज़ल को कम नहीं करते हैं।
लंबाई: लक्ष्य-अज्ञेय सेटिंग में सबसे मजबूत सापेक्ष प्रभाव दिखाया (संयोग से 3.69 गुना), जो सुझाव देता है कि लंबाई न्यूनीकरण एक श्रोता-केंद्रित दबाव है (समझने के प्रयास को कम करना)।
एकरूपता (Uniformity): मिश्रित परिणाम दिखाए, जिसमें रैंक-1 परिणाम संयोग से ऊपर थे लेकिन सरप्राइज़ल की तुलना में कम सुसंगत थे।

B. संभाव्य विश्लेषण (Logistic Regression)

सरप्राइज़ल: सरप्राइज़ल का गुणांक (coefficient) महत्वपूर्ण रूप से नकारात्मक था (कम सरप्राइज़ल के प्रति प्राथमिकता का संकेत) और लक्ष्य-निर्देशित स्थिति में लक्ष्य-अज्ञेय स्थिति की तुलना में ~7 गुना अधिक मजबूत था। यह पुष्टि करता है कि सरप्राइज़ल मुख्य रूप से एक उत्पादन-पक्ष बाधा (वक्ता प्रयास) के रूप में कार्य करता है।
एकरूपता: कम लागत (उच्च एकरूपता) ने लक्ष्य-निर्देशित स्थिति में चुनाव की भविष्यवाणी की, लेकिन लक्ष्य-अज्ञेय स्थिति में संबंध उलट गया (उच्च लागत/कम एकरूपता को कभी-कभी प्राथमिकता दी गई), जो जटिल श्रोता-केंद्रित गतिशीलता को दर्शाता है।
लंबाई: इसने लक्ष्य-अज्ञेय स्थिति में चुनाव की भविष्यवाणी की लेकिन लक्ष्य-निर्देशित स्थिति में कोई महत्वपूर्ण प्रभाव नहीं दिखाया, जो इस विचार को पुख्ता करता है कि लंबाई एक श्रोता-केंद्रित बाधा है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

अध्ययन यह निष्कर्ष निकालता है कि लक्ष्य-निर्देशित विकल्पों पर सरप्राइज़ल न्यूनीकरण संवाद में मानव उत्पादन विकल्पों का सबसे मजबूत विवरण प्रदान करता है। यह इस विचार का समर्थन करता है कि वक्ता एक निश्चित इरादे के विभिन्न क्रियान्वयनों में से अपना स्वयं का उत्पादन प्रयास (संज्ञानात्मक नियंत्रण) कम करने वाले तर्कसंगत एजेंट के रूप में कार्य करते हैं।

इसके विपरीत, लंबाई और एकरूपता अधिक श्रोता-केंद्रित दबावों के रूप में कार्य करते प्रतीत होते हैं, जहाँ वक्ता तब अपने आउटपुट को समायोजित करते हैं जब संचार संबंधी लक्ष्य निश्चित नहीं होता या जब वे श्रोता की व्यापक अनिश्चितता पर विचार करते हैं।

व्यापक प्रभाव:

सैद्धांतिक: लागत मापों की अस्पष्टता को उनके वैकल्पिक सेटों के साथ स्पष्ट रूप से जोड़कर हल करता है।
कार्यप्रणाली: यह अध्ययन करने के लिए एक स्केलेबल फ्रेमवर्क स्थापित करता है कि "क्या कहा जा सकता था" (काउंटरफैक्चुअल) को LLMs का उपयोग करके कैसे सिम्युलेट किया जाए।
व्यावहारिक: यह सुझाव देता है कि प्राकृतिक भाषा उत्पादन प्रणालियों को मानव जैसा ध्वनि करने के लिए (उत्पादन दक्षता के मामले में) लक्ष्य-निर्देशित विकल्पों पर सरप्राइज़ल न्यूनीकरण के लिए अनुकूलित किया जाना चाहिए।

सीमाएँ: यह अध्ययन अंग्रेजी तक सीमित है, विशिष्ट सिंटैक्टिक चॉइस पॉइंट्स (रूट वर्ब्स) पर केंद्रित है, और दोनों लागत अनुमान और विकल्प निर्माण के लिए LLMs पर निर्भर है, जो मानव संज्ञान को पूरी तरह से प्रतिबिंबित नहीं कर सकते हैं या कम-संसाधन वाले संदर्भों को कवर नहीं कर सकते हैं।