Pragmatic Theories Enhance Understanding of Implied Meanings in LLMs
यह अध्ययन प्रदर्शित करता है कि प्रॉम्ट्स में ग्राइशियन प्रैगमैटिक्स (Gricean pragmatics) और रेलेवेंस थ्योरी (Relevance Theory) जैसे व्यावहारिक सिद्धांतों को शामिल करने से निर्देशित चरण-दर-चरण तर्क के माध्यम से निहित अर्थों की व्याख्या करने की लार्ज लैंग्वेज मॉडल्स की क्षमता में उल्लेखनीय वृद्धि होती है, जिससे मानक चेन-ऑफ-थॉट (chain-of-thought) बेसलाइनों की तुलना में 9.6% तक का प्रदर्शन सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को समझने की कोशिश कर रहे हैं जो कहता है, "ओह, बहुत बढ़िया, फिर से बारिश हो रही है," जबकि वह एक धूप वाले आसमान की ओर देख रहा है। वह वास्तव में बारिश से खुश नहीं है; वह कटाक्ष (sarcasm) कर रहा है। मनुष्य स्वाभाविक रूप से इन छिपे हुए अर्थों को पकड़ने में कुशल होते हैं, लेकिन आर्टिफिशियल इंटेलिजेंस (AI) के लिए, यह उस मानचित्र को पढ़ने जैसा है जिसे ऐसी भाषा में लिखा गया है जिसका उसने कभी अध्ययन नहीं किया है।
यह शोध पत्र AI को इन छिपे हुए संदेशों, जिन्हें निहित अर्थ (implied meanings) कहा जाता है, को समझने में मदद करने के लिए एक "चीट शीट" देने के बारे में है।
समस्या: AI शाब्दिक (Literal) है
लार्ज लैंग्वेज मॉडल्स (LLMs) उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने पुस्तकालय की लगभग हर किताब पढ़ ली है, लेकिन कभी-कभी उन्हें 'सबटेक्स्ट' (शब्दों के पीछे के भाव) को समझने में संघर्ष करना पड़ता है। यदि आप उनसे कोई पहेली या कटाक्ष पूछते हैं, तो वे शब्दों को बहुत शाब्दिक रूप से ले सकते हैं। वे "बारिश" की शब्दकोश परिभाषा तो जानते हैं, लेकिन वे वाक्य के पीछे छिपी झुंझलाहट को समझने में चूक सकते हैं।
समाधान: "थ्योरी" चीट शीट
शोधकर्ताओं ने एक नई तरकीब आजमाई। केवल AI को "कदम-दर-कदम सोचने" (एक सामान्य विधि जिसे चेन-ऑफ-थॉट कहा जाता है) के लिए कहने के बजाय, उन्होंने AI को प्रैग्मैटिक थ्योरीज (Pragmatic Theories) का एक संक्षिप्त सारांश दिया।
प्रैग्मैटिक थ्योरीज को मानव बातचीत के नियमों की किताब के रूप में समझें।
- ग्राइसियन थ्योरी (Gricean Theory): एक अनकहे सामाजिक नियमों के सेट की कल्पना करें, जैसे "सहायक होना," "सत्यवादी होना," या "भ्रमित न करना।" यदि कोई इन नियमों को जानबूझकर तोड़ता है, तो वे आमतौर पर कुछ और कहने की कोशिश कर रहे होते हैं।
- रिलिवेंस थ्योरी (Relevance Theory): यह विचार है कि मनुष्य हमेशा बातचीत में सबसे अधिक "लाभ" प्राप्त करने की कोशिश करते हैं। यदि कोई ऐसी बात कहता है जिसे समझने में बहुत प्रयास लगता है, तो इसका मतलब है कि उत्तर बहुत महत्वपूर्ण है।
शोधकर्ताओं ने AI को बताया: "उत्तर देने से पहले, कल्पना करें कि आप एक भाषाविद् (linguist) हैं। व्यक्ति का वास्तविक अर्थ समझने के लिए इन नियमपुस्तिकाओं का उपयोग करें।"
प्रयोग: छिपे हुए अर्थों का एक परीक्षण
टीम ने इसका परीक्षण PRAGMEGA नामक एक डेटासेट पर किया, जो जटिल बातचीत का एक विशाल परीक्षण है। प्रश्नों में शामिल थे:
- विडंबना (Irony): जो आप कहना चाहते हैं उसके विपरीत कहना।
- अप्रत्यक्ष भाषण (Indirect Speech): "क्या यहाँ ठंड है?" पूछना जब वास्तव में आप चाहते हैं कि कोई खिड़की बंद कर दे।
- धोखा (Deceits): सम्मान बनाए रखने के लिए विनम्रता से झूठ बोलना।
उन्होंने इस परीक्षण को कई अलग-अलग AI मॉडल्स पर किया, ओपन-सोर्स से लेकर शक्तिशाली कमर्शियल मॉडल्स (जैसे GPT-4o) तक।
परिणाम: चीट शीट काम करती है!
परिणाम ऐसे थे जैसे किसी छात्र को परीक्षा से ठीक पहले एक स्टडी गाइड दे दी गई हो:
- बेहतर स्कोर: जब AI ने "प्रैग्मैटिक थ्योरी" चीट शीट का उपयोग किया, तो उसने (केवल "कदम-दर-कदम सोचने" के निर्देश की तुलना में) काफी अधिक प्रश्न सही हल किए (9.6% तक बेहतर)।
- मानव-स्तर का प्रदर्शन: कुछ मामलों में, इन सिद्धांतों का उपयोग करने वाला AI इन कठिन परीक्षणों पर वास्तविक मनुष्यों के बराबर या उनसे भी बेहतर प्रदर्शन करता है।
- "नाम लेने" का प्रभाव (The "Name Drop" Effect): भले ही शोधकर्ताओं ने सिद्धांतों को विस्तार से नहीं समझाया, केवल प्रॉम्प्ट में "Gricean Theory" या "Relevance Theory" जैसे नामों का उल्लेख करने से AI का प्रदर्शन थोड़ा बेहतर हो गया। यह ऐसा है जैसे नियम पुस्तिका का नाम सुनने मात्र से AI को वे नियम याद आ गए जो उसने पहले से सीख रखे थे।
क्या काम नहीं आया?
शोधकर्ताओं ने AI को "नकली" नियमपुस्तिकाएं (जैसे कि भौतिक दूरी कैसे अर्थ बदलती है, इसके बारे में एक काल्पनिक सिद्धांत) या पूरी तरह से असंबंधित विषयों (जैसे कंप्यूटर गणित) के बारे में नियमपुस्तिकाएं भी दीं। इनसे कोई मदद नहीं मिली; वास्तव में, उन्होंने कभी-कभी AI को और भी खराब कर दिया। यह साबित करता है कि सुधार वास्तविक मानव बातचीत के नियमों से आया था, न कि केवल AI को अधिक सोचने के लिए प्रेरित करने से।
निष्कर्ष
यह शोध पत्र दिखाता है कि AI को मानवीय बारीकियों को समझने के लिए अनिवार्य रूप से फिर से प्रशिक्षित करने या अधिक डेटा देने की आवश्यकता नहीं है। इसके बजाय, हम बस इसे बातचीत के उन सामाजिक नियमों की याद दिला सकते हैं जिन्हें वह संभवतः पहले से जानता है लेकिन उपयोग करना भूल जाता है। AI को निहित अर्थों के लिए एक "नियम पुस्तिका" देकर, हम इसे एक बेहतर श्रोता और अधिक मानवीय बातचीत करने वाला साथी बनने में मदद करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।