What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance
एक 22-आयामी भाषाई विशेषता वेक्टर के माध्यम से 369,837 वास्तविक दुनिया के प्रश्नों का विश्लेषण करके, यह अध्ययन प्रदर्शित करता है कि विशिष्ट मानव-भ्रमित करने वाले प्रश्न लक्षण, जैसे कि गहरा क्लॉज नेस्टिंग (clause nesting) और अपर्याप्त विशिष्टता (underspecification), लार्ज लैंग्वेज मॉडल के मतिभ्रम (hallucinations) की संभावना को महत्वपूर्ण रूप से बढ़ा देते हैं, जिससे निर्देशित प्रश्न पुनलेखन (guided query rewriting) के माध्यम से इन जोखिमों को कम करने के लिए एक डेटा-संचालित ढांचा स्थापित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ी अति-उत्साही, लाइब्रेरियन (AI) से मदद मांग रहे हैं। कभी-कभी, यह लाइब्रेरियन आपको एकदम सही उत्तर देता है। अन्य समय में, यह आत्मविश्वास के साथ ऐसे तथ्य बना लेता है जो सुनने में तो असली लगते हैं, लेकिन पूरी तरह से गलत होते हैं। तकनीकी दुनिया में, हम इन मनगढ़ंत तथ्यों को "हैलुसिनेशन" (hallucinations) कहते हैं।
ज्यादातर लोग सोचते हैं कि लाइब्रेरियन खराब है या उसे बेहतर प्रशिक्षण की आवश्यकता है। लेकिन यह शोध कुछ अलग तर्क देता है: कभी-कभी, समस्या लाइब्रेरियन में नहीं होती; बल्कि इसमें होती है कि आपने सवाल कैसे पूछा।
यहाँ शोध का विवरण दिया गया है, जिसे सरल तरीके से समझाया गया है।
मुख्य विचार: "खराब सवाल" बनाम "खराब लाइब्रेरियन"
शोधकर्ताओं ने AI मॉडल से पूछे गए लगभग 3,70,000 वास्तविक सवालों का अध्ययन किया। वे यह देखना चाहते थे कि क्या सवाल पूछने का तरीका AI द्वारा झूठ बोलने की संभावना को बढ़ाता है।
उन्होंने सवाल को एक रेसिपी (विधि) की तरह माना। यदि आप एक शेफ को एक अस्पष्ट रेसिपी देते हैं ("कुछ स्वादिष्ट बनाओ"), तो वह अनुमान लगा सकता है और आपको कुछ अजीब परोस सकता है। यदि आप उसे एक विशिष्ट रेसिपी देते हैं ("ब्रोकोली के साथ एक तीखा चिकन स्टिर-फ्राई बनाओ"), तो परिणाम बहुत अधिक विश्वसनीय होता है।
17 "जोखिम कारक" (Risk Factors)
टीम ने 17 भाषाई विशेषताओं (बोलने के तरीकों) की एक चेकलिस्ट बनाई जो मनुष्यों को भ्रमित करती हैं। उन्होंने पूछा: क्या ये समान भ्रमित करने वाली विशेषताएं AI को भी भ्रमित करती हैं और उसे मनगढ़ंत तथ्य बनाने पर मजबूर करती हैं?
उन्होंने एक "रिस्क लैंडस्केप" (Risk Landscape) बनाया, जो सवाल की सुरक्षा के लिए एक मौसम मानचित्र की तरह है। कुछ विशेषताएं "तूफानी" (उच्च जोखिम वाली) हैं, और कुछ "धूप वाली" (कम जोखिम वाली) हैं।
🌩️ तूफानी विशेषताएं (Hallucination का उच्च जोखिम)
ये वे चीजें हैं जो AI के दिमाग को घुमा देती हैं और उसे अनुमान लगाने पर मजबूर करती हैं:
- "अस्पष्ट मानचित्र" (विशिष्टता का अभाव - Lack of Specificity):
- उपमा: एक टैक्सी ड्राइवर को कहना, "मुझे किसी अच्छी जगह ले चलो।"
- परिणाम: ड्राइवर अनुमान लगाएगा। AI तथ्यों का अनुमान लगाएगा।
- उदाहरण: "टेस्ला के बारे में बताओ।" (क्या आपका मतलब कार कंपनी से है? आविष्कारक से? या स्टॉक से?)
- "रशियन नेस्टिंग डॉल" (क्लॉज की जटिलता - Clause Complexity):
- उपमा: एक ऐसा वाक्य जिसमें बहुत सारे "यदि", "जब", और "क्योंकि" वाले क्लॉज एक के ऊपर एक रखे गए हों।
- परिणाम: AI वाक्य के बीच में खो जाता है और शुरुआत को भूल जाता है, जिससे मनगढ़ंत संबंध बन जाते हैं।
- "भूतिया संदर्भ" (Anaphora):
- उपमा: यह कहना कि, "उसने कहा कि यह टूटा हुआ है," बिना यह बताए कि "वह" कौन है या "यह" क्या है।
- परिणाम: AI को अनुमान लगाना पड़ता है कि "वह" कौन है, और वह अक्सर गलत अनुमान लगाता है।
- "दोहरा नकारात्मक" (Negation):
- उपमा: "मैं नहीं जाना चाहता नहीं।" (I don't want to not go.)
- परिणाम: भले ही इंसान इसमें बेहतर हो रहे हैं, AI अभी भी "नहीं" और "कभी नहीं" के तर्क में उलझ जाता है।
☀️ धूप वाली विशेषताएं (Hallucation का कम जोखिम)
ये वे चीजें हैं जो रेलिंग (guardrails) की तरह काम करती हैं, जिससे AI सही रास्ते पर रहता है:
- "स्पष्ट गंतव्य" (इन्टेंशन ग्राउंडिंग - Intention Grounding):
- उपमा: "इस लेख का तीन बुलेट पॉइंट्स में सारांश दें।"
- परिणाम: AI को पता है कि उसे क्या काम करना है। उसे अनुमान लगाने की जरूरत नहीं है।
- "जांचने योग्य तथ्य" (Answerability):
- उपमा: "जीवन का अर्थ क्या है?" के बजाय "2+2 क्या है?" पूछना।
- परिणाम: यदि उत्तर मौजूद है और स्पष्ट है, तो AI के मनगढ़ंत तथ्य बनाने की संभावना कम होती है।
- "संदर्भ संकेत" (विशिष्ट बाधाएं - Specific Constraints):
- उपमा: "पिछले मंगलवार को लंदन में मौसम कैसा था, इसके बारे में बताएं।"
- परिणाम: AI को एक विशिष्ट समय और स्थान की ओर देखने के लिए मजबूर किया जाता है, जिससे कल्पना की गुंजाइश कम हो जाती है।
चौंकाने वाला मोड़: इंसान बनाम AI
यहाँ अध्ययन का सबसे दिलचस्प हिस्सा है।
कुछ चीजें जो इंसानों को पागल कर देती हैं—जैसे बहुत दुर्लभ शब्दों या जटिल व्याकरण का उपयोग करना—वे वास्तव में AI को ज्यादा परेशान नहीं करतीं।
- इंसान: "उफ़, मैं इस वाक्य को समझ नहीं पा रहा हूँ जिसमें इतने बड़े शब्दों का प्रयोग किया गया है।"
- AI: "मैं इस शब्द को जानता हूँ। मैं अभी भी सवाल का जवाब दे सकता हूँ।"
हालाँकि, जो चीजें इंसानों को भ्रमित करती हैं (जैसे अस्पष्ट सवाल), वे AI को भी भ्रमित करती हैं। यह सुझाव देता है कि हालांकि AI मनुष्यों से अलग है, फिर भी वह उन्हीं मौलिक तार्किक कमियों से जूझता है: अस्पष्टता और संदर्भ का अभाव।
"रिस्क स्कोर" (Risk Score)
शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो AI के जवाब देने से पहले आपके सवाल को देखती है। यह सवाल को एक "रिस्क स्कोर" देती है:
- सुरक्षित (Safe): स्पष्ट, विशिष्ट, आधारित। (पूछिए!)
- सीमावर्ती (Borderline): थोड़ा अस्पष्ट। (शायद इसे फिर से लिखें।)
- जोखिम भरा (Risky): बिना पर्याप्त विवरण के "कौन", "क्या" और "शायद" से भरा हुआ। (रुकिए! पहले इसे फिर से लिखें।)
निष्कर्ष: AI से बात करने का तरीका
बेहतर परिणाम पाने के लिए आपको कंप्यूटर वैज्ञानिक होने की आवश्यकता नहीं है। आपको बस तीन सरल नियमों का पालन करके एक बेहतर "प्रॉम्प्ट इंजीनियर" बनने की आवश्यकता है:
- विशिष्ट बनें: "कुत्तों के बारे में बताओ" न कहें। कहें "गोल्डन रिट्रीवर की आहार संबंधी आवश्यकताओं के बारे में बताएं।"
- अपना लक्ष्य बताएं: केवल एक सवाल न पूछें। कहें "X और Y की तुलना करें" या "Z का सारांश दें।"
- धुंध साफ करें: यदि आप ऐसे शब्द का उपयोग करते जिसके दो अर्थ हैं (जैसे "Java" द्वीप बनाम "Java" कोड), तो तुरंत AI को बताएं कि आपका मतलब किससे है।
संक्षेप में: यदि आप चाहते हैं कि AI ईमानदार रहे, तो उसे अनुमान लगाने के लिए कहना बंद करें। उसे एक स्पष्ट मानचित्र दें, और वह बिना रास्ते में दृश्य (scenery) मनगढ़ंत किए आपको सही गंतव्य तक पहुँचा देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।