Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis
यह शोध पत्र यह तर्क देता है कि बड़े पैमाने पर प्रीट्रेनिंग अकेले बड़े भाषा मॉडलों को विश्वसनीय कानूनी "साधारण अर्थ" (ordinary meaning) विश्लेषण के लिए तैयार करने हेतु अपर्याप्त है, क्योंकि अनुभवजन्य साक्ष्य प्रकट करते हैं कि उनके निष्कर्ष मामूली प्रॉम्प्ट विविधताओं के विरुद्ध सुदृढ़ता का अभाव रखते हैं और मानव निर्णयों के साथ केवल मध्यम सहसंबंध दिखाते हैं, जो उन्हें उच्च-दांव वाले न्यायिक संदर्भों में आधिकारिक उपयोग के लिए अनुपयुक्त बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अदालत में एक न्यायाधीश किसी कानून में लिखे एक भ्रमित करने वाले शब्द का अर्थ समझने की कोशिश कर रहा है, जो एक आम आदमी के लिए क्या हो सकता है। उदाहरण के लिए, क्या किसी अनुबंध (contract) की शर्त जैसे "लैंडस्केपिंग" (landscaping) में ट्रैम्पोलिन बनाना शामिल है? पारंपरिक रूप से, न्यायाधीश खुद से पूछ सकते हैं, "मेरा पड़ोसी इसके बारे में क्या सोचेगा?" या शब्दकोशों में शब्दों को खोज सकते हैं।
हाल ही में, कुछ कानूनी विशेषज्ञों और न्यायाधीशों ने बड़े भाषा मॉडल (LLMs)—वही तरह के AI जो चैटबॉट्स को शक्ति देते हैं—से इस प्रश्न का उत्तर देने के लिए कहना शुरू कर दिया है। विचार यह है: "यदि एक AI ने इंटरनेट पर लिखा गया लगभग सब कुछ पढ़ लिया है, तो वह निश्चित रूप से जानता होगा कि साधारण लोग शब्दों का उपयोग कैसे करते हैं, है ना?"
यह शोध पत्र एक बड़ा, सावधानीपूर्वक किया गया प्रयोग है यह परीक्षण करने के लिए कि क्या यह विचार सच है। शोधकर्ताओं ने खुद को बेंच पर बैठे "कठोर आलोचकों" के रूप में प्रस्तुत किया, और इन AI मॉडलों को एक कठोर स्ट्रेस टेस्ट (stress test) से गुजारा। उन्होंने क्या पाया, इसे सरल रूप में यहाँ समझाया गया है:
1. "टूटी हुई घड़ी" की समस्या (The "Broken Clock" Problem)
शोधकर्ताओं ने 15 अलग-अलग AI मॉडलों (छोटे से लेकर विशाल GPT-4 तक) से यह तय करने के लिए कहा कि 138 अलग-अलग बीमा परिदृश्य (scenarios) कवर किए गए हैं या नहीं।
- निष्कर्ष: कुछ AI मॉडल एक ऐसी टूटी हुई घड़ी की तरह थे जो "नहीं" पर अटकी हुई है। कहानी चाहे जो भी हो, वे हर बार बिल्कुल एक ही जवाब देते थे।
- रूपक (Metaphor): कल्पना कीजिए कि आप एक मौसम पूर्वानुमानकर्ता से पूछते हैं, "क्या बारिश हो रही है?" यदि वह धूप वाले दिन, बादल वाले दिन और बर्फबारी के दौरान भी "हाँ" कहता है, तो वह वास्तव में आसमान को नहीं देख रहा है। वह बस एक स्क्रिप्ट दोहरा रहा है। कई AI मॉडलों ने बिल्कुल ऐसा ही किया, वे कानूनी मामले के विशिष्ट विवरणों को वास्तव में "पढ़ने" में विफल रहे।
2. प्रॉम्प्टिंग का "जादुई खेल" (The "Magic Trick" of Prompting)
फिर शोधकर्ताओं ने एक जादुई ट्रिक आजमाई: उन्होंने ठीक वही सवाल पूछा, लेकिन केवल पूछने का तरीका बदल दिया।
- परिदृश्य A: "क्या जॉन कवर है? हाँ या नहीं?"
- परिदृश्य B: "क्या जॉन कवर नहीं है? हाँ या नहीं?"
- परिदृश्य C: "क्या आप सहमत हैं कि जॉन कवर है?"
- निष्कर्ष: AI का जवाब बुरी तरह से बदल जाता था। सवाल के एक संस्करण में, AI 90% सुनिश्चित हो सकता था कि जॉन कवर है। एक थोड़े से अलग संस्करण में (जैसे "नहीं" जोड़ना या विकल्पों का क्रम बदलना), AI 90% सुनिश्चित हो सकता था कि जॉन कवर नहीं है।
- रूपक: यह एक सुझाव बॉक्स (suggestion box) की तरह है जो कागज के रंग के आधार पर अपना मन बदल लेता है। यदि आप मॉडल से एक तरीके से सवाल पूछते हैं, तो वह "हाँ" कहता है। यदि आप उसी सवाल को थोड़ा बदलकर या "नहीं" विकल्प को पहले रखकर पूछते हैं, तो वह "नहीं" कहता है। इसका मतलब है कि एक वकील संभावित रूप से उस प्रॉम्प्ट की "खरीददारी" कर सकता है जो उसे वह जवाब दे जो वह चाहता है, बजाय इसके कि उसे सच्चाई मिले।
3. वह "अनुवादक" जो भाषा नहीं बोलता (The "Translator" Who Doesn't Speak the Language)
शोधकर्ताओं ने AI के जवाबों की तुलना वास्तविक मनुष्यों (साधारण अंग्रेजी बोलने वालों) के विचारों से की।
- निष्कर्ष: AI और मनुष्यों के बीच केवल मध्यम स्तर की सहमति थी। यहाँ तक कि सर्वश्रेष्ठ AI मॉडल (जैसे GPT-4) भी केवल 83% बार सही होते थे यदि आप उनके प्रोबेबिलिटी स्कोर (probability scores) की व्याख्या ठीक से जानते हों। लेकिन एक वास्तविक अदालत में, आपको स्कोर देखने को नहीं मिलता; आपको केवल उत्तर मिलता है।
- रूपक: कल्पना कीजिए कि आप एक भीड़ के विचारों को बताने के लिए एक अनुवादक को काम पर रखते हैं। यदि अनुवादक 83% बार सही होता है, तो यह अच्छा लगता है। लेकिन एक कानूनी मामले में, 6 में से 1 बार गलत होना एक आपदा है। यह एक ऐसे GPS की तरह है जो 83% बार आपको सही शहर पहुँचाता है लेकिन बाकी 17% बार आपको दलदल में छोड़ देता है।
निष्कर्ष (The Bottom Line)
यह शोध पत्र तर्क देता है कि सिर्फ इसलिए कि एक AI ने बहुत सारा डेटा पढ़ा है (large-scale pretraining), इसका मतलब यह नहीं है कि वह समझता है कि साधारण लोग कैसे सोचते हैं।
लेखक निष्कर्ष निकालते हैं कि ये AI मॉडल वर्तमान में कानूनी मामलों में अंतिम निर्णय लेने के लिए बहुत नाजुक और अविश्वसनीय हैं। वे अभी तक साधारण अर्थों के लिए "प्राधिकरण" (authoritative) स्रोत नहीं हैं। यदि कोई न्यायाधीश बिना उनके काम की जाँच किए उन पर भरोसा करता है, तो वह एक टूटी हुई घड़ी या एक सुझाव बॉक्स पर भरोसा कर सकता है जो फॉन्ट साइज के आधार पर अपना मन बदल लेता है।
संक्षेप में: AI एक धाराप्रवाह वक्ता है, लेकिन जब बात यह तय करने की आती है कि साधारण लोगों के लिए शब्दों का क्या अर्थ है, तो वह एक विश्वसनीय विचारक नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।