Testing the Limits of Truth Directions in LLMs
यह शोध पत्र यह प्रदर्शित करके बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में सार्वभौमिक सत्य दिशाओं (यूनिवर्सल ट्रुथ डायरेक्शंस) की धारणा को चुनौती देता है कि उनका अस्तित्व और प्रभावशीलता मॉडल की परत की गहराई, कार्य के प्रकार और जटिलता, तथा प्रॉम्प्ट निर्देशों द्वारा महत्वपूर्ण रूप से सीमित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें जहाँ हर किताब उस जानकारी का प्रतिनिधित्व करती है जो मॉडल ने सीखी है। इस पुस्तकालय के भीतर, इसके आर्किटेक्चर में एक विशेष "सत्य डिटेक्टर" (Truth Detector) छिपा हुआ है। पिछले शोधकर्ताओं को लगा था कि यह एक जादुई दिशा-सूचक यंत्र (compass) है जो हमेशा उत्तर (सत्य) या दक्षिण (असत्य) की ओर इशारा करता है, चाहे आप किसी भी कमरे में हों या आपके हाथ में किसी भी तरह की किताब हो।
यह शोध पत्र कहता है: "रुकिए। वह दिशा-सूचक यंत्र हमारी सोच से कहीं अधिक जटिल है।"
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "फ्लोर" (मंजिल) मायने रखती है (लेयर डिपेंडेंस)
मॉडल की लेयर्स को एक गगनचुंबी इमारत की मंजिलों के रूप में सोचें।
- ग्राउंड फ्लोर (शुरुआती लेयर्स): यदि आप निचली मंजिलों पर जाते हैं, तो "सत्य डिटेक्टर" भ्रमित हो जाता है। यह मुख्य रूप से वाक्य के फॉन्ट और व्याकरण को देख रहा होता है। उदाहरण के लिए, यदि कोई वाक्य कहता है "पेरिस शहर फ्रांस में है," तो डिटेक्टर इसे केवल इसलिए "सत्य" मान लेता है क्योंकि यह एक तथ्य जैसा सुनाई देता है। लेकिन यदि आप कहते हैं, "पेरिस शहर ऑस्ट्रेलिया में नहीं है," तो डिटेक्टर "नहीं" शब्द से उलझ जाता है और इसे असत्य मान सकता है, भले ही यह वास्तव में सत्य हो। यह वास्तविक सत्य के बजाय वाक्य की शैली (style) पर प्रतिक्रिया दे रहा है।
- **पेंटहाउस (अंतिम लेयर्स):: ** जैसे-जैसे आप इमारत में ऊपर जाते हैं, डिटेक्टर स्मार्ट होता जाता है। यह फैंसी फॉन्ट और "नहीं" जैसे शब्दों को अनदेखा करना शुरू कर देता है। यह वास्तव में तथ्यों की जाँच करता है।
- निष्कर्ष: सत्य खोजने के लिए आप केवल एक मंजिल को नहीं देख सकते। आपको पूरी इमारत की जाँच करनी होगी, क्योंकि जैसे-जैसे आप ऊपर जाते हैं, "सत्य का संकेत" (truth signal) बदलता रहता है।
2. कार्य का प्रकार नियम बदल देता है (तथ्य बनाम गणित)
शोध में पाया गया कि आप मॉडल से क्या करने के लिए कह रहे हैं, इसके आधार पर "सत्य डिटेक्टर" अलग तरह से व्यवहार करता है।
- साधारण तथ्य (मेमोरी गेम): यदि आप पूछते हैं, "क्या पेरिस फ्रांस में है?", तो डिटेक्टर जल्दी जाग जाता है (निचली मंजिलों पर)। यह एक ऐसे लाइब्रेरियन की तरह है जिसे वह तथ्य तुरंत याद आ जाता है जिसे उसने लाखों बार पढ़ा है।
- गणित और तर्क (कैलकुलेटर गेम): यदि आप पूछते हैं, "क्या (37 + 15) / 4 बराबर 13 है?", तो डिटेक्टर लंबे समय तक सोता रहता है। इसे वास्तव में गणित करने के लिए बिल्कुल ऊपरी मंजिलों तक जाने की आवश्यकता होती है। इसे संख्याओं को अपने दिमाग में रखना होगा, गणना करनी होगी, और फिर उत्तर की जाँच करनी होगी।
- सीमा: यदि गणित बहुत कठिन हो जाता है (जैसे पाँच संख्याओं को जोड़ना), तो डिटेक्टर हार मान लेता है। यह गणना में इतना उलझ जाता है कि यह "सत्य/असत्य" का संकेत नहीं ढूंढ पाता। यह एक ऐसे कैलकुलेटर की तरह है जो बहुत बड़ा सवाल मिलने पर ओवरहीट हो जाता है।
3. "प्रॉम्प्ट" एक वेशभूषा परिवर्तन है (मॉडल निर्देश)
यह शायद सबसे आश्चर्यजनक खोज है। आप मॉडल से किस तरह बात करते हैं, यह उसके आंतरिक "सत्य डिटेक्टर" के काम करने के तरीके को बदल देता है।
- पैसिव मोड (Passive Mode): यदि आप बस कहते हैं, "पेरिस फ्रांस में है," तो मॉडल का सत्य डिटेक्टर एक आकार का होता है।
- एक्टिव मोड (Active Mode): यदि आप कहते हैं, "क्या निम्नलिखित सही है? पेरिस फ्रांस में है," तो मॉडल एक अलग "टोपी" पहन लेता है। यह इसके आंतरिक ज्यामिति (geometry) को बदल देता है।
- उपमा: एक सुरक्षा गार्ड की कल्पना करें। यदि आप चुपचाप पास से गुजरते हैं, तो वह आपका आईडी एक तरीके से चेक करता है। यदि आप रुककर पूछते हैं, "क्या मुझे अंदर आने की अनुमति है?", तो वह आपका आईडी बिल्कुल अलग तरीके से चेक करता है। शोध दिखाता है कि केवल मॉडल को "सत्य की जाँच करने" के लिए कहना उस मानचित्र को बदल देता है जिसका उपयोग वह सत्य खोजने के लिए करता है। इसका मतलब है कि एक विशेष शैली की बातचीत पर प्रशिक्षित डिटेक्टर दूसरी शैली पर पूरी तरह विफल हो सकता है।
4. "यूनिवर्सल" (सार्वभौमिक) मिथक टूट गया
कुछ समय के लिए, वैज्ञानिक इस उम्मीद में थे कि मॉडल के मस्तिष्क में एक यूनिवर्सल ट्रुथ डायरेक्शन होगा—एक एकल, पूर्ण रेखा जो इतिहास से लेकर गणित और तर्क तक, सब कुछ के बारे में सत्य बता सकेगी, चाहे आप उसे कैसे भी पूछें।
यह शोध पत्र सिद्ध करता है कि ऐसा नहीं है।
- "सत्य की रेखा" (Truth Line) डगमगाती रहती है।
- यह इस पर निर्भर करती है कि आप इमारत की किस मंजिल पर हैं।
- यदि गणित बहुत कठिन है, तो यह टूट जाती है।
- यदि आप पूछने के लिए शब्दों का उपयोग बदलते हैं, तो यह अपना आकार बदल लेती है।
मुख्य चित्र (The Big Picture)
मॉडल के "सत्य" को एक ठोस, अटूट स्तंभ के रूप में नहीं, बल्कि एक गिरगिट (chameleon) के रूप में सोचें।
- यह कार्य (तथ्य बनाम गणित) के आधार पर अपना रंग बदलता है।
- यह मॉडल की गहराई (शुरुआती बनाम अंतिम लेयर्स) के आधार पर अपना रंग बदलता है।
- यह प्रॉम्प्ट (पैसिव बनाम एक्टिव) के आधार पर अपना रंग बदलता है।
यह क्यों मायने रखता है?
यदि आप एआई में झूठ या मतिभ्रम (hallucinations) का पता लगाने के लिए कोई टूल बना रहे हैं, तो आप केवल एक "वन-साइज़-फिट्स-ऑल" डिटेक्टर का उपयोग नहीं कर सकते। आपको बहुत सावधान रहना होगा कि आप मॉडल में कहाँ देख रहे हैं, आप किस प्रकार का प्रश्न पूछ रहे हैं, और आप उसे कैसे पूछ रहे हैं। यदि आप इन विवरणों को गलत करते हैं, तो आपका "सत्य डिटेक्टर" आपको एक झूठ को सत्य बता सकता है, या इसके विपरीत।
संक्षेप में: AI में सत्य वास्तविक है, लेकिन यह नाजुक, संदर्भ-निर्भर और उससे कहीं अधिक कठिन है जितना हमने सोचा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।