Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models
यह अध्ययन प्रकट करता है कि ऑटोरेग्रेसिव लैंग्वेज मॉडल भ्रम पहचान (hallination detection) में एक स्केल-निर्भर चरण संक्रमण (scale-dependent phase transition) प्रदर्शित करते हैं, जहाँ केवल लगभग 1 बिलियन पैरामीटर्स से अधिक और इंस्ट्रक्शन ट्यूनिंग के साथ प्रशिक्षित मॉडल ही कोई भी टोकन उत्पन्न करने से पहले तथ्यात्मक इरादे का सांख्यिकीय रूप से महत्वपूर्ण आंतरिक संकेत विकसित करते हैं, जबकि केवल कच्चा पैमाना (raw scale) इस पूर्व-प्रतिबद्धता एन्कोडिंग के लिए अपर्याप्त है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ा सवाल: झूठ कब शुरू होता है?
कल्पना कीजिए कि आप अपने एक ऐसे दोस्त से बात कर रहे हैं जो कभी सच बोलता है और कभी मनगढ़ंत कहानियाँ बनाता है। आप जानना चाहते हैं: वह ठीक किस क्षण तय करता है कि उसे झूठ बोलना है?
क्या वह अपना मुँह खोलने से पहले ही झूठ बोलने का फैसला कर लेता है? या क्या वह केवल तब झूठ बोलने का फैसला करता है जब वह बोल रहा होता है और शब्द बाहर आ रहे होते हैं?
यह पेपर आर्टिफिशियल इंटेलिजेंस (AI) के लिए इसी सवाल का जवाब देने की कोशिश करता है। विशेष रूप से, यह पूछता है: AI मॉडल को कब "पता" चलता है कि वह भ्रमित करने वाला उत्तर (hallucination) देने वाला है, और क्या यह इस बात पर निर्भर करता है कि AI कितना "स्मार्ट" (बड़ा) है?
मुख्य खोज: "आकार मायने रखता है" का नियम
शोधकर्ताओं ने अलग-अलग आकार के AI मॉडल्स का परीक्षण किया, छोटे मॉडल्स (जैसे एक स्मार्ट कैलकुलेटर) से लेकर विशाल मॉडल्स (जैसे एक सुपर-ब्रेन) तक। उन्होंने एक आश्चर्यजनक नियम पाया: AI का आकार पूरी तरह से बदल देता है कि वह कब झूठ बोलने का फैसला करता है।
यहाँ तीन मुख्य परिदृश्य दिए गए जो उन्होंने खोजे:
1. छोटे मॉडल्स (< 400 मिलियन पैरामीटर्स): "भ्रमित स्वप्नद्रष्टा" (The Confused Dreamer)
- उपमा: एक बहुत छोटे बच्चे या एक भ्रमित स्वप्नद्रष्टा की कल्पना करें। उन्हें वास्तव में यह नहीं पता होता कि वे क्या कहने जा रहे हैं जब तक कि वे बोलना शुरू नहीं कर देते। वे बस जैसे-जैसे चल रहा है, वैसे-वैसे चीजें बना रहे हैं।
- निष्कर्ष: इन छोटे मॉडल्स के लिए, बोलने से पहले झूठ बोलने का कोई संकेत (signal) नहीं मिलता। भले ही आप उनके बोलने से पहले उनके "दिमाग" (उनके आंतरिक कोड) के अंदर झांक लें, आप यह नहीं बता सकते कि वे सच बोलने वाले हैं या झूठ। वे केवल तभी झूठ बोलने का पैटर्न दिखाना शुरू करते हैं जब वे बोलना शुरू कर चुके होते हैं।
- सीख: आप छोटे मॉडल्स को बोलने से पहले झूठ पकड़ने में सक्षम नहीं हैं। जब तक आपको पता चलेगा कि वे झूठ बोल रहे हैं, वे वाक्य के बीच में पहुँच चुके होंगे।
2. मध्यम से बड़े मॉडल्स (1 बिलियन+ पैरामीटर्स): "पूर्व-नियोजित धोखेबाज" (The Pre-Planned Deceiver)
- उपमा: एक पेशेवर अभिनेता या राजनेता की कल्पना करें। अपना मुँह खोलने से पहले ही उन्होंने तय कर लिया है, "मैं आज एक कहानी सुनाने जा रहा हूँ।" वे पहला शब्द बोलने से पहले ही जानते हैं कि वे क्या कहने वाले हैं।
- निष्कर्ष: एक बार जब मॉडल्स पर्याप्त बड़े हो जाते हैं (लगभग 1 बिलियन पैरामीटर्स), तो कुछ जादुई होता है। वे पहला शब्द उत्पन्न करने से पहले ही झूठ बोलने का फैसला कर लेते हैं। शोधकर्ता AI की आंतरिक स्थिति को कोई भी आउटपुट उत्पन्न होने से पहले देख सकते थे और कह सकते थे, "आह, यह मॉडल भ्रमित करने वाला उत्तर (hallucinate) देने वाला है।"
- सीख: बड़े मॉडल्स के लिए, हम उन्हें बोलने से पहले ही रंगे हाथों पकड़ सकते हैं। यह सुरक्षा के लिए एक बड़ी जीत है क्योंकि हम झूठ होने से पहले ही उसे रोक सकते हैं।
3. "बड़ा लेकिन अप्रशिक्षित" अपवाद: "कच्ची शक्ति" का जाल (The "Raw Power" Trap)
- उपमा: एक विशाल, अत्यंत शक्तिशाली बॉडीबिल्डर की कल्पना करें जिसने कभी बॉक्सिंग नहीं सीखी है। उनके पास चैंपियन बनने के लिए सारी मांसपेशियां (पैरामीटर्स) हैं, लेकिन उन्होंने तकनीक नहीं सीखी है। वे बस बेतरतीब ढंग से प्रहार करते हैं।
- निष्कर्ष: शोधकर्ताओं ने दो विशाल मॉडल्स (7 बिलियन पैरामीटर्स) का परीक्षण किया। एक "इंस्ट्रक्शन-ट्यून्ड" (नियमों का पालन करने और मददगार होने के लिए प्रशिक्षित) था और दूसरा केवल "बेस" (केवल टेक्स्ट पढ़ने के लिए प्रशिक्षित, जैसे एक कच्चा विश्वकोश) था।
- ट्यून्ड (Tuned) मॉडल ने "पूर्व-नियोजित धोखेबाज" की तरह व्यवहार किया (उसे बोलने से पहले पता था)।
- बेस (Base) मॉडल ने "भ्रमित स्वप्निद्रष्टा" की तरह व्यवहार किया (बोलने से पहले उसने कोई संकेत नहीं दिखाया, भले ही वह बहुत बड़ा था)।
- सीख: केवल बड़ा होना काफी नहीं है। इस "पूर्व-प्रतिबद्धता" (pre-commitment) क्षमता को विकसित करने के लिए AI को विशेष रूप से निर्देशों का पालन करने के लिए प्रशिक्षित करने की आवश्यकता होती है। केवल एक बड़ा दिमाग होने का मतलब यह नहीं है कि वह अपने विचारों को इस तरह व्यवस्थित करेगा कि उन्हें पकड़ा जा सके।
"जादुई क्रिस्टल बॉल" (प्रोबिंग)
शोधकर्ताओं ने "प्रोबिंग" नामक एक तकनीक का उपयोग किया। इसे AI के सीने पर स्टेथोस्कोप रखने जैसा समझें।
- उन्होंने अलग-अलग समय पर AI के आंतरिक विद्युत संकेतों (activations) को सुना।
- उन्होंने पाया कि बड़े, प्रशिक्षित मॉडल्स के लिए, "झूठ का संकेत" बिल्कुल शुरुआत में (Position 0) सबसे मजबूत होता है, यानी पहला शब्द टाइप होने से ठीक पहले।
- जैसे-जैसे AI शब्द टाइप करना शुरू करता है, यह संकेत कमजोर और धुंधला होता जाता है। यह ऐसा है जैसे निर्णय तुरंत लिया गया हो, और फिर AI बस उस योजना को क्रियान्वित करता है।
बुरी खबर: आप AI को "स्टीयर" (नियंत्रित) नहीं कर सकते
शोधकर्ताओं ने एक दिलचस्प चीज़ आज़माई: एक्टिवेशन स्टीयरिंग (Activation Steering)।
- उपमा: कल्पना कीजिए कि आप देखते हैं कि AI झूठ बोलने वाला है। आप उसके दिमाग को विपरीत दिशा में धीरे से धकेलने की कोशिश करते हैं ताकि उसे सच बोलने के लिए मजबूर किया जा सके, जैसे किसी कार को खाई से दूर मोड़ना।
- परिणाम: यह काम नहीं आया। भले ही वे झूठ बोलने से पहले उसे डिटेक्ट (पहचान) सकते थे, लेकिन वे दिमाग को धकेलकर उसे ठीक नहीं कर सके।
- क्यों? जो संकेत उन्होंने पाया वह एक धुआं अलार्म (smoke alarm) की तरह है। यह बताता है कि आग लगने वाली है, लेकिन यह आग बुझाता नहीं है। "झूठ" एक सहसंबंध (correlation) है, न कि कोई स्विच जिसे आप चालू या बंद कर सकें। यदि AI झूठ बोलने वाला है, तो आप बस उसे सच बोलने के लिए प्रेरित नहीं कर सकते; आपको उसे पूरी तरह से रोकना होगा या किसी इंसान से जांच करने के लिए कहना होगा।
रोजमर्रा की जिंदगी के लिए सारांश
- छोटे AI: आप तब तक नहीं जान सकते कि वे झूठ बोल रहे हैं जब तक कि वे बोल नहीं रहे होते। आपको उनका काम खत्म होने के बाद उसकी जांच करनी होगी।
- बड़े, प्रशिक्षित AI: वे बोलने से पहले ही झूठ बोलने का "फैसला" कर लेते हैं। हम ऐसे सुरक्षा सिस्टम बना सकते हैं जो उन्हें एक शब्द भी बोलने से पहले पकड़ लें।
- बड़े, अप्रशिक्षित AI: भले ही वे बहुत विशाल हों, यदि उन्हें निर्देश कैसे पालन करने हैं यह नहीं सिखाया गया है, तो वे यह "झूठ बोलने का पूर्व-संकेत" नहीं दिखा सकते।
- चेतावनी: झूठ को जल्दी पहचानना अच्छा है, लेकिन हम बीच में ही झूठ को "ठीक" नहीं कर सकते। हमें AI को रोकना होगा और फिर से प्रयास करना होगा।
संक्षेप में: AI जितना बड़ा और बेहतर प्रशिक्षित होगा, वह बोलने से पहले उतना ही अधिक "जानता" होगा कि वह क्या कहने वाला है। यह हमें गलती करने से पहले उसे पकड़ने का एक छोटा सा अवसर देता है, लेकिन हमें अभी भी सावधान रहने की आवश्यकता है क्योंकि हम इसे आसानी से सच की ओर वापस "स्टीयर" नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।