Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
यह शोध पत्र भाषा मॉडलों पर इंस्ट्रक्शन ट्यूनिंग के प्रभाव की जांच करता है, जिसमें यह पाया गया है कि हालांकि यह निरंतर मौखिक आत्मविश्वास (verbalized confidence) को बढ़ाता है और क्रॉस-रेशनल विविधता (cross-rationale diversity) को कम करता है, लेकिन यह सतही-स्तर की शाब्दिक विविधता (surface-level lexical diversity) पर परिवर्तनशील प्रभाव डालता है और भविष्य कहने वाली सटीकता (predictive accuracy) को महत्वपूर्ण रूप से बदले बिना संभावना-आधारित अंशांकन (likelihood-based calibration) को खराब करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत अधिक पढ़ा-लिखा रोबोट है जिससे बात कर रहे हैं। आप उससे एक सवाल पूछते हैं, और वह एक आत्मविश्वास भरी आवाज़ में जवाब देता है, विस्तार से समझाते हुए कि उसे क्यों लगता है कि वह सही है। लेकिन यहाँ एक पेंच है, कभी-कभी वह रोबोट सिर्फ निश्चित होने का नाटक कर रहा होता है। वह बेतहाशा अंदाज़ा लगा सकता है लेकिन एक प्रोफेसर की तरह सुनाई दे सकता है। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में एक बड़ी बात है, विशेष रूप से "लार्ज लैंग्वेज मॉडल्स" (LLMs) के लिए—वे सुपर-स्मार्ट कंप्यूटर जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं, और सामान्य ज्ञान के सवालों के जवाब देते हैं।
इस शोध पत्र को समझने के लिए, आपको दो चीजें जानने की आवश्यकता है। पहली, इंस्ट्रक्शन ट्यूनिंग (Instruction Tuning)। एक कच्चे AI मॉडल को एक प्रतिभाशाली लेकिन अराजक छात्र के रूप में सोचें जिसे लाखों तथ्य पता हैं लेकिन वह शिक्षक के नियमों का पालन करना नहीं जानता। "इंस्ट्रक्शन ट्यूनिंग" उस छात्र को एक विशेष बूट कैंप में भेजने जैसा है जहाँ वे प्रॉम्प्ट्स को सुनना, निर्देशों का पालन करना और एक विशिष्ट प्रारूप में उत्तर देना सीखते हैं। यह आमतौर पर उन्हें वह करने में बहुत बेहतर बनाता है जो हम चाहते हैं। दूसरा, आत्मविश्वास और विविधता (Confidence and Diversity)। जब एक AI उत्तर देता है, तो वह हमें बता सकता है कि वह कितना आश्वस्त है (आत्मविश्वास)। वह "तर्क" (rationales) भी उत्पन्न करता है—उसकी सोच की छोटी व्याख्याएँ। "लेक्सिकल डाइवर्सिटी" (Lexical diversity) बस एक फैंसी तरीका है यह बताने का कि वह कितने अलग-अलग शब्दों और वाक्य संरचनाओं का उपयोग करता है। यदि एक AI वास्तव में गहराई से सोच रहा है, तो वह अपने उत्तर को समझाने के विभिन्न तरीके आज़माने की कोशिश कर सकता है। यदि वह केवल एक स्क्रिप्ट पढ़ रहा है, तो वह हर बार एक जैसा ही सुनाई देगा।
हमें इसकी परवाह क्यों है? क्योंकि वास्तविक जीवन में—जैसे जब एक रोबोट डॉक्टर किसी मरीज का निदान करता है या एक रोबोट वकील किसी अनुबंध की समीक्षा करता है—हमें यह जानने की आवश्यकता होती है कि क्या रोबोट वास्तव में सही है या वह सिर्फ आत्मविश्वासी होने का ढोंग कर रहा है। यदि रोबोट बिना वास्तव में स्मार्ट हुए अधिक मुखर और अधिक दोहराव वाला हो जाता है, तो यह एक खतरनाक जाल है।
द "ओवरकॉन्फिडेंट स्टूडेंट" एक्सपेरिमेंट (अति-आत्मविश्वासी छात्र का प्रयोग)
इस अध्ययन में, शोधकर्ताओं ने जासूस खेलने का निर्णय लिया। वे देखना चाहते थे कि "इंस्ट्रक्शन ट्यूनिंग" बूट कैंप पूरा करने के बाद इन AI छात्रों के साथ क्या होता है। विशेष रूप से, उन्होंने पूछा: क्या रोबोट अधिक आत्मविश्वासी इसलिए हो गया है क्योंकि उसने वास्तव में अधिक सीखा है, या क्या वह केवल अधिक आत्मविश्वासी होने का अभिनय कर रहा है जबकि उसकी व्याख्याएँ उबाऊ और दोहराव वाली हो गई हैं?
उन्होंने तीन अलग-अलग AI मॉडल परिवारों (सोचिए कि वे तीन अलग-अलग स्कूल हैं: Qwen, Mistral, और Llama) को लिया और उनके "पहले" और "बाद" के संस्करणों की तुलना की। उन्होंने उनसे विज्ञान परीक्षणों, सामान्य ज्ञान क्विज़ और तर्क पहेलियों के हजारों प्रश्न पूछे।
यहाँ उन्हें क्या मिला, और यह थोड़ा चौंकाने वाला है।
1. रोबोट अधिक मुखर हो गया है, लेकिन जरूरी नहीं कि अधिक स्मार्ट भी
इंस्ट्रक्शन ट्यूनिंग के बाद, रोबole अधिक आत्मविश्वासी हो गए। उन्होंने अपनी अनिश्चितता छोड़ दी। यदि आप उनसे पूछते, "आप कितने सुनिश्चित हैं?" तो वे कहेंगे, "मैं 90% सुनिश्चित हूँ!" बजाय इसके कि "शायद 50%।"
- पेंच: यह आत्मविश्वास हमेशा उनकी वास्तविक सटीकता से मेल नहीं खाता था। उदाहरण के लिए, एक परीक्षण (ARC-Easy) पर, Llama मॉडल का आत्मविश्वास लगभग 49% से बढ़कर 90% हो गया, लेकिन परीक्षण पर उसका वास्तविक स्कोर 82.2% पर बिल्कुल वैसा ही रहा। यह एक छात्र की तरह था जिसने हाथ उठाया और 100% निश्चितता के साथ चिल्लाकर कहा "मुझे यह पता है!", भले ही उसने वास्तव में अपने टेस्ट स्कोर में कोई सुधार नहीं किया था। शोधकर्ताओं ने पाया कि यह "मौखिक अति-आत्मविश्वास" (verbalized overconfidence) उनके द्वारा परीक्षण किए गए सभी मॉडलों में लगातार देखा गया।
2. "स्क्रिप्टेड" व्याख्या
शोधकर्ताओं ने फिर रोबोट द्वारा दी गई व्याख्याओं (तर्कों) को देखा। उन्होंने दो चीजों को मापा:
- क्रॉस-रेशनल डाइवर्सिटी (Cross-rationale diversity): यदि आप रोबोट से एक ही सवाल पाँच बार पूछते हैं, तो क्या वह आपको पाँच अलग-अलग व्याख्याएँ देता है, या वह केवल एक ही को कॉपी-पेस्ट करता है?
- सरफेस-लेवल डाइवर्सिटी (Surface-level diversity): एक ही व्याख्या में वह कितने अद्वितीय शब्दों और शब्द युग्मों का उपयोग करता है?
परिणाम मिश्रित लेकिन वर्णनात्मक थे। रोबोट अपने उत्तरों को समझाने में बहुत अधिक दोहराव वाला (repetitive) हो गया। यदि आप एक ही प्रश्न पाँच बार पूछते हैं, तो इंस्ट्रक्शन-ट्यून किए गए मॉडल बहुत समान व्याख्याएँ देते हैं, जबकि "कच्चे" मॉडल अधिक विविध थे। ऐसा लगता है जैसे बूट कैंप ने उन्हें एक एकल, सुरक्षित स्क्रिप्ट पर टिके रहने के लिए सिखाया है।
- हालाँकि, "सरफेस-लेवल" डाइवर्सिटी (कितने अलग-अलग शब्दों का उपयोग किया गया) थोड़ी अराजक थी। कभी-कभी रोबोट अधिक अद्वितीय शब्दों का उपयोग करते थे, तो कभी कम। यह इस पर निर्भर करता था कि कौन सा रोबोट और कौन सा परीक्षण उपयोग किया जा रहा था। इसके लिए कोई एक नियम नहीं था।
3. बेमेल (The Mismatch)
सबसे महत्वपूर्ण निष्कर्ष यह है कि ये दो बदलाव—अधिक आत्मविश्वासी होना और अधिक दोहराव वाला होना—हमेशा एक व्यवस्थित पैकेज में एक साथ नहीं होते हैं।
- कभी-कभी रोबोट कम अनिश्चित (अधिक आत्मविश्वासी) हो जाता है और साथ ही अपनी व्याख्याओं में कम विविध भी हो जाता है।
- अन्य समय में, वह कम अनिश्चित होता है लेकिन शब्दों के चुनाव में अधिक विविध होता है।
- शोधकर्ताओं ने पाया कि आप यह अनुमान लगाने के लिए कि रोबोट कितना आत्मविश्वासी है, यह नहीं देख सकते कि वह कितने अलग-अलग शब्दों का उपयोग करता है। दोनों चीजें अलग-अलग धुन पर नाच रही थीं।
4. यह केवल लंबाई के बारे में नहीं है
आप सोच सकते हैं, "शायद रोबोट अधिक आत्मविश्वासी इसलिए हो गया क्योंकि उसने लंबी व्याख्याएँ लिखना शुरू कर दिया?" शोधकर्ताओं ने इसकी जाँच की। उन्होंने रोबोट को ठीक समान लंबाई की व्याख्या लिखने के लिए मजबूर किया और केवल उन्हीं को देखा जिन्होंने एक ही उत्तर चुना। उसके बाद भी, पैटर्न बना रहा: इंस्ट्रक्शन-ट्यून किए गए मॉडल अभी भी अधिक आत्मविश्वासी थे और अपनी व्याख्याओं में अधिक दोहराव वाले थे। यह बदलाव केवल अधिक या कम लिखने का दुष्प्रभाव नहीं था; यह मॉडलों के व्यवहार में एक मौलिक बदलाव था।
निचोड़ (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि इंस्ट्रक्शन ट्यूनिंग AI मॉडलों को ऐसे अति-आत्मविश्वासी छात्रों की तरह बना देती है जिन्होंने चीजों को समझाने का एक ही सुरक्षित तरीका रट लिया है। वे अधिक निश्चित लगते हैं, लेकिन जरूरी नहीं कि वे अधिक जानते हों, और वे चीजों को अलग-अलग तरीकों से समझाने की कोशिश करना बंद कर देते हैं।
शोधकर्ता सुझाव देते हैं कि यह एक चेतावनी का संकेत है। यदि हम यह जानने के लिए AI के आत्मविश्वास पर भरोसा करते हैं कि वह सही है या नहीं, तो हम मूर्ख बन सकते हैं। रोबोट चिल्लाकर "मुझे यकीन है!" कह सकता है, जबकि वास्तव में वह केवल अपनी पुरानी स्क्रिप्ट को दोहरा रहा होता है। उन्होंने यह भी पाया कि रोबोट का आत्मविश्वास हमेशा उसकी वास्तविक सटीकता से मेल नहीं खाता था, और उसकी व्याख्याएँ कम विविध हो गईं, जिससे यह पहचानना कठिन हो सकता है कि रोबोट गलती कर रहा है।
संक्षेप में: केवल इसलिए कि प्रशिक्षण के बाद रोबोट अपने बारे में अधिक आश्वस्त दिखता है, इसका मतलब यह नहीं है कि वह अधिक स्मार्ट हो गया है। हो सकता है कि वह केवल यह दिखाने में बेहतर हो गया हो कि उसे क्या पता है, भले ही वह उन्हीं पुराने संवादों का उपयोग कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।