Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में विभिन्न इन्फरेंस-टाइम अनिश्चितता मापों का मूल्यांकन करता है, जिसमें यह पाया गया है कि कई मेट्रिक्स मानव अनिश्चितता के साथ मजबूत संरेखण और मध्यम-से-मजबूत मॉडल अंशांकन (कैलिब्रेशन) प्रदर्शित करते हैं, भले ही वे मानव उत्तर प्राथमिकताओं के साथ सहसंबंध नहीं रखते हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट से एक सवाल पूछ रहे हैं। आप दो चीजें जानना चाहते हैं:
- क्या रोबोट वास्तव में सही है? (इसे कैलिब्रेशन कहा जाता है)।
- क्या रोबोट को अनिश्चितता "महसूस" होती है ठीक वैसे ही जैसे एक इंसान को अनिश्चितता महसूस होती है? (इसे अलाइनमेंट कहा जाता है)।
लंबे समय से, शोधकर्ता ऐसे रोबोट बनाने में माहिर रहे हैं जो जानते हैं कि वे कब सही हैं या गलत (कैलिब्रेशन)। लेकिन उन्होंने यह जांच नहीं की है कि क्या रोबोट का "अंतर्ज्ञान" (gut feeling) उस तरह से अनिश्चितता महसूस करता है जैसे इंसानों का समूह करता है। यह शोध पत्र एक जासूसी कहानी की तरह है जो यह पता लगाने की कोशिश कर रहा है कि क्या रोबोट और इंसान अनिश्चितता के संबंध में एक ही भावनात्मक तरंग (wavelength) पर हैं।
जासूसी का काम: उन्होंने इसे कैसे परखा
शोधकर्ताओं ने रोबट के साथ एक छात्र की तरह व्यवहार किया जो बहुविकल्पीय (multiple-choice) परीक्षा दे रहा है। उन्होंने केवल रोबोट से उत्तर नहीं मांगा; उन्होंने रोबोट से अपना "काम" दिखाने के लिए भी कहा, यानी यह प्रकट करने के लिए कि वह हर संभावित उत्तर विकल्प के प्रति कितना आश्वस्त था।
उन्होंने इन "कक्षाओं" (डेटासेट) का उपयोग परीक्षण के लिए किया:
- छोटी कक्षा: एक प्रसिद्ध पोलिंग संगठन (Pew Research) के 38 प्रश्नों का एक छोटा समूह।
- बड़ी कक्षा: सार्वजनिक राय सर्वेक्षणों (Roper Center) के लगभग 3,000 प्रश्नों का एक विशाल समूह।
इन कक्षाओं में, उन्होंने रोबोट के उत्तरों और आत्मविश्वास के स्तरों की तुलना वास्तविक मनुष्यों के समूहों द्वारा दिए गए उत्तरों से की।
बड़ा आश्चर्य: "महसूस करना" बनाम "सोचना"
यहाँ वह मोड़ आया जिसे इस शोध पत्र ने खोजा, जो बिल्कुल वैसा ही है जैसे यह पता चलना कि एक छात्र और एक शिक्षक अलग-अलग टेस्ट दे रहे हैं लेकिन उन्हें एक ही "वाइब" (vibe) मिल रही है:
- वे उत्तर पर सहमत नहीं होते: यदि आप एक मानव समूह और रोबोट से एक ही प्रश्न पूछते हैं, तो वे अक्सर अलग-अलग उत्तर चुनते हैं। रोबोट की "वरीयता क्रम" (preference order - जो उत्तर उसे सबसे अच्छा लगता है, दूसरा सबसे अच्छा, आदि) आमतौर पर इंसानों से पूरी तरह अलग होती है।
- लेकिन वे "महसूस" करने पर सहमत होते हैं: भले ही वे अलग-अलग उत्तर चुनते हैं, लेकिन रोबोट का अनिश्चितता मीटर अक्सर ठीक उसी समय ऊपर-नीचे होता है जब इंसानों की अनिश्चितता होती है।
उपमा (Analogy): कल्पना कीजिए कि आप और आपका दोस्त किसी खेल के स्कोर का अनुमान लगा रहे हैं। आप दोनों अलग-अलग स्कोर बताते हैं (शायद आप 24-20 कहते हैं, वे 21-19 कहते हैं)। हालाँकि, आप दोनों अपने अनुमानों को लेकर समान रूप से घबराए हुए हैं। आप दोनों सोचते हैं, "मैं पक्का नहीं हूँ, यह कुछ भी हो सकता है।" शोध पत्र ने पाया कि LLMs उसी दोस्त की तरह हैं: वे गलत स्कोर का अनुमान लगा सकते हैं, लेकिन उनकी "घबराहट" इंसानों की घबराहट से पूरी तरह मेल खाती है।
उपकरण जिनका उन्होंने उपयोग किया ("अनिश्चितता मीटर")
शोधकर्ताओं ने इस "घबराहट" को मापने के कई तरीकों का परीक्षण किया। इन्हें रोबोट की चिंता मापने के लिए अलग-अलग प्रकार के थर्मामीटर के रूप में समझें:
- Top-1 Probability: "मैं अपने पहले अनुमान के बारे में कितना आश्वस्त हूँ?" (यह मानव-अलाइनमेंट मीटर के रूप में अच्छा काम नहीं कर पाया)।
- Entropy (द "केओस/अराजकता" मीटर): यह मापता है कि रोबोट के अनुमान कितने फैले हुए हैं। यदि रोबोट एक उत्तर के लिए 90% सुनिश्चित है, तो वह शांत है (कम एंट्रॉपी)। यदि वह चार उत्तरों के बीच 25-25% विभाजित है, तो वह अराजक है (उच्च एंट्रॉपी)।
- विजेता: उन्होंने पाया कि विशेष रूप से सही उत्तर विकल्पों के बीच "केओस" को मापना (जिसे Choice Entropy कहा जाता है) और शीर्ष 10 संभावित अनुमानों को देखना (जिसे Top-10 Entropy कहा जाता है) मानव भावनाओं से मेल खाने में सबसे अच्छे थे।
- Top-P Sampling: यह ऐसा है जैसे रोबोट कह रहा है, "मैं शीर्ष उत्तरों के उस हिस्से को पकड़ने जा रहा हूँ जो मेरे विश्वास का 90% जोड़ते हैं।" इस हिस्से का आकार हमें बताता है कि रोबोट कितना अनिश्चित है।
क्या रोबोट वास्तव में जानता था कि वह कब गलत था? (कैलिब्रेशन)
सिर्फ इसलिए कि रोबोट इंसानों की तरह अनिश्चित महसूस करता है, इसका मतलब यह नहीं है कि वह तब वास्तव में सही होता है जब वह आश्वस्त होता है। शोधकर्ताओं ने इसकी जांच MMLU (कठिन बहुविकल्पीय प्रश्नों का एक विशाल संग्रह) नामक एक मानक परीक्षण का उपयोग करके की।
- परिणाम: वे "अनिश्चितता मीटर" जो मानवीय भावनाओं से मेल खाते थे (जैसे Choice Entropy), वे वास्तव में रोबोट के गलत होने की भविष्यवाणी करने में भी काफी सक्षम थे।
- कमी (The Catch): रोबोट पूरी तरह से कैलिब्रेटेड नहीं था। वह "मध्यम" रूप से अच्छा था। यह एक मौसम पूर्वानुमान की तरह है जो कहता है "बारिश की 50% संभावना है" और आधे समय बारिश होती है—यह उपयोगी है, लेकिन यह कोई भविष्य बताने वाला यंत्र (crystal ball) नहीं है।
"आहा!" क्षण (The "Aha!" Moment)
यह शोध पत्र एक चतुर संबंध बनाता है जिसे पहले किसी ने ध्यान नहीं दिया था:
- Top-P Sampling (एक सामान्य तरीका जिससे रोबोट टेक्स्ट जनरेट करते हैं) सांख्यिकी की एक अवधारणा जिसे "बायेसियन क्रेडिबल सेट" (Bayesian Credible Set) कहा जाता है, के गणितीय रूप से बहुत करीब है। लेखकों ने महसूस किया कि यह लिंक यह समझाने में मदद करता है कि टॉप-पी समूह के "आकार" को देखना अनिश्चितता मापने का एक अच्छा तरीका क्यों है।
निष्कर्ष (The Bottom Line)
यह शोध पत्र बताता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) में एक "मानव-समान" अनिश्चितता की समझ होती है, भले ही वे अंतिम उत्तर पर मनुष्यों से हमेशा सहमत न हों।
- क्या सबसे अच्छा काम करता है: यह मापना कि रोबोट का विश्वास सही उत्तरों के बीच कितना "फैला हुआ" है (Choice Entropy) या शीर्ष 10 अनुमानों के बीच।
- यह क्यों मायने रखता है: यदि हम इन विशिष्ट "मीटरों" का उपयोग कर सकते हैं, तो हम उपयोगकर्ताओं को एक ऐसा संकेत दे सकते हैं जो सहज (intuitive) महसूस हो। एक भ्रमित करने वाली संख्या के बजाय, रोबोट कह सकता है, "मुझे इस बारे में बहुत अनिश्चितता महसूस हो रही है," ठीक वैसे ही जैसे एक इंसान को महसूस होगी। यह विश्वास बनाने में मदद करता है, भले ही रोबोट 100% सही न हो।
शोध पत्र ने क्या नहीं किया:
- इसने खुले संवाद (जैसे कविता लिखना) पर इसका परीक्षण नहीं किया, केवल बहुविकल्पीय प्रश्नों पर किया।
- इसने सबसे बड़े, सबसे महंगे सुपर-कंप्यूटर मॉडल पर इसका परीक्षण नहीं किया, केवल 8 बिलियन पैरामीटर या उससे कम वाले मॉडलों पर किया।
- इसने यह देखने के लिए कोई क्लिनिकल ट्रायल या यूजर स्टडी नहीं की कि क्या इससे लोग अधिक खुश होते हैं; इसने केवल गणित और अलाइनमेंट को मापा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।