Choosing Calibration Procedures for Reuse Across LLM Confidence Interfaces
यह शोध पत्र प्रदर्शित करता है कि एक स्रोत LLM इंटरफ़ेस पर सर्वोत्तम प्रदर्शन करने वाली कैलिब्रेशन प्रक्रिया, लक्ष्य इंटरफ़ेस पर पुन: उपयोग किए जाने पर आवश्यक रूप से इष्टतम कैलिब्रेशन मैप प्रदान नहीं करती है, जो एक विशिष्ट प्रक्रिया चयन समस्या को प्रकट करती है जहाँ स्रोत और पुन: उपयोग के इष्टतम मान भिन्न होते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स आज के कई सबसे उन्नत आर्टिफिशियल इंटेलिजेंस टूल्स के पीछे के इंजन हैं, जो मानव बातचीत की नकल करने वाले टेक्स्ट बनाने, जटिल समस्याओं को हल करने और आश्चर्यजनक प्रवाह के साथ प्रश्नों के उत्तर देने में सक्षम हैं। फिर भी, अपनी पूरी शक्ति के बावजूद, ये सिस्टम अक्सर एक मौलिक मानवीय गुण के साथ संघर्ष करते हैं: यह जानना कि वे कब अनिश्चित हैं। जब कोई मॉडल किसी प्रश्न का उत्तर देता है, तो वह आमतौर पर उस उत्तर में अपने आत्मविश्वास को दर्शाने के लिए एक संख्यात्मक स्कोर असाइन करता है। यदि वह स्कोर उच्च है, तो हम मान लेते हैं कि उत्तर संभवतः सही है; यदि यह कम है, तो हम संशय कर सकते हैं या किसी अन्य स्रोत की तलाश कर सकते हैं। हालाँकि, ये आंतरिक आत्मविश्वास स्कोर हमेशा भरोसेमंद नहीं होते हैं। एक मॉडल गलत उत्तर के बारे में बहुत आश्वस्त हो सकता है, या सही उत्तर के बारे में संशय में हो सकता है। इसे ठीक करने के लिए, शोधकर्ता 'कैलिब्रेशन' नामक एक प्रक्रिया का उपयोग करते हैं, जो एक अनुवादक की तरह कार्य करती है। यह मॉडल के कच्चे आत्मविश्वास स्कोर को लेती है और उन्हें इस तरह समायोजित करती है कि 90 प्रतिशत का स्कोर वास्तव में यह अर्थ दे कि मॉडल 90 प्रतिशत समय सही है। यह समायोजन कोई एक बार की सेटिंग नहीं है; यह एक गणितीय मानचित्र है जिसे प्रश्नों के एक विशिष्ट सेट पर मॉडल के प्रदर्शन का अध्ययन करके बनाया जाता है।
चुनौती तब उत्पन्न होती है जब मॉडल को उत्तर देने के लिए कहे जाने का तरीका बदल जाता है। कल्पना कीजिए कि एक मॉडल को एक साथ चार संभावित उत्तरों के रूप में प्रस्तुत किए जाने पर आत्मविश्वास स्कोर देने के लिए कैलिब्रेट किया गया है। यदि इस सिस्टम को फिर से एक अलग मोड में बदल दिया जाता है जहाँ इसे केवल यह सत्यापित करना है कि एक विशिष्ट उत्तर सही है या नहीं, तो पुराना कैलिब्रेशन मैप अब फिट नहीं बैठ सकता। नए मोड में उत्पन्न स्कोर एक अलग परिदृश्य में रहते हैं, और पुराना अनुवादक उन्हें समझ नहीं पाएगा। इंजीनियरों की एक स्वाभाविक प्रवृत्ति यह मान लेना है कि पहले मोड के लिए जो सर्वोत्तम कैलिब्रेशन विधि थी, वही दूसरे के लिए उपयोग करने के लिए भी सर्वोत्तम होगी। तर्क सुसंगत लगता है: यदि कोई विधि अतीत में पूरी तरह से काम करती थी, तो उसे भविष्य में भी अच्छा काम करना चाहिए। लेकिन चीन के इंस्टीट्यूट ऑफ इंफॉर्मेशन इंजीनियरिंग में लेइहान वांग द्वारा किए गए एक नए अध्ययन से पता चलता है कि यह अंतर्ज्ञान खतरनाक रूप से गलत है। शोध से पता चलता है कि वह कैलिब्रेशन प्रक्रिया जो मूल सेटिंग में सबसे अच्छा प्रदर्शन करती है, अक्सर नई सेटिंग में ले जाने पर सबसे अच्छा विकल्प साबित नहीं होती है, जो हमें इन सिस्टम्स पर भरोसा करने के तरीके पर पुनर्विचार करने के लिए मजबूर करती है।
इसकी जांच करने के लिए, शोधकर्ता ने चार अलग-अलग लार्ज लैंग्वेज मॉडल्स और सामान्य ज्ञान, सामान्य समझ और चिकित्सा विषयों को कवर करने वाले तीन अलग-अलग प्रश्न संग्रहों का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया। अध्ययन ने मॉडलों से उत्तर पूछने के दो बहुत ही अलग तरीकों पर ध्यान केंद्रित किया। पहले सेटअप में, जिसे मल्टीपल-चॉइस फॉर्मेट (बहुविकल्पीय प्रारूप) के रूप में जाना जाता है, मॉडल एक प्रश्न और चार संभावित उत्तर देखता है, और उसे एक चुनना होता है। दूसरे सेटअप में, जिसे बाइनरी वेरिफिकेशन फॉर्मेट (द्विआधारी सत्यापन प्रारूप) कहा जाता है, मॉडल को वही प्रश्न और केवल एक विशिष्ट उत्तर दिखाया जाता है, और उसे निर्णय लेना होता है कि वह एकल उत्तर सही है या गलत। महत्वपूर्ण रूप से, शोधकर्ता ने यह सुनिश्चित किया कि दोनों सेटअपों में मूल प्रश्न और सही उत्तर बिल्कुल समान रहे। केवल इंटरफ़ेस—जिस तरह से प्रश्न प्रस्तुत किया गया था और मॉडल से उत्तर कैसे मांगा गया था—बदला। इसने एक स्वच्छ तुलना की अनुमति दी कि कैसे मॉडलों के आत्मविश्वास स्कोर बदले जब खेल के नियम बदल गए, बिना वास्तविक सामग्री को बदले।
टीम ने पहले इंटरफ़ेस का उपयोग करके मॉडलों के लिए कई अलग-अलग कैलिब्रेशन मैप्स फिट किए। फिर उन्होंने इन मैप्स को बिना किसी बदलाव के दूसरे इंटरफ़ेस पर लागू किया यह देखने के लिए कि वे कितने अच्छी तरह काम करते हैं। उन्होंने इन "पुन: उपयोग किए गए" मैप्स के प्रदर्शन की तुलना दो बेंचमार्क के विरुद्ध की: नए सेटिंग में मॉडलों द्वारा दिए गए कच्चे, अनकैलिब्रेटेड स्कोर, और नए सेटिंग के लिए विशेष रूप से शून्य से प्रशिक्षित किए गए नए मैप्स। परिणाम सभी परीक्षण किए गए मॉडलों और प्रश्न सेटों में स्पष्ट और सुसंगत थे। दोनों दिशाओं में स्विच के दौरान—चाहे मल्टीपल-चॉयस से वेरिफिकेशन की ओर जाना हो या इसके विपरीत—वह कैलिब्रेशन विधि जिसने मूल सेटिंग में सबसे अच्छा प्रदर्शन किया था, वह नहीं थी जिसने नई सेटिंग में सबसे अच्छा प्रदर्शन किया। वास्तव में, मूल "सर्वश्रेष्ठ" विधि का पालन करने से सटीकता में मापने योग्य कमी आई। जब शोधकर्ताओं ने त्रुटि की गणना की, तो उन्होंने पाया कि सोर्स-नेटिव सर्वश्रेष्ठ विधि का उपयोग करने से नए सेटिंग में लगभग 0.003 से 0.013 की अतिरिक्त त्रुटि दर हुई, जो कि भले ही पूर्ण रूप में छोटी हो, लेकिन उच्च-दांव वाले निर्णयों के लिए विश्वसनीयता में महत्वपूर्ण गिरावट का प्रतिनिधित्व करती है।
यह निष्कर्ष तब भी सत्य है जब मॉडल को एक विशिष्ट उम्मीदवार दिए जाने के बजाय अपना स्वयं का उत्तर चुनने की अनुमति दी जाती है। अध्ययन में एक माध्यमिक विश्लेषण शामिल था जहाँ मॉडल ने वह उत्तर चुना जिसे वह सबसे अच्छा मानता था, और फिर उसी उत्तर को सत्यापित किया गया। पैटर्न वही रहा: वह प्रक्रिया जो स्रोत वातावरण में सबसे अच्छी दिखती थी, वह लक्ष्य वातावरण के लिए सबसे अच्छा विकल्प नहीं थी। शोधकर्ताओं ने पाया कि कैलिब्रेशन विधि और इंटरफ़ेस के बीच का संबंध गहराई से दिशात्मक है। एक विधि जो कुछ गणितीय विशेषताओं पर निर्भर करती है, वह मल्टीपल-चॉइस फॉर्मेट से वेरिफिकेशन फॉर्मेट में जाने पर फल-फूल सकती है, लेकिन वे समान विशेषताएं विपरीत दिशा में जाने पर एक देन बन सकती हैं। अध्ययन ने दिखाया कि कैलिब्रेशन प्रक्रिया को बदलने के प्रभाव इस बात पर बहुत अधिक निर्भर करते हैं कि स्विच किस दिशा में किया गया है, जिसका अर्थ है कि कोई एक "सार्वभौमिक" सर्वश्रेष्ठ विधि नहीं है जो संदर्भ के बावजूद काम करती हो।
इस खोज के निहितार्थ उन सभी के लिए व्यावहारिक और तत्काल हैं जो एआई कॉन्फिडेंस (AI विश्वास) पर निर्भर सिस्टम बना रहे हैं। इसका अर्थ है कि एक कैलिब्रेशन मैप का इतिहास मायने रखता है। एक मैप जो एक इंटरफ़ेस के लिए पूरी तरह से ट्यून किया गया था, वह उस इंटरफ़ेस का संदर्भ अपने साथ लेकर चलता है, और वह संदर्भ एक नए इंटरफ़ेस में अनुवादित नहीं हो सकता है। अध्ययन का तर्क है कि हम केवल यह मानकर नहीं चल सकते कि अतीत का सर्वश्रेष्ठ प्रदर्शन करने वाला कैलिब्रेशन भविष्य में पुन: उपयोग के लिए सर्वश्रेष्ठ है। इसके बजाय, जब कोई सिस्टम यह बदलता है कि वह प्रश्न कैसे पूछता है या उत्तर कैसे प्राप्त करता है, तो कैलिब्रेशन प्रक्रिया का चयन पुन: मूल्यांकन किया जाना चाहिए। यदि लक्ष्य वातावरण में लेबल उपलब्ध हैं, तो सबसे अच्छा दृष्टिकोण उस वातावरण के लिए विशेष रूप से एक नया मैप फिट करना है। यदि यह संभव नहीं है, तो पुराने "सर्वश्रेष्ठ" मैप को केवल ले जाना एक जुआ है जिसके परिणामस्वरूप कम विश्वसनीय आत्मविश्वास स्कोर मिलने की संभावना है। शोध इस निष्कर्ष के साथ समाप्त होता है कि एक कैलिब्रेशन मैप की गुणवत्ता स्वयं विधि का एक अंतर्निहित गुण नहीं है, बल्कि उस विधि, उस डेटा जिससे उसे प्रशिक्षित किया गया था, और उस विशिष्ट इंटरफ़ेस के बीच का एक संबंध है जहाँ इसका उपयोग किया जाता है। अंत में, सबसे विश्वसनीय आत्मविश्वास स्कोर केवल अतीत को अंधाधुंध पुन: उपयोग करने से नहीं, बल्कि इस समझ से आते हैं कि प्रत्येक नया इंटरफ़ेस एक नया परिदृश्य है जिसके लिए एक नए मानचित्र की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।