When are likely answers right? On Sequence Probability and Correctness in LLMs
यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में अनुक्रम प्रायिकता (सीक्वेंस प्रोबेबिलिटी) और शुद्धता के बीच संबंध की जांच करता है, जिसमें यह पाया गया है कि हालांकि एक निश्चित डेटासेट के भीतर उच्च प्रायिकता अक्सर शुद्धता का पूर्वानुमान लगाती है, लेकिन यह डिकोडिंग पद्धति के परिवर्तनों के माध्यम से सटीकता में सुधार करने या एक ही प्रॉम्प्ट के लिए सही प्रतिक्रियाओं के बीच अंतर करने के लिए एक विश्वसनीय संकेतक नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक अति-कल्पनाशील कहानीकार के रूप में करें जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। जब आप इस कहानीकार को एक प्रॉम्प्ट (कहानी शुरू करने का संकेत) देते हैं, तो वे केवल एक अंत नहीं बताते; वे हजारों अलग-अलग संभावित अंत उत्पन्न कर सकते हैं।
मुख्य प्रश्न जो यह शोध पत्र पूछता है: "यदि किसी कहानी का अंत कहानीकार को बहुत 'संभावित' या 'स्वाभाविक' लगता है, तो क्या इसका मतलब यह है कि वह वास्तव में सही उत्तर है?"
लेखक मॉडल की "प्रायिकता" (probability - यानी मॉडल किस वाक्य को कितना संभावित मानता है) को एक आत्मविश्वास मीटर के रूप में देखते हैं। वे जानना चाहते थे कि क्या इस आत्मविश्वास मीटर की आवाज़ बढ़ाने से बेहतर उत्तर मिलते हैं।
यहाँ उन्होंने क्या पाया है, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है:
1. "पुस्तकालय" की उपमा (एक डेटासेट के भीतर)
निष्कर्ष: यदि आप किसी विशिष्ट प्रकार के प्रश्न (जैसे गणित की परीक्षा) के लिए उत्पन्न किए गए उत्तरों के पूरे ढेर को देखते हैं, तो वे उत्तर जिन्हें मॉडल सबसे अधिक "संभावित" मानता है, आमतौर पर सही होते हैं।
- रूपक: कल्पना कीजिए कि एक लाइब्रेरियन है जिसने किताबों को व्यवस्थित किया है। यदि आप पूछते हैं, "इनमें से कौन सी किताब कार ठीक करने के लिए सही गाइड है?", तो लाइब्रेरियन उस किताब की ओर इशारा करता है जिसे लेकर वह सबसे अधिक आश्वस्त है। अलग-अलग प्रश्नों के एक ढेर में, लाइब्रेरियन आमतौर पर सही होता है।
- सावधानी: यह केवल तभी काम करता है जब आप एक-दूसरे के विरुद्ध अलग-अलग प्रश्नों की तुलना कर रहे हों। इसका मतलब यह नहीं है कि लाइब्रेरियन केवल इसलिए एक विशिष्ट प्रश्न के लिए सही किताब चुनने में परफेक्ट है क्योंकि वह आश्वस्त महसूस करता है।
2. "ट्यूनिंग नॉब" की उपमा (सेटिंग्स बदलना)
निष्कर्ष: यदि आप अपनी सेटिंग्स बदलकर (जैसे कि मॉडल को कम रैंडम बनाने के लिए एक डायल घुमाकर) मॉडल को "अधिक आत्मविश्वासी" बनाने की कोशिश करते हैं, तो आपको अनिवार्य रूप से बेहतर उत्तर नहीं मिलते। वास्तव में, आपको अक्सर ऐसे खराब उत्तर मिलते हैं जो केवल अधिक आत्मविश्वासी दिखते हैं।
- रूपक: एक रेडियो की कल्पना करें। आप संगीत को अधिक तेज और स्पष्ट बनाने के लिए "सिग्नल स्ट्रेंथ" का नॉब घुमा सकते हैं। लेकिन यदि आप इसे बहुत अधिक बढ़ा देते हैं, तो आपको केवल ऐसा शोर (static) मिल सकता है जो बहुत तेज और स्पष्ट सुनाई देता है, भले ही वह सही गाना न हो।
- वास्तविकता: शोध पत्र ने पाया कि मॉडल को मजबूर करने के लिए उसकी सेटिंग्स को ट्यून करना कि वह "सबसे संभावित" अनुक्रमों को चुने, अक्सर मॉडल को खुद के प्रति अधिक आश्वस्त बनाता है, लेकिन यह उसे स्मार्ट नहीं बनाता। कभी-कभी, "सबसे संभावित" रास्ता वास्तव में एक जाल होता है।
3. "भीड़ के वोट" की उपमा (वही प्रश्न, अलग-अलग उत्तर)
निष्कर्ष: यदि आप मॉडल से ठीक वही सवाल 32 बार पूछते हैं, तो "सबसे संभावित" उत्तर हमेशा सही नहीं होता है। मॉडल आपको 32 अलग-अलग उत्तर दे सकता है, और वह उत्तर जिसे मॉडल सबसे अधिक संभावित मानता है, गलत हो सकता है।
- रूपक: कल्पना कीजिए कि आप एक कमरे में मौजूद 32 लोगों से एक पहेली पूछ रहे हैं। आप पूछते हैं, "यहाँ सबसे बुद्धिमान व्यक्ति कौन है?" जो व्यक्ति सबसे जोर से हाथ उठाता है (उच्चतम प्रायिकता), वह जरूरी नहीं कि सही उत्तर वाला हो। कभी-कभी कमरा विभाजित होता है, और "जोर वाला" उत्तर केवल एक लोकप्रिय अनुमान होता है, सत्य नहीं।
- अपवाद: शोध पत्र ने पाया कि एक विशिष्ट प्रकार की पहेली (गणित के सवाल) में, "सबसे ऊंची" आवाज आमतौर पर सबसे समझदार थी। लेकिन अन्य प्रकार के प्रश्नों (जैसे निर्देश पालन करना या चिकित्सा सलाह) के लिए, ऊंची आवाज अक्सर उतनी ही गलत होने की संभावना रखती थी जितनी कि शांत आवाजें।
4. "स्व-सुधार" का जाल
निष्कर्ष: कुछ लोग AI को स्मार्ट बनाने के लिए उसे अपने ही "सर्वश्रेष्ठ" उत्तर चुनने और उनसे सीखने के लिए प्रेरित करते हैं। यह शोध पत्र चेतावनी देता है कि यह जोखिम भरा है।
- रूपक: कल्पना कीजिए कि एक छात्र गणित में बेहतर होने के लिए केवल उन्हीं उत्तरों का अध्ययन कर रहा है जिन्हें वह सही समझता है। यदि छात्र पहले से ही गणित में काफी अच्छा नहीं है, तो वह केवल अपनी गलतियों को पुख्ता करता जाएगा, यह सोचते हुए, "ओह, यह गलत उत्तर बहुत परिचित लग रहा है, इसलिए यह सही ही होगा!"
- सबक: आप केवल तभी "आत्मविश्वास" का उपयोग AI को सुधारने के लिए कर सकते हैं जब AI पहले से ही उस कार्य में अच्छा हो। यदि वह संघर्ष कर रहा है, तो उसके अपने आत्मविश्वास पर भरोसा करना उसे और भी अधिक आत्मविश्वास के साथ गलत साबित कर देगा।
"नियमों के सार" का सारांश
यह शोध पत्र हमें इन मॉडलों का उपयोग करने के लिए तीन मुख्य बातें देता है:
- "आवाज़" (Volume) पर भरोसा न करें: सिर्फ इसलिए कि मॉडल कहता है कि एक उत्तर "अत्यधिक संभावित" है, इसका मतलब यह नहीं है कि वह सही है।
- संदर्भ मायने रखता है: "निश्चित महसूस करने" और "सही होने" के बीच का संबंध प्रश्न के प्रकार के आधार पर बदल जाता है (गणित, कोड और निर्देशों के लिए अलग-अलग है)।
- अति-अनुकूलन (Over-Optimize) न करें: मॉडल को अपनी सेटिंग्स बदलकर "अधिक संभावित" बनाने की कोशिश करना आमतौर पर मदद नहीं करता और प्रदर्शन को नुकसान पहुँचा सकता है।
संक्षेप में: मॉडल का "अंतर्ज्ञान" (प्रायिकता) एक बड़े चित्र को देखने के लिए एक उपयोगी सुराग है, लेकिन एक एकल, विशिष्ट समस्या को सुलझाने के लिए एक बुरा दिशा-सूचक यंत्र (compass) है। आप केवल "आत्मविश्वास का डायल" बढ़ाकर यह उम्मीद नहीं कर सकते कि उत्तर बेहतर हो जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।