Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy
यह शोध पत्र यह प्रकट करता है कि बड़े भाषा मॉडल अर्थ-संरक्षण वाले पैराफ्रेज़ (अर्थ-रहित रूपांतरण) का सामना करने पर अक्सर अपने उत्तरों में महत्वपूर्ण अस्थिरता प्रदर्शित करते हैं, जो यह दर्शाता है कि मानक सटीकता मेट्रिक्स विश्वसनीयता संबंधी मुद्दों को छिपा सकते हैं और स्व-पैराफ्रेज़िंग रणनीतियाँ प्रदर्शन में सुधार करने के लिए अंतर्निहित ज्ञान को प्रभावी ढंग से पुनः प्राप्त कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक आदर्श रोबोट का भ्रम
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट मित्र से बात कर रहे हैं जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। आप उससे एक सरल प्रश्न पूछते हैं, और वह आपको एक शानदार, सही उत्तर देता है। आप आत्मविश्वास महसूस करते हैं, है ना? लेकिन क्या होगा अगर आप ठीक वही सवाल फिर से पूछें, बस थोड़े अलग शब्दों का उपयोग करके? क्या वह आपको वही उत्तर देगा? यह एक नए अध्ययन के पीछे का बड़ा सवाल है जो मैरीलैंड विश्वविद्यालय के कंप्यूटर वैज्ञानिकों द्वारा किया गया है। वे "लार्ज लैंग्वेज मॉडल्स" (LLMs) पर शोध कर रहे हैं, जो चैटबॉट्स जैसे टूल्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं। ये मॉडल परीक्षणों में सटीक होने के लिए प्रसिद्ध हैं, लेकिन यह अध्ययन एक पेचीदा सवाल पूछता है: क्या वे वास्तव में विश्वसनीय हैं, या वे केवल इस आधार पर अनुमान लगाने में अच्छे हैं कि प्रश्न को कैसे कहा गया है? इसे एक ऐसे छात्र की तरह समझें जिसने अभ्यास परीक्षण के सटीक शब्दों को रट लिया है। यदि आप प्रश्न को थोड़ा सा बदल देते हैं, तो क्या छात्र उत्तर जानता है, या वह भ्रमित हो जाता है? शोधकर्ता यह जानना चाहते थे कि क्या ये AI मॉडल वास्तव में दुनिया को समझते हैं या वे केवल "शब्द मिलान" (word matching) का खेल खेल रहे हैं।
वही प्रश्न, गलत उत्तर
शोधकर्ताओं ने 13 अलग-अलग AI मॉडलों के साथ एक खेल खेलने का निर्णय लिया, जिनमें छोटे, ओपन-सोर्स मॉडल से लेकर बड़ी टेक कंपनियों द्वारा उपयोग किए जाने वाले विशाल, शक्तिशाली मॉडल तक शामिल थे। उन्होंने वास्तविक दुनिया के तथ्यों (जैसे, "1864 में एंडरसन ने कितने शतरंज के खेल हारे?") और गणित की समस्याओं के बारे में प्रश्न लिए, और फिर उन्होंने मॉडलों से वही प्रश्न दर्जनों अलग-अलग तरीकों से दोबारा पूछे। उन्होंने सुनिश्चित किया कि नए प्रश्नों का अर्थ बिल्कुल वही हो, जैसे "आप कैसे हैं?" बनाम "क्या चल रहा है?" या "कैसा चल रहा है?" कहना।
यहाँ एक चौंकाने वाला मोड़ मिला: AI मॉडल अक्सर असंगत थे। भले ही प्रश्नों का अर्थ एक ही था, लेकिन मॉडल कभी- पहले बार में सही उत्तर देते थे, और फिर प्रश्न को फिर से लिखने पर गलत उत्तर देते थे। वास्तव में, कई प्रश्नों के लिए, मॉडल प्रश्न के शब्दों के आधार पर सही और गलत के बीच झूलते रहे। अध्ययन में पाया गया कि 'मिसमैच रेट' (mismatch rates)—जहाँ मॉडल एक ही प्रश्न के लिए अलग उत्तर देता है—23% से अधिक तक पहुँच सकता है। इसका मतलब है कि यदि आप एक मॉडल से 100 बार अलग-अलग तरीकों से एक ही प्रश्न पूछते हैं, तो वह लगभग एक चौथाई समय में गलत (और अलग) उत्तर दे सकता है, भले ही वह सही उत्तर जानता हो!
"छिपे हुए ज्ञान" का अंतर
इस कहानी का सबसे दिलचस्प हिस्सा यह है कि यह इस बारे में क्या कहता है कि AI वास्तव में क्या "जानता" है। शोधकर्ताओं ने पाया कि मॉडलों के भीतर सही उत्तर अक्सर छिपा हुआ होता है। यदि आप पर्याप्त अलग-अलग तरीकों से एक ही प्रश्न पूछते हैं, तो मॉडल अंततः कम से कम एक बार सही उत्तर दे ही देगा। यह सुझाव देता है कि ज्ञान वहां मौजूद है, लेकिन मॉडल उसे निकालने (retrieve करने) में अविश्वसनीय है।
इसे विज़ुअलाइज़ करने के लिए, एक छात्र की कल्पना करें जो परीक्षा दे रहा है:
- मानक सटीकता (Standard Accuracy): छात्र पहली कोशिश में 80% सही होता है।
- विश्वसनीय क्षमता (Reliable Capability): छात्र हर बार 80% सही होता है, चाहे आप प्रश्न को किसी भी तरह से पूछें।
- सुप्त क्षमता (Latent Capability): यदि आप 10 अलग-अलग तरीकों से पूछते हैं, तो छात्र कम से कम एक बार सही उत्तर देता है।
अध्ययन ने "विश्वसनीय क्षमता" और "सुप्त क्षमता" के बीच एक बड़ा अंतर पाया। मॉडल अक्सर उत्तर जानते थे (सुप्त) लेकिन उसे लगातार दिखाने में विफल रहे (विश्वसनीय)। कुछ मामलों में, मॉडल 30% अतिरिक्त प्रश्नों का सही उत्तर दे सकते थे यदि आप उन्हें बस एक अलग तरीके से पूछते, लेकिन वे ऐसा करने में विफल रहे जो मानक परीक्षण में किया गया था। इसका मतलब है कि लीडरबोर्ड पर दिखने वाले मानक "सटीकता" स्कोर बहुत कुछ छिपा सकते हैं। मॉडल अनिवार्य रूप से मूर्ख नहीं हैं; वे बस नाजुक (fragile) हैं। वे गहरे, ठोस ज्ञान के बजाय विशिष्ट शब्द पैटर्नों पर निर्भर करते हैं।
"फ्लिप" और "फिक्स"
शोधकर्ताओं ने "फ्लिप रेट्स" (flip rates) नामक चीज़ पर भी नज़र डाली। यह तब होता है जब एक मॉडल पहली बार में प्रश्न का सही उत्तर देता है, लेकिन फिर उसे फिर से लिखने पर गलत उत्तर देता है। या, और भी अधिक भ्रमित करने वाली बात यह है कि वह पहली बार में प्रश्न का गलत उत्तर देता है, लेकिन फिर से लिखने पर सही उत्तर देता है। यह "फ्लिप-फ्लॉपिंग" व्यवहार दिखाता है कि मॉडल का मस्तिष्क अस्थिर है। यह एक कंपास की तरह है जो एक तरफ से पकड़ने पर उत्तर (North) की ओर इशारा करता है, लेकिन थोड़ा झुकाने पर पूर्व (East) की ओर इशारा करता है।
हालाँकि, उम्मीद की एक किरण भी थी। शोधकर्ताओं ने सेल्फ-पैराफ्रेसिंग (Self-Paraphrasing) नामक एक सरल ट्रिक आजमाई। केवल मॉडल से एक प्रश्न पूछने के बजाय, उन्होंने उसे अपने शब्दों में प्रश्न को फिर से लिखने के लिए कहा, और फिर उन नए संस्करणों के आधार पर उत्तर देने को कहा। यह एक छात्र से पूछने जैसा है कि "उत्तर देने से पहले अपने दिमाग में प्रश्न को फिर से पढ़ें।" इस सरल कदम ने मॉडलों को उस अंतर को पाटने में मदद की, जिससे उनके प्रदर्शन में सुधार हुआ और उन्हें उस छिपे हुए, सुप्त ज्ञान तक पहुँचने में मदद मिली।
भविष्य के लिए इसका क्या अर्थ है
इस पेपर का मुख्य निष्कर्ष यह है कि मानक सटीकता स्कोर भ्रामक हो सकते हैं। सिर्फ इसलिए कि एक मॉडल परीक्षण पर उच्च स्कोर प्राप्त करता है, इसका मतलब यह नहीं है कि वह वास्तव में वास्तविक दुनिया में विश्वसनीय है। वास्तविक जीवन में, लोग कई अजीब तरीकों से प्रश्न पूछते हैं, और यदि एक AI इसे नहीं संभाल सकता, तो वह तैयार नहीं है। अध्ययन सुझाव देता है कि हमें केवल यह देखना बंद कर देना चाहिए कि "उसने कितने प्रश्नों के सही उत्तर दिए?" और यह पूछना शुरू करना चाहिए कि "वह कितना सुसंगत (consistent) है?"
लेखकों का सुझाव है कि AI के वास्तव में भरोसेमंद होने के लिए, इसे विभिन्न वाक्यांशों के बीच अपनी निरंतरता बनाए रखने की क्षमता पर परखा जाना चाहिए। जब तक ऐसा नहीं होता, हम यह अनुमान लगा सकते हैं कि ये रोबोट वास्तव में कितने स्मार्ट हैं। वे स्क्रिप्ट को याद करने में माहिर हो सकते हैं, लेकिन उन्हें अभी भी अपनी जगह खोए बिना सुधार (improvise) करना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।