Measuring Stability and Failure Behavior in Language Models Under Structured Perturbations
यह शोध पत्र एक श्रेणीबद्ध, बहु-स्तरीय स्ट्रेस-टेस्टिंग ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि भाषा मॉडलों की तर्क स्थिरता और विफलता बिंदु विशिष्ट व्यवधान प्रकारों और गंभीरता स्तरों के across कैसे भिन्न होते हैं, जो विरोधाभासी निर्देशों और असंभव धारणाओं को संभालने में उन महत्वपूर्ण कमजोरियों को उजागर करता है जिन्हें मानक सटीकता मेट्रिक्स अनदेखा कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, भाषा को पढ़ने और लिखने वाले एक कंप्यूटर प्रोग्राम को अक्सर एक एकल संख्या से आंका जाता है: उसका सटीकता स्कोर (accuracy score)। यह स्कोर हमें बताता है कि एक मानक परीक्षण पर मशीन कितनी बार सही उत्तर देती है। लेकिन यह एकल संख्या इस बारे में बहुत कुछ छिपा लेती है कि मशीन वास्तव में कैसे सोचती है। यह हमें यह नहीं दिखाता कि क्या होता है जब प्रश्न को अलग तरीके से पूछा जाता है, या जब निर्देश थोड़े भ्रमित करने वाले होते हैं, या जब प्रश्न में स्वयं कोई ऐसी चाल होती है जो उत्तर देना असंभव बना देती है। जिस तरह एक पुल भारी यातायात के तहत तो टिक सकता है लेकिन यदि एक भी बोल्ट ढीला हो तो ढह सकता है, उसी तरह एक भाषा मॉडल एक प्रारूप में गणित की समस्या को पूरी तरह से हल कर सकता है, लेकिन यदि शब्दों को पुनर्व्यवस्थित किया जाए या एक भटकाने वाला वाक्य जोड़ दिया जाए, तो वह पूरी तरह से विफल हो सकता है। इन छिपी हुई कमजोरियों को समझना महत्वपूर्ण है क्योंकि वास्तविक दुनिया की समस्याएं शायद ही कभी साफ-सुथरी या पूरी तरह से स्पष्ट होती हैं। यदि हम महत्वपूर्ण निर्णयों के लिए इन मशीनों पर भरोसा करते हैं, तो हमें यह जानने की आवश्यकता है कि क्या वे समस्या को हल कर सकते हैं, बल्कि यह भी कि जब स्थितियां कठिन हों या समस्या स्वयं त्रुटिपूर्ण हो, तो वे कैसा व्यवहार करते हैं।
एक शोधकर्ता ने चार अलग-अलग भाषा मॉडलों का स्ट्रेस-टेस्टिंग करके इन छिपे हुए व्यवहारों को मैप करने का लक्ष्य रखा। मॉडलों से एक एकल प्रश्न पूछने और पास या फेल दर्ज करने के बजाय, उन्होंने 100 सरल ग्रेड-स्कूल गणित समस्याओं के 4,473 विविधताओं की एक विशाल प्रयोगशाला बनाई। उन्होंने प्रत्येक समस्या को लिया और उसे सात अलग-अलग प्रकार के दबावों के अधीन किया, जो हल्के बदलावों से लेकर गंभीर विकृतियों तक थे। कुछ परिवर्तन एक मंद हवा की तरह थे, जैसे वाक्य को औपचारिक बनाने के लिए उसे फिर से लिखना या कुछ टाइपो (वर्तनी की त्रुटियां) जोड़ना। अन्य किसी तेज तूफान की तरह थे, जैसे विरोधाभासी निर्देश डालना जो मॉडल को गणित को अनदेखा करने और एक अलग उत्तर देने के लिए कहें, या अप्रासंगिक तथ्यों की एक लंबी सूची जोड़ना जिसका गणना से कोई लेना-देना न हो। शोधकर्ता ने प्रश्नों की एक विशेष श्रेणी भी शामिल की जो उत्तर देने योग्य नहीं थे, जैसे कि उन तथ्यों पर आधारित प्रश्न जो अस्तित्व में नहीं हैं या जिनमें आवश्यक संख्याएं गायब हैं, यह देखने के लिए कि क्या मॉडल यह स्वीकार करेंगे कि वे उत्तर नहीं जानते या क्या वे आत्मविश्वास के साथ एक संख्या बना देंगे।
अध्ययन से पता चला कि मॉडल एक समान तरीके से विफल नहीं हुए। जबकि सबसे मजबूत मॉडल पाठ के लेआउट या शब्दों में भारी बदलावों को बिना अपनी पकड़ खोए संभाल सकते थे, वे सभी विशिष्ट प्रकार के भ्रम का सामना करने पर लड़खड़ा गए। हर एक मॉडल, चाहे वह कितना भी उन्नत क्यों न हो, अंततः तब टूट गया जब निर्देशों में आपस में टकराव हुआ। इससे भी अधिक बताने वाली बात यह थी कि मॉडलों ने उन प्रश्नों को कैसे संभाला जिन्हें उत्तर नहीं दिया जा सकता था। जब शोधकर्ता ने असंभव आधारों पर आधारित प्रश्न प्रस्तुत किए, जैसे कि किसी काल्पनिक घटना पर आधारित गणना का परिणाम पूछना, तो मॉडलों ने लगभग हमेशा उन्हें हल करने की कोशिश की। उन्होंने एक संख्या की गणना की और उसे एक तथ्य के रूप में प्रस्तुत किया, बजाय इसके कि वे रुककर यह कहते कि प्रश्न का कोई अर्थ नहीं है। यह सबसे सक्षम मॉडल के लिए भी हुआ, जो अन्यथा बहुत अच्छा प्रदर्शन करता था।
शोधकर्ता ने पाया कि मॉडल किस बिंदु पर विफल होता है, यह पूरी तरह से इस बात पर निर्भर करता था कि वह किस प्रकार की समस्या का सामना कर रहा है। एक मॉडल टाइपो के प्रति बहुत मजबूत लेकिन लंबे, भटकाने वाले अनुच्छेदों के प्रति कमजोर हो सकता है, जबकि दूसरा विकर्षणों को अच्छी तरह से संभाल सकता है लेकिन विरोधाभासी निर्देशों के सामने ढह सकता है। इसका मतलब है कि किसी मॉडल की विश्वसनीयता का वर्णन करने के लिए एक एकल समग्र स्कोर पर्याप्त नहीं है। अध्ययन ने दिखाया कि यह पहचानने की क्षमता कि प्रश्न उत्तर योग्य नहीं है, असमान है। मॉडल तब उत्तर देने से मना करने में अच्छे थे जब जानकारी स्पष्ट रूप से गायब थी या प्रमाण स्पष्ट रूप से फर्जी था, लेकिन वे असंभव आधारों पर बने प्रश्नों को पहचानने में बहुत खराब थे। त्रुटि को चिह्नित करने के बजाय, वे गणित के साथ आगे बढ़ेंगे और एक आत्मविश्वासी, लेकिन गलत, परिणाम लौटाएंगे। ये विफलताएं मानक परीक्षणों में अदृश्य थीं क्योंकि मॉडलों से कभी भी इस तरह के विशिष्ट प्रकार के तनाव को व्यवस्थित और क्रमिक तरीके से संभालने के लिए नहीं कहा गया था।
यह मापकर कि कठिनाई बढ़ने के साथ प्रदर्शन कैसे गिरा, शोधकर्ता ने प्रत्येक मॉडल की ताकत और कमजोरी का एक विस्तृत प्रोफाइल तैयार किया। उन्होंने पाया कि सबसे मजबूत मॉडल सतही परिवर्तनों, जैसे कि पुनर्गठन या स्वरूपण (formatting) के प्रति मजबूत थे, लेकिन विरोधाभासी निर्देशों और असंभव परिदृश्यों के मामले में उनमें एक सामान्य कमजोरी थी। यह सुझाव देता है कि हालांकि ये मशीनें पैटर्न का पालन करने में बहुत अच्छी हो गई हैं, लेकिन वे तब संघर्ष करती हैं जब नियमों को घुमाया जाता है या जब समस्या स्वयं दोषपूर्ण होती है। अध्ययन यह निष्कर्ष निकालता है कि यह समझने के लिए कि ये मॉडल वास्तविक दुनिया में कैसे व्यवहार करेंगे, हमें एक एकल सटीकता संख्या से परे देखना चाहिए और यह देखना चाहिए कि वे दबाव में कैसे गिरते हैं। परिणाम दिखाते हैं कि अधिक विश्वसनीय आर्टिफिशियल इंटेलिजेंस का मार्ग न केवल मानक परीक्षणों पर बेहतर प्रदर्शन की ओर है, बल्कि यह पहचानने की गहरी क्षमता की ओर भी है कि कब किसी प्रश्न का उत्तर नहीं दिया जा सकता है और विरोधाभासी निर्देशों के बावजूद भी केंद्रित रहने की क्षमता की ओर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।