No Universal Signal Predicts Sample-Level LLM Regression under Version Updates
यह शोध पत्र इस बात की जांच करता है कि छह बेंचमार्क में सिंगल-मॉडल और क्रॉस-वर्जन संकेतों की तुलना करके अपडेट किए गए LLMs में सैंपल-लेवल प्रदर्शन प्रतिगमन (performance regressions) की भविष्यवाणी कैसे की जाए, जिसमें यह पाया गया कि कोई भी एकल संकेत सार्वभौमिक रूप से प्रभावी नहीं है, लेकिन कार्य-निर्भर पैटर्न चिकित्सकों को एक चयनात्मक फॉलबैक तंत्र लागू करने के लिए उपयुक्त संकेतों का चयन करने में मार्गदर्शन कर सकते हैं जो उच्च-जोखिम वाले नमूनों को पिछले मॉडल संस्करणों पर रूट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी नवीनतम, सबसे शक्तिशाली स्मार्टफोन खरीदा है। डिब्बे पर वादा किया गया है कि यह आपके पुराने वाले की तुलना में तेज़, स्मार्ट और हर चीज़ में बेहतर है। आप उत्साहित हैं! लेकिन फिर, आप एक विशिष्ट ऐप खोलने की कोशिश करते हैं जिसे आप पहले पूरी तरह से उपयोग करते थे, और अचानक, वह क्रैश हो जाता है। या शायद, यह गणित की उस समस्या का गलत उत्तर देता है जिसे आपने हज़ार बार हल किया है। यह आर्टिफिशियल इंटेलिजेंस (AI) अपडेट्स की अजीब और निराशाजनक वास्तविकता है। लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में—जो चैटबॉट्स और कोडिंग सहायकों के पीछे के सुपर-स्मार्ट AI दिमाग हैं—डेवलपर्स लगातार "वर्जन 2.0", "वर्जन 3.0" और इसी तरह के नए वर्ज़न रिलीज़ करते रहते हैं। आमतौर पर, ये नए वर्ज़न औसत रूप से बेहतर होते हैं। लेकिन कभी-कभी, एक ऐसी घटना में जिसे शोधकर्ता "नेगेटिव फ्लिप" (negative flip) कहते हैं, नया मॉडल उन विशिष्ट कार्यों में खराब हो जाता है जिन्हें वह पहले बखूबी कर लेता था। यह बिल्कुल वैसा ही है जैसे आपने अपनी कार का इंजन अपग्रेड किया हो और बाद में पता चले कि रेडियो अब काम नहीं कर रहा है।
बड़ा सवाल यह है: "सेंड" बटन दबाने से पहले हमें कैसे पता चलेगा कि नया AI गड़बड़ करने वाला है? क्या हम बनने वाली इस "गड़बड़ी" को पहले ही पहचान सकते हैं? इस पेपर को समझने के लिए, आपको यह जानना आवश्यक है कि हम आमतौर पर यह अनुमान लगाने के लिए किन दो मुख्य तरीकों का उपयोग करते हैं कि AI भ्रमित है। पहला है कॉन्फिडेंस (आत्मविश्वास)। यदि एक AI कहता है, "मुझे 99% यकीन है कि उत्तर नीला है," तो वह आमतौर पर सही होता है। यदि वह कहता है, "मैं 51% आश्वस्त हूँ," तो वह शायद केवल अंदाज़ा लगा रहा है। दूसरा है क्रॉस-वर्जन कंपैरिजन (संस्करणों के बीच तुलना)। यह पुराने AI और नए AI से एक ही प्रश्न पूछने और यह देखने जैसा है कि क्या वे असहमत हैं। यदि पुराने वाले ने "नीला" कहा था और नए वाले ने "लाल" कहा, तो कुछ बदल गया है। पेपर पूछता है: यदि हम बिना किसी शिक्षक की उत्तर कुंजी (answer key) के, रीयल-टाइम में इन "नेगेटिव फ्लिप्स" को पकड़ना चाहते हैं, तो इनमें से कौन सा संकेत सबसे अच्छा जासूस है?
शोधकर्ताओं, जिया शेंग और यीवेई लू ने छह अलग-अलग प्रकार की चुनौतियों में एक जासूस की भूमिका निभाने का निर्णय लिया, जिसमें बहुविकल्पीय सामान्य ज्ञान से लेकर जटिल गणितीय समस्याओं और कंप्यूटर कोड लिखने तक शामिल हैं। उन्होंने मॉडल अपडेट के छह अलग-अलग जोड़ों का परीक्षण किया (जैसे Qwen 2.5 से Qwen 3 पर जाना, या Llama 3 से Llama 3.1) यह देखने के लिए कि कौन सा संकेत यह भविष्यवाणी कर सकता है कि नया मॉडल कब उस प्रश्न पर लड़खड़ाएगा जिसे पुराने मॉडल ने सही हल किया था।
यहाँ उन्हें जो मोड़ मिला वह यह है: ऐसा कोई एक "जादुई संकेत" नहीं है जो हर चीज़ के लिए काम करे। यह एक सार्वभौमिक अलार्म घड़ी होने जैसा नहीं है जो हर प्रकार की आपात स्थिति के लिए बजती है। इसके बजाय, सबसे अच्छा अलार्म पूरी तरह से इस बात पर निर्भर करता है कि आप किस प्रकार का कार्य कर रहे हैं।
यदि आप AI से बहुविकल्पीय प्रश्न (जैसे "फ्रांस की राजधानी क्या है?") या सरल गणित पूछ रहे हैं, तो पुराना कॉन्फिडेंस सिग्नल चैंपियन है। यदि नया मॉडल अनिश्चित दिखता है (कम आत्मविश्वास), तो इसकी संभावना है कि वह सही से गलत की ओर पलट जाएगा। पेपर ने पाया कि इन कार्यों के लिए, यह देखना कि नया मॉडल कितना "निश्चित" महसूस करता है, पर्याप्त है; आपको पुराने मॉडल के साथ उसकी तुलना करने की आवश्यकता नहीं है।
हालाँकि, कहानी पूरी तरह से बदल जाती है जब कार्य कठिन हो जाते हैं। जब AI जटिल गणित कर रहा होता है या कोड लिख रहा होता है, तो कॉन्फिडेंस एक झूठा साबित होता है। एक मॉडल बहुत आत्मविश्वासी हो सकता है और फिर भी पूरी तरह से गलत हो सकता है, विशेष रूप से कोडिंग में जहाँ एक गायब सेमीकोलन (semicolon) पूरे प्रोग्राम को तोड़ सकता है। इन उच्च-दांव वाले, जटिल परिदृश्यों में, पेपर ने पाया कि क्रॉस-वर्जन सिग्नल्स असली नायक हैं। ये वे संकेत हैं जो "ड्रिफ्ट" (विस्थापन) या अंतर को मापते हैं। उदाहरण के लिए, यदि नए मॉडल की आंतरिक "विचार प्रक्रिया" (इसका छिपा हुआ गणित) पुराने मॉडल की तुलना में बहुत अधिक बदल गई है, या यदि इसके द्वारा चुने गए शब्दों की संभावना में बदलाव आया है, तो यह एक बड़ा रेड फ्लैग है। पेपर सुझाव देता है कि कोड और कठिन गणित के लिए, आपको उन त्रुटियों को पकड़ने के लिए नए मॉडल की तुलना पुराने मॉडल से करने की आवश्यकता है जिन्हें केवल कॉन्फिडेंस मिस कर देता है।
शोधकर्ताओं ने एक व्यावहारिक विचार का भी परीक्षण किया: क्या होगा यदि हम इन संकेतों का उपयोग एक सुरक्षा जाल (safety net) बनाने के लिए करें? उन्होंने एक "सिलेक्टिव फॉलबैक" (selective fallback) प्रणाली का प्रस्ताव दिया। एक व्यस्त चौराहे पर ट्रैफिक पुलिसकर्मी की कल्पना करें। यदि सिग्नल कहता है कि एक विशिष्ट अनुरोध "उच्च जोखिम" वाला है (नेगेटिव फ्लिप होने की संभावना है), तो सिस्टम स्वचालित रूप से उस प्रश्न को नए मॉडल के बजाय पुराने, भरोसेमंद मॉडल पर भेज देता है। उन्होंने पाया कि यह काम करता है! कुछ मामलों में, जैसे कोड जनरेशन में, क्रॉस-वर्जन सिग्नल्स का उपयोग करके वे उन लगभग 30% त्रुटियों को पकड़ सके जो घटित होतीं, और पुराने मॉडल पर स्विच करके उत्तर को ठीक कर सके।
लेकिन इसमें एक पेच है। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि आप केवल एक सुपर-प्रेडिक्टर प्राप्त करने के लिए इन सभी संकेतों को आपस में मिला सकते हैं। उन्होंने कॉन्फिडेंस, ड्रिफ्ट और अन्य संकेतों को एक साथ मिलाने की कोशिश की, लेकिन पाया कि एक अच्छा संकेत अक्सर एक अस्त-व्यस्त मिश्रण से बेहतर होता है। संकेत एक-दूसरे की मदद करने के बजाय प्रतिस्पर्धा करते हैं; अधिक जोड़ने से भविष्यवाणी बहुत बेहतर नहीं हुई। साथ ही, उन्होंने इस विचार को भी गलत साबित किया कि ये "नेगेटिव फ्लिप्स" केवल वे सबसे कठिन प्रश्न हैं जिनका सामना पुराने मॉडल ने किया था। हालांकि पुराने मॉडल की कठिनाई का एक हिस्सा भूमिका निभाता है, लेकिन यह सब कुछ स्पष्ट नहीं करता है। नया मॉडल अचानक उन आसान प्रश्नों पर भी विफल हो सकता है जिन्हें पुराने मॉडल ने सरल पाया था, जिसका अर्थ है कि आप नए मॉडल की गलतियों की भविष्यवाणी करने के लिए केवल पुराने मॉडल के इतिहास पर भरोसा नहीं कर सकते।
संक्षेप में, पेपर सुझाव देता है कि यदि आप एक इंजीनियर या उपयोगकर्ता हैं जो AI अपडेट को सुरक्षित रखना चाहता है, तो आप "एक ही नियम सबके लिए" (one-size-fits-all) का उपयोग नहीं कर सकते। आपको काम को देखना होगा। यदि यह एक सामान्य ज्ञान क्विज़ है, तो नए मॉडल के कॉन्फिडेंस पर भरोसा करें। यदि यह कोडिंग या जटिल गणित है, तो पुराने और नए मॉडल के बीच तुलना पर भरोसा करें। कोई सार्वभौमिक संकेत नहीं है, लेकिन सही कार्य के लिए सही उपकरण का मिलान करके, हम एक ऐसा गार्डरेल बना सकते हैं जो AI को उसके अपने जूतों के फीते में उलझने से पहले ही पकड़ ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।