The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
यह शोध पत्र प्रकट करता है कि इन्फरेंस बैकएंड (inference backend) का चयन एक महत्वपूर्ण, फिर भी अक्सर अनरिपोर्ट किया जाने वाला हाइपरपैरामीटर है जो सिस्टम-स्तरीय अनुकूलन के कारण LLM बेंचमार्क स्कोर को 16.6 प्रतिशत अंकों तक महत्वपूर्ण रूप से बदल सकता है, जिससे यह समुदाय को पुनरुत्पादकता सुनिश्चित करने के लिए इन्फरेंस स्टैक रिपोर्टिंग को मानकीकृत करने का आग्रह करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्टेक्स कुकिंग कॉम्पिटिशन में एक जज हैं। आपके पास पाँच एक जैसी रेसिपी (AI मॉडल्स) और पाँच अलग-अलग शेफ (इन्फरेंस बैकएंड्स) हैं। आप उम्मीद करते हैं कि यदि रेसिपी एक ही है, तो व्यंजन का स्वाद भी बिल्कुल एक जैसा होना चाहिए, है ना?
यह पेपर तर्क देता है कि शेफ उतना ही महत्वपूर्ण है जितना कि रेसिपी।
लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, शोधकर्ता आमतौर पर "रेसिपी" (मॉडल के वेट्स और ट्रेनिंग) पर ध्यान केंद्रित करते हैं। वे मानते हैं कि यदि आप एक ही मॉडल में एक ही प्रॉम्प्ट डालते हैं, तो आपको एक ही उत्तर मिलता है। यह पेपर उजागर करता है कि यह धारणा गलत है। "शेफ" (वह सॉफ्टवेयर इंजन जो मॉडल को चला रहा है) एक साइलेंट, अदृश्य वेरिएबल है जो परिणाम को पूरी तरह से बदल सकता है, कभी-कभी एक बेहतरीन रेसिपी को खराब बना देता है, या एक औसत दर्जे की रेसिपी को शानदार बना देता है।
यहाँ इस पेपर के निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "साइलेंट हाइपरपैरामीटर" (The Silent Hyperparameter)
AI रिसर्च में, "हाइपरपैरामीटर" एक ऐसी सेटिंग होती है जिसे आप बेहतर परिणाम पाने के लिए ट्यून करते हैं (जैसे टेम्परेचर या स्पीड)। लेखकों ने पाया कि इन्फरेंस बैकएंड (vLLM, llama.cpp, या Ollama जैसे सॉफ्टवेयर इंजन) एक छिपे हुए हाइपरपैरामीटर की तरह काम करता है जिसके बारे में कोई बात नहीं करता।
- उपमा: कल्पना कीजिए कि दो लोग एक ही किताब पढ़ रहे हैं। एक व्यक्ति इसे एक शांत लाइब्रेरी (स्टैंडर्ड सॉफ्टवेयर) में पढ़ता है, और दूसरा इसे एक ऊबड़-खाबड़ रोलरकोस्टर (एक हाई-स्पीड, ऑप्टिमाइज्ड इंजन) पर सवारी करते हुए पढ़ता है। भले ही किताब एक ही हो, रोलरकोस्टर सवार शायद एक शब्द छोड़ दे, एक वाक्य को गलत पढ़ ले, या विचलित हो जाए, जिससे अंत में वह एक अलग कहानी सुनाता है।
- निष्कर्ष: लेखकों ने 5 अलग-अलग "शेफ" (इंजन) का 5 अलग-अलग "रेसिपी" (मॉडल्स) पर परीक्षण किया। उन्होंने पाया कि केवल इंजन बदलने से मॉडल का टेस्ट स्कोर 16.6 प्रतिशत अंक तक बदल सकता है। यह एक बहुत बड़ा बदलाव है—इतना कि यह एक मॉडल को "औसत" से "वर्ल्ड चैंपियन" या इसके विपरीत बना सकता है, भले ही मॉडल खुद न बदला हो।
2. बातचीत में "बटरफ्लाई इफेक्ट" (The "Butterfly Effect" in Conversation)
AI मॉडल्स एक बार में एक शब्द जनरेट करते हैं। यदि इंजन पहले ही शब्द में एक छोटी सी गलती करता है, तो पूरी बातचीत पटरी से उतर सकती है।
- उपमा: "टेलीफोन" (Telephone) के खेल के बारे में सोचें। यदि पहला व्यक्ति इरादे के विपरीत थोड़ा अलग शब्द फुसफुसाता है, तो आखिरी व्यक्ति कुछ पूरी तरह से अलग सुनता है।
- निष्कर्ष: पेपर ने दिखाया कि ये इंजन अक्सर जवाब के पहले कुछ शब्दों पर असहमत होते हैं। जटिल रीजनिंग कार्यों (जैसे गणित की समस्याओं को हल करना) के लिए, एक इंजन समाधान को सही ढंग से शुरू कर सकता है, जबकि दूसरा इंजन एक छोटी सी त्रुटि के साथ शुरू कर सकता है। वह छोटी सी त्रुटि एक चेन रिएक्शन (cascade) पैदा करती है, जिससे इंजन एक पूरी तरह से अलग, और अक्सर गलत, 'चेन ऑफ थॉट' जनरेट करता है।
3. ऐसा क्यों होता है? (किचन के रहस्य)
लेखकों ने यह पता लगाने के लिए कोड की गहराई में गोता लगाया कि शेफ अलग-अलग व्यंजन क्यों बना रहे थे। उन्हें दो मुख्य कारण मिले:
- कारण अ: छिपे हुए डिफॉल्ट्स (The "Secret Sauce"): कुछ इंजनों में कुछ सेटिंग्स अपने आप चालू हो जाती हैं।
- उदाहरण: एक इंजन (Ollama) गुप्त रूप से प्रॉम्प्ट में एक अतिरिक्त "स्टार्ट" टोकन जोड़ देता है, जैसे कि आपके द्वारा मांगे बिना नमक का एक चुटकी डाल देना। दूसरा इंजन (LMDeploy) शब्दों को दोहराने पर एक विशिष्ट पेनल्टी लगा देता है। जब शोधकर्ताओं ने इन "सीक्रेट सॉस" को बंद कर दिया, तो स्कोर वापस ऊपर चला गया, जिससे साबित हुआ कि इंजन परिणामों के साथ छेड़छाड़ कर रहा था।
- कारण ब: स्पीड ट्रिक्स (The "Fast-Forward" Glitch): AI को तेज़ चलाने के लिए, इंजीनियर गणितीय शॉर्टकट (जैसे गणनाओं को ग्रुप करना या लोअर प्रिसिजन मैथ का उपयोग करना) का उपयोग करते हैं।
- उदाहरण: कल्पना कीजिए कि आप गणित का एक लंबा सवाल हल कर रहे हैं। एक व्यक्ति कैलकुलेटर के साथ स्टेप-दर-स्टेप करता है (स्टैंडर्ड)। दूसरा व्यक्ति एक सुपर-फास्ट मेंटल मैथ ट्रिक का उपयोग करता है जो नंबरों को थोड़ा अलग तरीके से राउंड करता है। अंतिम उत्तर आमतौर पर करीब होता है, लेकिन कभी-कभी वह छोटी सी राउंडिंग एरर परिणाम को बदल देती है। AI में, ये "स्पीड ट्रिक्स" सूक्ष्म फ्लोटिंग-पॉइंट एरर पैदा करते हैं जो जमा होकर अंतिम उत्तर को बदल देते हैं।
4. रिसर्च में "अदृश्य" समस्या (The "Invisible" Problem in Research)
लेखकों ने 35,000 से अधिक रिसर्च पेपर्स का सर्वेक्षण किया कि क्या वैज्ञानिक बता रहे थे कि उन्होंने किस "शेफ" का उपयोग किया था।
- निष्कर्ष: लगभग किसी ने भी इसकी रिपोर्ट नहीं की। यह एक कुकिंग कॉम्पिटिशन की तरह है जहाँ प्रतियोगी कहते हैं, "मैंने एक गुप्त रेसिपी का उपयोग किया," लेकिन वे यह बताने से इनकार करते हैं कि उन्होंने किस चूल्हे पर खाना पकाया था।
- परिणाम: क्योंकि शोधकर्ता इंजन की रिपोर्ट नहीं करते हैं, हम यह नहीं बता सकते कि एक नया "स्टेट-ऑफ-द-आर्ट" मॉडल वास्तव में बेहतर है, या वह केवल इसलिए भाग्यशाली था क्योंकि उसका परीक्षण एक विशिष्ट इंजन पर किया गया था जिसने संयोग से उसके स्कोर को बढ़ा दिया। यह वैज्ञानिक प्रगति को सत्यापित करना कठिन बनाता है।
5. सुरक्षा जोखिम (Safety Risks)
पेपर ने सुरक्षा का भी परीक्षण किया। उन्होंने मॉडल्स से सुरक्षा नियमों को तोड़ने (जेलब्रेक) की कोशिश करने को कहा।
- निष्कर्ष: एक मॉडल जो एक इंजन पर सुरक्षित है और खतरनाक सवाल का जवाब देने से मना करता है, वह दूसरे इंजन पर अचानक असुरक्षित हो सकता है और उसका जवाब दे सकता है। "डिप्लॉयमेंट गैप" का अर्थ है कि लैब में सुरक्षित रूप से टेस्ट किया गया मॉडल वास्तविक दुनिया में असुरक्षित हो सकता है क्योंकि उसे चलाने वाला सॉफ्टवेयर अलग है।
निचोड़ (The Bottom Line)
लेखक AI रिसर्च में एक नए मानक की मांग कर रहे हैं: सॉफ्टवेयर इंजन को अदृश्य मानना बंद करें।
ठीक वैसे ही जैसे आप केक बेक करते समय तापमान और ओवन का प्रकार रिपोर्ट करेंगे, शोधकर्ताओं को ठीक से रिपोर्ट करना चाहिए कि उन्होंने किस इन्फरेंस इंजन का उपयोग किया है। जब तक हम ऐसा नहीं करते, हम यह सुनिश्चित नहीं कर सकते कि हम सेब की तुलना सेब से कर रहे हैं, या हम केवल अलग-अलग चाकू से कटे हुए सेबों की तुलना कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।