An Artifact Audit of Budget-Dependent LoRA Rank Comparisons

आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ताओं को लंबे समय से एक दुविधा का सामना करना पड़ रहा है: विशाल, पूर्व-प्रशिक्षित कंप्यूटर मॉडलों को उन्हें फिर से शुरू से प्रशिक्षित करने की भारी लागत के बिना, नए, विशिष्ट कार्यों को करने के लिए कैसे सिखाया जाए। वह समाधान जो मानक बन गया है, वह एक तकनीक है जिसे लो-रैंक अडैप्टेशन (Low-Rank Adaptation) या LoRA कहा जाता है। एक विशाल पुस्तकालय की कल्पना करें जहाँ प्रत्येक पुस्तक उस ज्ञान का प्रतिनिधित्व करती है जिसे कंप्यूटर ने सीखा है। पूरी लाइब्रेरी को कुछ नए तथ्यों को जोड़ने के लिए फिर से लिखने के बजाय, इंजीनियर हाशिये में छोटे, लचीले नोट्स डाल देते हैं। ये नोट्स "अडैप्टर" हैं, और वे स्वयं पुस्तकों की तुलना में लिखने और संग्रहीत करने में बहुत सस्ते हैं। इस प्रक्रिया में एक प्रमुख सेटिंग "रैंक" (rank) है, जो एक डायल की तरह काम करता है जो यह नियंत्रित करता है कि ये नोट्स कितने बड़े और जटिल हो सकते हैं। एक सामान्य धारणा यह रही है कि एक बड़ा डायल, जो बड़े नोट्स की अनुमति देता है, हमेशा अधिक लचीलापन और बेहतर परिणाम प्रदान करना चाहिए, बशर्ते कंप्यूटर को उन्हें पढ़ने के लिए पर्याप्त समय दिया जाए।

हालाँकि, शंघाई डियान्जी यूनिवर्सिटी का एक हालिया अध्ययन इस सरल धारणा को चुनौती देता है, जो इस बात पर बारीकी से नज़र रखता है कि सीखने के लिए "समय" या "बजट" की गणना वास्तव में कैसे की जाती है। शोधकर्ताओं ने पाया कि जब मॉडल को मिलने वाले समय के नियम नोट्स के आकार से जुड़े होते हैं, तो परिणाम पूरी तरह से भ्रामक हो सकते हैं। उन्होंने पाया कि एक प्रणाली जिसे निष्पक्ष होने के लिए डिज़ाइन किया गया था, उसने वास्तव में बड़े, अधिक जटिल नोट्स को दंडित किया क्योंकि उन्हें सीखने के लिए लगभग कोई समय नहीं दिया गया, जबकि छोटे नोट्स को बहुत अधिक समय दिया गया। जब शोधकर्ताओं ने इस असंतुलन को ठीक किया, तो परिणाम पूरी तरह से उलट गए, जिससे यह साबित हुआ कि छोटे नोट्स की स्पष्ट श्रेष्ठता एक भ्रम था जो प्रयोग के नियमों द्वारा बनाया गया था, न कि स्वयं नोट्स द्वारा।

कहानी पहले से ही किए जा चुके कंप्यूटर प्रयोगों के एक संग्रह से शुरू होती है। मूल प्रयोगों में इन "नोट्स" के चार अलग-अलग आकारों—रैंक 2, 8, 16, और 64—का परीक्षण किया गया था, जो मूवी समीक्षाओं को सकारात्मक या नकारात्मक के रूप में वर्गीकृत करने के कार्य पर आधारित था। शोधकर्ताओं ने निष्पक्षता सुनिश्चित करने के लिए एक नियम निर्धारित किया था: उनका मानना था कि चूंकि एक बड़े नोट में संसाधित करने के लिए अधिक जानकारी होती है, इसलिए इसे सीखने के लिए कम चरण दिए जाने चाहिए, जबकि एक छोटे नोट को अधिक चरण दिए जाने चाहिए। यह नियम इस गणितीय विचार पर आधारित था कि कुल प्रयास स्थिर रहना चाहिए। व्यवहार में, इसका मतलब था कि सबसे छोटे नोट, रैंक 2 को सीखने के लिए 682 चरण दिए गए थे, जबकि सबसे बड़े नोट, रैंक 64 को केवल एक चरण दिया गया था।

जब इन मूल रन के परिणामों की जांच की गई, तो सबसे छोटा नोट स्पष्ट विजेता के रूप में उभरा। रैंक 2 मॉडल ने लगभग 74 प्रतिशत की सटीकता प्राप्त की, जबकि रैंक 64 मॉडल, जिसे केवल एक चरण दिया गया था, ने लगभग 51 प्रतिशत स्कोर किया। अन्य आकार इनके बीच में थे, जिससे एक पैटर्न बना जहाँ छोटे नोट्स बेहतर प्रदर्शन करते हुए दिखाई दिए। पहली नज़र में, इसने सुझाव दिया कि नोट्स को छोटा रखना ही सफलता का रहस्य है। लेकिन शोधकर्ताओं को संदेह था कि परिणाम नोट्स के आकार के बारे में नहीं था, बल्कि इस बारे में था कि उन्हें सीखने के लिए कितना समय दिया गया था।

इस संदेह का परीक्षण करने के लिए, टीम ने प्रयोगों का एक नया सेट चलाया जिसे नोट्स के आकार को उनके दिए गए समय से अलग करने के लिए डिज़ाइन किया गया था। उन्होंने वही कार्य और वही कंप्यूटर मॉडल रखा लेकिन नियम बदल दिए। सबसे पहले, उन्होंने मूल नियम का उपयोग करके प्रयोग फिर से चलाए, लेकिन इस बार उन्होंने सुनिश्चित किया कि शुरुआती स्थितियाँ गलती से नोट के आकार से जुड़ी न हों। परिणाम वही था: छोटा नोट अभी भी जीत गया, औसत सटीकता 77 प्रतिशत रही, जबकि बड़ा नोट, जो अभी भी एक चरण तक सीमित था, औसतन केवल 50 प्रतिशत रहा। इसने पुष्टि की कि मूल परिणाम उन विशिष्ट नियमों के तहत पुनरुत्पादक था, लेकिन इसने यह साबित नहीं किया कि छोटे नोट्स स्वाभाविक रूप से बेहतर हैं।

महत्वपूर्ण परीक्षण तब आया जब शोधकर्ताओं ने हर नोट के आकार को बिल्कुल समान समय देने का नियम बदला: 42 चरण। इस बार, परिणाम नाटकीय रूप से बदल गया। बड़ा नोट, रैंक 64, जिसे पहले गंभीर रूप से कम प्रशिक्षित किया गया था, उछलकर 78 प्रतिशत की सटीकता तक पहुँच गया, और सर्वश्रेष्ठ प्रदर्शन करने वाला बन गया। इस बीच, छोटा नोट, रैंक 2, गिरकर 58 प्रतिशत पर आ गया। शोधकर्ताओं ने इसे डेटा के विभिन्न हिस्सों पर और यहाँ तक कि समाचार विषयों के बारे में एक अलग डेटासेट पर भी परखा, और पैटर्न हर बार सही साबित हुआ। जब बड़े नोट को केवल एक चरण दिया गया, तो इसने खराब प्रदर्शन किया; जब इसे 42 चरण दिए गए, तो इसने अच्छा प्रदर्शन किया।

यह समझने के लिए कि वास्तव में क्या हो रहा था, शोधकर्ताओं ने देखा कि अधिक समय दिए जाने पर बड़ा नोट कैसे सुधार करता है। उन्होंने पाया कि बड़ा नोट एक चरण के साथ 49 प्रतिशत के स्कोर से 42 चरणों के साथ 64 प्रतिशत तक तेजी से बढ़ा, और फिर यह मुख्य रूप से सुधरना बंद कर गया। इसके विपरीत, छोटा नोट जैसे-जैसे उसे अधिक समय दिया गया, वह लगातार सुधरता गया, अंततः 682 चरणों के बाद अपने सर्वश्रेष्ठ स्कोर 74 प्रतिशत तक पहुँच गया। इसने उस भ्रम के पीछे के तंत्र को प्रकट किया: मूल नियम ने बड़े नोट को सीखने के लिए आवश्यक समय से वंचित कर दिया था, जबकि छोटे नोट को उसकी सख्त आवश्यकता से कहीं अधिक समय दिया गया था। बड़ा नोट इसलिए विफल नहीं हुआ क्योंकि वह बहुत बड़ा था; वह इसलिए विफल हुआ क्योंकि उसे लगभग प्रशिक्षित ही नहीं किया गया था।

अध्ययन यह निष्कर्ष निकालता है कि मूल अवलोकन—कि छोटे नोट्स बेहतर हैं—निष्पक्षता को मापने के एक विशिष्ट, त्रुटिपूर्ण तरीके का परिणाम था। वह नियम जिसने बड़े नोट्स के लिए चरणों को कम कर दिया था, बहुत अधिक आक्रामक था, जिससे सबसे सक्षम मॉडलों के पास सीखने का लगभग कोई अवसर नहीं बचा। शोधकर्ता इस बात पर जोर देते हैं कि इसका मतलब यह नहीं है कि बड़े नोट्स हमेशा बेहतर होते हैं, और न ही इसका मतलब यह है कि छोटे नोट्स हमेशा खराब होते हैं। इसके बजाय, यह दिखाता है कि इन मॉडलों की रैंकिंग पूरी तरह से इस बात पर निर्भर करती है कि सीखने के बजट को कैसे परिभाषित किया जाता है। यदि आप एक बड़े मॉडल को बहुत कम समय देते हैं, तो यह कमजोर दिखेगा। यदि आप इसे पर्याप्त समय देते हैं, तो यह छोटे मॉडलों से बेहतर प्रदर्शन कर सकता है।

यह खोज इन AI मॉडलों के साथ प्रयोग करने वाले किसी भी व्यक्ति के लिए एक चेतावनी के रूप में कार्य करती है। यह सुझाव देता है कि प्रत्येक मॉडल को कितना समय दिया गया है, इसका सावधानीपूर्वक हिसाब रखे बिना विभिन्न मॉडल आकारों की तुलना करने से गलत निष्कर्ष निकल सकते हैं। एक छोटे मॉडल का स्पष्ट लाभ केवल इस बात का संकेत हो सकता है कि बड़े मॉडल को खुद को साबित करने का उचित मौका नहीं दिया गया था। शोधकर्ताओं ने यह दावा नहीं किया कि उन्होंने यह समस्या हल कर दी है कि हर स्थिति के लिए कौन सा मॉडल आकार सबसे अच्छा है, बल्कि उन्होंने यह दिखाया है कि उत्तर इतना सरल नहीं है कि "छोटा बेहतर है।" वास्तविक प्रदर्शन इस बात पर निर्भर करता है कि तुलना निष्पक्ष है या नहीं, और निष्पक्षता के लिए यह आवश्यक है कि प्रत्येक मॉडल को अपना विशिष्ट कार्य सीखने के लिए पर्याप्त समय दिया जाए।