A Study of LLMs' Preferences for Libraries and Programming Languages
यह शोध पत्र पहला अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रकट करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) NumPy जैसी लोकप्रिय लाइब्रेरी और पायथन भाषा के प्रति गहरा पूर्वाग्रह प्रदर्शित करते हैं, जो अक्सर कार्य-विशिष्ट इष्टतमता के बजाय परिचितता को प्राथमिकता देते हैं और प्रशिक्षण एवं मूल्यांकन में लक्षित सुधारों को आवश्यक बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अविश्वसनीय रूप से प्रतिभाशाली, सुपर-फास्ट प्रशिक्षु (apprentices) की एक टीम है। वे मनुष्यों की तुलना में बहुत तेज़ी से कोड (वे निर्देश जो कंप्यूटर को बताते हैं कि क्या करना है) लिख सकते हैं। लेकिन एक पेंच है; ये प्रशिक्षु केवल कोड नहीं लिखते, बल्कि वे डिज़ाइन विकल्प (design choices) भी चुनते हैं। वे तय करते हैं कि कौन से टूल्स का उपयोग करना है और कौन सी भाषा बोलनी है।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ताओं ने पर्दे के पीछे जाकर यह पूछने की कोशिश की: "क्या ये AI प्रशिक्षु वास्तव में काम के लिए सबसे अच्छे टूल्स जानते हैं, या वे बस उन्हीं को चुनते हैं जिन्हें उन्होंने सबसे अधिक देखा है?"
यहाँ उनके निष्कर्षों का विवरण दिया गया, कुछ रोज़मर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. "परिचितता का जाल" (लाइब्रेरीज़)
प्रोग्रामिंग में लाइब्रेरीज़ (libraries) को रसोई के उपकरणों की तरह समझें।
- स्थिति: आप एक प्रशिक्षु से केक बनाने के लिए कहते हैं।
- आदर्श विकल्प: आपको एक मिक्सिंग बाउल और एक व्हिस्क (फेंटने वाला उपकरण) चाहिए। सरल, प्रभावी।
- AI का विकल्प: प्रशिक्षु बैटर मिलाने के लिए एक विशाल, औद्योगिक-ग्रेड का फूड प्रोसेसर (एक लाइब्रेरी जिसे NumPy कहा जाता है) उठा लेता है।
अध्ययन में क्या पाया गया:
AI मॉडल के पास "प्रसिद्ध" टूल्स को पकड़ने की एक बड़ी आदत है, भले ही उनकी आवश्यकता न हो।
- उन्हें NumPy और Pandas (कोडिंग की दुनिया के फूड प्रोसेसर) बहुत पसंद हैं।
- लगभग 45% मामलों में, AI ने इन भारी-भरकम टूल्स का उपयोग किया, भले ही कार्य के लिए उनकी आवश्यकता नहीं थी।
- उपमा: यह अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है। यह काम तो करता है, लेकिन यह ज़रूरत से ज़्यादा है, धीमा है, और आपकी रसोई (आपका कोड) को अव्यवस्थित और दूसरों के लिए साफ करने में कठिन बना देता है। वे नए, हल्के और तेज़ टूल्स (जैसे Polars या FastAPI) को अनदेखा कर देते हैं क्योंकि उन्होंने अपने ट्रेनिंग डेटा में उन्हें उतना नहीं देखा है।
2. "एक ही आकार सबके लिए" भाषा (प्रोग्रामिंग भाषाएँ)
प्रोग्रामिंग भाषाओं को वाहनों की तरह समझें।
- Python एक मिनिवैन है: परिवारों के लिए बेहतरीन, चलाने में आसान, आरामदायक और दैनिक कार्यों के लिए अच्छी।
- Rust, C++, या Go फॉर्मूला 1 रेस कारें या भारी-भरकम ट्रक हैं: गति, सुरक्षा और भारी काम के लिए बनी हुई।
अध्ययन में क्या पाया गया:
AI मॉडल मिनिवैन के प्रति जुनूनी हैं।
- भले ही काम के लिए एक रेस कार की आवश्यकता हो (जैसे एक हाई-स्पीड ट्रेडिंग प्लेटफॉर्म बनाना या एक ऐसा सिस्टम बनाना जिसे क्रैश-प्रूफ होना चाहिए), AI लगभग हमेशा आपको एक मिनिवैन (Python) थमा देता है।
- 58% मामलों में, जहाँ एक हाई-परफॉर्मेंस भाषा ही स्पष्ट विकल्प थी, AI ने फिर भी Python को चुना।
- उपमा: यह एक मैकेनिक से रॉकेट शिप बनाने के लिए कहने जैसा है, और वह आपको टोयोटा कैमरी थमा देता है क्योंकि, "खैर, हर कोई कैमरी चलाता है, और इसमें चार पहिए हैं, इसलिए यह अंतरिक्ष यात्रा के लिए भी काम कर सकती है।"
- AI कई उच्च-जोखिम वाले परिदृश्यों में रेस कारों (Rust) को पूरी तरह से अनदेखा कर देता है, भले ही वे टूल्स उस विशिष्ट कार्य के लिए अधिक सुरक्षित और तेज़ हों।
3. "बात बनाम क्रिया" का अंतर (Talk vs. Action Gap)
यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने AI से दो चीजें पूछीं:
- आप क्या सुझाव देंगे? ("कंसल्टेंट" मोड)
- अब, वास्तव में कोड लिखें। ("वर्कर" मोड)
अध्ययन में क्या पाया गया:
AI एक पाखंडी (hypocrite) है।
- जब सलाह के लिए पूछा जाता है, तो AI कह सकता है, "इस हाई-स्पीड कार्य के लिए, आपको निश्चित रूप से Rust का उपयोग करना चाहिए।"
- लेकिन जब यह वास्तव में कोड लिखता है, तो यह तुरंत वापस Python पर स्विच कर जाता है।
- उपमा: यह एक पोषण विशेषज्ञ (nutritionist) की तरह है जो आपसे कहता है, "आपको रात के खाने में सलाद खाना चाहिए," लेकिन फिर घर जाकर एक बड़ा पिज्जा खा जाता है। AI सिद्धांत में "सही" उत्तर जानता है, लेकिन उसकी आदतें (ट्रेनिंग डेटा) उसे वापस "आसान" उत्तर की ओर खींच लेती हैं।
यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या हुआ? अगर कोड काम कर रहा है, तो क्या यह अच्छा नहीं है?"
समस्या:
- फीडबैक लूप: यदि हर कोई AI का उपयोग करता है, और AI हमेशा "लोकप्रिय" टूल्स चुनता है, तो इंटरनेट उन्हीं टूल्स का उपयोग करने वाले कोड से भर जाता है। यह AI को अगली बार उन्हें चुनने के लिए और भी अधिक संभावित बनाता है।
- नवाचार का दबना: नए, बेहतर टूल्स (जैसे नए लाइब्रेरी या भाषाएं) को कभी बढ़ने का मौका नहीं मिलता क्योंकि AI कभी उनकी सिफारिश नहीं करता।
- प्रदर्शन संबंधी मुद्दे: रेस के लिए मिनिवैन का उपयोग करने से क्रैश या धीमी गति हो सकती है। सॉफ्टवेयर में, इसका अर्थ है धीमे ऐप्स, उच्च लागत और सुरक्षा जोखिम।
मुख्य निष्कर्ष (Bottom Line)
अध्ययन निष्कर्ष निकालता है कि ये AI मॉडल रूढ़िवादी (conservative) हैं। वे उपयुक्तता और अनुकूलन (optimization) के बजाय लोकप्रियता और परिचितता को प्राथमिकता देते हैं।
वे एक ऐसे छात्र की तरह हैं जो कक्षा में जो कुछ भी याद किया है, उसी के साथ सवालों के जवाब देता है, बजाय इसके कि वह वास्तव में उस विशिष्ट प्रश्न की आवश्यकता के बारे में सोचे। इसे ठीक करने के लिए, शोधकर्ता सुझाव देते हैं कि हमें इन AI को अधिक लचीला बनाने, उनके सीखने के दायरे को विविध बनाने और उन्हें केवल लोकप्रियता के "प्रवाह" के साथ बहने से रोकने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।