A Large-Scale Measurement of AI Bill of Materials Completeness in Hugging Face Models
यह शोध पत्र लगभग 97,500 हगिंग फेस (Hugging Face) मॉडलों में एआई बिल ऑफ मटेरियल्स (AIBOMs) की पूर्णता का अनुभवजन्य मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि आवश्यक संरचनात्मक क्षेत्र पूरी तरह से मौजूद हैं, लेकिन मॉडल कार्ड, लाइसेंस, सीमाएं और सुरक्षा जोखिमों के संबंध में महत्वपूर्ण एआई-विशिष्ट दस्तावेजीकरण काफी अधूरा बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक लोकप्रिय फूड ट्रक से एक स्वादिष्ट, पहले से बना हुआ सैंडविच खरीदा है। यह देखने में बहुत अच्छा लग रहा है, लेकिन इसका रैपर खाली है। आपको बिल्कुल भी अंदाज़ा नहीं है कि इसके अंदर कौन सी सामग्रियां हैं, ब्रेड कहाँ बेक की गई थी, फिलिंग किसने बनाई थी, या इसमें नट्स (मेवे) हैं जो आपको बीमार कर सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, डेवलपर्स अक्सर बिल्कुल यही करते हैं: वे अपने स्वयं के ऐप्स बनाने के लिए विशाल ऑनलाइन लाइब्रेरी से शक्तिशाली, पूर्व-प्रशिक्षित (pre-trained) एआई मॉडल उठाते हैं, बिना यह जाने कि उनकी "सामग्रियां" या "रेसिपी" क्या है। यह जोखिम भरा है क्योंकि यदि एआई बाद में कोई गलती करता है या अजीब व्यवहार करता है, तो किसी को पता नहीं चलेगा कि ऐसा क्यों हुआ। इसे ठीक करने के लिए, वैज्ञानिक एक ऐसी चीज़ बनाने की कोशिश कर रहे हैं जिसे "एआई बिल ऑफ मटेरियल्स" (AIBOM) कहा जाता है। एक AIBOM को एआई मॉडल के लिए एक डिजिटल पोषण लेबल या एक विस्तृत रसीद के रूप में सोचें। यह एक संरचित सूची है जो आपको मॉडल के बारे में सब कुछ बताती है: इसे किस पर प्रशिक्षित किया गया था, इसे किसने बनाया, किन नियमों (लाइसेंस) का आपको पालन करना है, और इसकी कमजोरियां क्या हैं। बड़ा सवाल यह है कि यदि हम वहां मौजूद लाखों एआई मॉडलों के लिए ये "पोषण लेबल" स्वचालित रूप से तैयार करते हैं, तो क्या वे वास्तव में सच बताते हैं, या वे ज्यादातर खाली रैपर हैं?
यह शोध पत्र उस प्रश्न का गहराई से उत्तर देने का प्रयास करता है और हगिंग फेस (Hugging Face) पर होस्ट किए गए लगभग 98,000 एआई मॉडलों के "पोषण लेबल" की जांच करता है, जो इंटरनेट का सबसे बड़ा एआई मॉडल मार्केटप्लेस है। शोधकर्ताओं ने इन मॉडलों को स्वचालित रूप से स्कैन करने और उनके AIBOMs जेनरेट करने के लिए एक विशेष टूल का उपयोग किया, फिर यह जांचा कि वे लेबल कितने पूर्ण और उपयोगी थे। उन्होंने पाया कि हालांकि लेबल तकनीकी रूप से वैध हैं—जिसका अर्थ है कि उनमें सही संरचना और बुनियादी आईडी टैग हैं—लेकिन महत्वपूर्ण जानकारी के मामले में वे आश्चर्यजनक रूप रूप से खाली हैं। यह एक ऐसी रसीद की तरह है जो कीमत और स्टोर का नाम तो बताती है, लेकिन सामग्री, एलर्जी की चेतावनी और समाप्ति तिथि को पूरी तरह से खाली छोड़ देती है।
अध्ययन से पता चलता है कि जेनरेट किए गए AIBOMs "मध्यम रूप से पूर्ण" हैं, जिनका औसत स्कोर 100 में से लगभग 54 है। अच्छी खबर यह है कि दस्तावेज़ का बुनियादी ढांचा हमेशा मौजूद होता है; टूल मॉडल का नाम, संस्करण और प्रारूप 100% समय सफलतापूर्वक पहचान लेता है। हालांकि, दस्तावेज़ का "मुख्य हिस्सा" गायब है। विशिष्ट डेटासेट जिनका उपयोग प्रशिक्षण के लिए किया गया था, सुरक्षा चेतावनियां, नैतिक सीमाएं और पर्यावरणीय प्रभाव जैसी महत्वपूर्ण जानकारी काफी हद तक अनुपस्थित है। उदाहरण के लिए, जबकि टूल ने पाया कि लगभग 39% मॉडलों ने अपने प्रशिक्षण डेटासेट सूचीबद्ध किए थे, जेनरेट किए गए लेबल में से 0% में भी "नैतिक विचार" या "इच्छित उपयोग" के बारे में जानकारी शामिल थी। यहाँ तक कि मॉडल वास्तव में क्या करता है, इसके "सार्थक विवरण" भी 99.8% मामलों में गायब थे, जिन्हें अक्सर खाली प्लेसहोल्डर्स द्वारा बदल दिया गया था।
शोधकर्ताओं ने यह भी पाया कि इन लेबल की गुणवत्ता इस बात पर बहुत निर्भर करती है कि मूल मॉडल का दस्तावेजीकरण कितनी अच्छी तरह किया गया था। वे मॉडल जो एक शोध पत्र या अपने प्रशिक्षण डेटा के बारे में एक स्पष्ट विवरण के साथ आए थे, उनके बेहतर AIBOMs मिले, जिनमें कोड और सुरक्षा जांच के अधिक लिंक थे। लेकिन अधिकांश मॉडलों के लिए, विशेष रूप से उन मॉडलों के लिए जिनके पास ये अतिरिक्त संकेत नहीं थे, जेनरेट किए गए लेबल कमजोर ही रहे। अध्ययन सुझाव देता है कि हालांकि हमारे पास इन पारदर्शिता दस्तावेजों को बनाने की तकनीक है, लेकिन एआई समुदाय अभी भी उन्हें भरने के लिए पर्याप्त जानकारी प्रदान नहीं कर रहा है। जब तक मॉडल निर्माता दस्तावेजीकरण को अपने उत्पाद के एक आवश्यक हिस्से के रूप में नहीं अपनाते—जैसे कि एक शेफ मेनू पर सामग्री सूचीबद्ध करता है—तब तक ये एआई "पोषण लेबल" अधूरे रहेंगे, जिससे डेवलपर्स और उपयोगकर्ता इस अंधेरे में रहेंगे कि वे वास्तव में क्या उपयोग कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।