Cost Does Not Buy Impact: A 173K-Dataset Audit of the AI Data Economy
यह अध्ययन 173,369 AI डेटासेट का ऑडिट करता है ताकि यह प्रकट किया जा सके कि जबकि उनकी निर्माण लागत एक गैर-एकदिष्ट (non-monotonic) प्रवृत्ति का पालन करती है, उनका विद्वत्तापूर्ण प्रभाव काफी हद तक वित्तीय या श्रम निवेश से स्वतंत्र है, जो इसके बजाय लेखक संख्या और विषयगत व्यापकता द्वारा संचालित होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हाई-स्पीड रेस कार फैक्ट्री के रूप में करें। वर्षों तक, सभी को लगता था कि सबसे तेज़ कारें (सबसे स्मार्ट AI मॉडल) बनाने का रहस्य केवल अधिक इंजन और बड़े ईंधन टैंक खरीदना है। टेक की दुनिया में, इसका मतलब था समस्या की ओर अधिक कंप्यूटर पावर और अधिक कच्चे डेटा को झोंक देना। लेकिन हाल ही में, ड्राइवरों ने महसूस किया कि केवल एक बड़ा टैंक होने से यह गारंटी नहीं मिलती कि आप रेस जीत जाएंगे; यह ईंधन की गुणवत्ता के बारे में है। यह ईंधन "डेटा" है—वे लाखों उदाहरण, चित्र और वाक्य जिन्हें इंसान और मशीनें AI को सोचने का तरीका सिखाने के लिए उसमें डालते हैं।
हालाँकि, इस फैक्ट्री में एक बड़ा रहस्य बना हुआ है: वास्तव में किसी विशेष टैंक को बनाने की लागत कितनी आती है, यह कोई नहीं जानता। क्या यह इसलिए महंगा है क्योंकि इसे लिखने में बहुत अधिक मानवीय समय लगता है? क्या यह इसलिए महंगा है क्योंकि इसे बनाने के लिए शक्तिशाली कंप्यूटरों की आवश्यकता होती है? और सबसे महत्वपूर्ण प्रश्न: क्या ईंधन पर एक बड़ी राशि खर्च करने से वास्तव में कार तेज़ चलती है, या यह केवल पैसे की बर्बादी है? यह शोध पत्र इस फैक्ट्री के फर्श में उतरकर रसीदों का ऑडिट करता है, यह देखने के लिए कि लगभग 174,000 अलग-अलग डेटा "टैंकों" का मूल्य उनके प्रदर्शन से मेल खाता है या नहीं।
द ग्रेट डेटा ऑडिट: क्या पैसा दिमाग खरीद सकता है?
एमोरी यूनिवर्सिटी, कॉर्नेल और अमेज़न के शोधकर्ताओं की एक टीम ने जासूस खेलने का फैसला किया। उन्होंने हजारों वैज्ञानिक शोध पत्रों को पढ़ने के लिए एक सुपर-स्मार्ट डिजिटल सहायक (एक लैंग्वेज मॉडल) बनाया और यह पता लगाया कि उन शोध पत्रों में वर्णित डेटासेट बनाने में वास्तव में कितना समय और पैसा लगा। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने सुराग खोजे कि लोगों ने छवियों को लेबल करने या प्रश्न लिखने में कितने घंटे बिताए, और सिंथेटिक डेटा बनाने के लिए कितनी कंप्यूटर पावर खर्च की गई। उन्होंने इस जासूसी कार्य को 2010 और 2025 के बीच शोध पत्रों से जुड़े 173,369 डेटासेट के विशाल संग्रह पर लागू किया।
ईंधन की कीमत: यह एक सीधी रेखा नहीं है
शोधकर्ताओं ने पाया कि इन डेटासेटों को बनाने की लागत एक रोलरकोस्टर राइड की तरह रही है, न कि ऊपर जाती हुई एक सीधी रेखा।
- द प्लेटो (स्थिरता): 2019 से 2022 तक, एक विशिष्ट डेटासेट बनाने की लागत काफी स्थिर थी।
- द डिप (गिरावट): फिर, 2023 और 2024 में, लागत में लगभग 10% की गिरावट आई। ऐसा इसलिए हुआ क्योंकि AI मॉडल खुद अपना "नकली" डेटा उत्पन्न करने में इतने अच्छे हो गए कि शोधकर्ताओं को काम करने के लिए उतने मनुष्यों को भुगतान करने की आवश्यकता नहीं पड़ी। यह एक ऐसी मशीन खोजने जैसा था जो आपके लिए कुकीज़ बना सके, जिससे आपको बेकर को काम पर रखने की लागत बचाने में मदद मिली।
- द बाउंस बैक (वापसी): लेकिन 2025 में, लागत फिर से उछल गई, खर्च किए गए धन में 35% और मानव घंटों में 28% की वृद्धि हुई। क्यों? क्योंकि नए, सुपर-स्मार्ट AI मॉडलों को बहुत विशिष्ट, उच्च-गुणवत्ता वाले "विशेषज्ञ" डेटा की आवश्यकता थी जिसे सस्ते, स्वचालित जनरेटर नहीं बना सकते थे। उन्हें काम की दोबारा जांच करने के लिए पीएचडी धारक मनुष्यों की आवश्यकता थी, जिसने कीमत को फिर से बढ़ा दिया।
बड़ी हैरानी: प्राइस टैग बनाम लोकप्रियता
कहानी का सबसे चौंकाने वाला हिस्सा यहाँ है। शोधकर्ताओं ने पूछा: "यदि आप एक डेटासेट पर अधिक पैसा खर्च करते हैं, तो क्या वह अधिक प्रसिद्ध होता है?" (विज्ञान में, "प्रसिद्ध" होने का अर्थ है अन्य शोधकर्ताओं द्वारा उद्धृत या उपयोग किया जाना)।
इसका उत्तर एक ज़ोरदार नहीं है।
यह पता चला कि इन डेटासेटों की लागत—चाहे वह दस लाख डॉलर हो या सौ डॉलर—इस बात से लगभग कोई संबंध नहीं है कि लोग उन्हें कितना उपयोग करते हैं या उन्हें कितनी बार उद्धृत किया जाता है। अधिक पैसा खर्च करने से अधिक प्रभाव नहीं मिलता। यह एक शानदार, महंगी स्पोर्ट्स कार खरीदने जैसा है जो गैरेज में खड़ी रहती है जबकि एक साधारण, सस्ती साइकिल हर दिन चलाई जाती है क्योंकि वह अधिक उपयोगी है।
इसके बजाय, दो अन्य चीजें भविष्यवाणी करती हैं कि कौन सा डेटासेट हिट होगा:
- टीम का आकार: बड़े लेखक दल द्वारा बनाए गए डेटासेट को बहुत अधिक उद्धृत किया जाता है। यह इसलिए नहीं है कि टीम ने तकनीकी रूप से डेटा को "बेहतर" बनाया, बल्कि इसलिए कि अधिक लोगों का होना मतलब अधिक दोस्त और सहकर्मी हैं जो खबर साझा करेंगे। यह एक लोकप्रियता की प्रतियोगिता है, गुणवत्ता की नहीं।
- समय (टाइमिंग): जो डेटासेट ठीक उसी समय आते हैं जब कोई विषय चर्चा में होता है (जैसे फैशन का नया ट्रेंड), उन्हें बहुत अधिक ध्यान मिलता है। यदि आप उस विषय पर डेटासेट जारी करते हैं जिसके बारे में हर कोई पहले से ही बात कर रहा है, तो उसे नोटिस किया जाता है। यदि आप इसे बहुत जल्दी या बहुत देर से जारी करते हैं, तो इसे नज़रअंदाज़ कर दिया जाता है, चाहे आपने इसे बनाने के लिए कितना भी पैसा क्यों न दिया हो।
इसका भविष्य के लिए क्या अर्थ है
अध्ययन सुझाव देता है कि AI की दुनिया गलत चीजों पर ध्यान केंद्रित कर रही है। हम मान रहे थे कि यदि हम बस डेटा संग्रह पर अधिक पैसा झोंक देंगे, तो हमें स्मार्ट AI मिलेगा। लेकिन इस ऑडिट ने दिखाया है कि बजट से अधिक बौद्धिक डिज़ाइन मायने रखता है।
- निर्माताओं के लिए: केवल अधिक डेटा खरीदने के लिए पैसा खर्च न करें। इस पर ध्यान दें कि इसे कौन बना रहा है (एक बड़ी, विविध टीम) और आप इसे कब जारी करते हैं (ठीक उसी समय जब विषय ट्रेंड कर रहा हो)।
- फंडर्स (वित्तपोषकों) के लिए: केवल इस आधार पर डेटासेट की सफलता का आकलन करना बंद करें कि इसकी लागत कितनी थी या इसके कितने उद्धरण हैं। एक सस्ता डेटासेट जो वास्तविक समस्या का समाधान करता है, उस महंगे डेटासेट से कहीं अधिक मूल्यवान है जो केवल कागज़ पर अच्छा दिखता है।
- उद्योग के लिए: डेटा की लागत बदल रही है। हम "कच्चे" डेटा से हटकर "विरासत" (पुराने डेटा का नए तरीकों से पुन: उपयोग) और "सिंथेटिक" डेटा (AI-निर्मित डेटा) की ओर बढ़ रहे हैं, लेकिन उस डेटा को सत्यापित करने के लिए मानव विशेषज्ञों की आवश्यकता वास्तव में बढ़ रही है, घट नहीं रही है।
संक्षेप में, यह पेपर साबित करता है कि AI डेटा अर्थव्यवस्था में, लागत प्रभाव नहीं खरीदती है। आप केवल शीर्ष पर पहुँचने के लिए पैसा नहीं लगा सकते; आपको इस बारे में स्मार्ट होना होगा कि आप कब लॉन्च करते हैं, कौन आपकी मदद करता है, और आप वास्तव में किस समस्या को हल कर रहे हैं। सबसे मूल्यवान डेटासेट वे नहीं हैं जो सबसे महंगे हैं; वे हैं जो सही समय पर सही टीम के साथ सामने आते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।