Beyond Public Access in LLM Pre-Training Data
ओ'रेली मीडिया की 34 कॉपीराइट वाली पुस्तकों के कानूनी रूप से प्राप्त डेटासेट का उपयोग करते हुए, यह अध्ययन DE-COP मेंबरशिप इन्फरेंस अटैक के माध्यम से यह प्रकट करता है कि OpenAI का GPT-4o मॉडल पे-वॉल वाले कंटेंट की सांख्यिकीय रूप से महत्वपूर्ण पहचान (AUROC 0.82) प्रदर्शित करता है, जबकि छोटा GPT-4o Mini मॉडल ऐसा नहीं करता है, जिससे AI प्रशिक्षण डेटा के लिए अधिक कॉर्पोरेट पारदर्शिता और औपचारिक लाइसेंसिंग ढांचे की आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोजमर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य प्रश्न: क्या AI ने "पे-वॉल" (Pay-walled) वाला केक खा लिया?
एक विशाल छात्र (AI) की कल्पना करें जो एक बहुत बड़ी अंतिम परीक्षा के लिए पढ़ाई कर रहा है। सीखने के लिए, इस छात्र को लाखों किताबें पढ़ने की आवश्यकता है। इनमें से कुछ किताबें मुफ्त हैं और सार्वजनिक पुस्तकालय की शेल्फ पर रखी हैं (सार्वजनिक डेटा)। अन्य किताबें एक पे-वॉल (paywall) के पीछे बंद हैं, जो केवल उन लोगों के लिए उपलब्ध हैं जो सदस्यता शुल्क (subscription fee) देते हैं (गैर-सार्वजनिक डेटा)।
यह शोध पत्र जो बड़ा सवाल पूछता है वह यह है: क्या छात्र ने नकल की? क्या उसने लाइब्रेरी के उस बंद हिस्से में घुसपैठ की जहाँ सशुल्क (paid) किताबें रखी थीं, भले ही उसे ऐसा करने की अनुमति नहीं थी?
प्रयोग: "स्वाद परीक्षण" (The Taste Test)
शोधकर्ताओं ने केवल AI से यह नहीं पूछा, "क्या तुमने यह पढ़ा है?" क्योंकि AI झूठ बोल सकता है या कह सकता है कि "मुझे नहीं पता।" इसके बजाय, उन्होंने एक चतुर स्वाद परीक्षण तैयार किया।
- सेटअप: उन्होंने ओ'रेली मीडिया (O'Reilly Media - एक प्रसिद्ध टेक प्रकाशक) की 34 किताबें लीं। प्रत्येक पुस्तक में एक "मुफ्त नमूना" अध्याय (सार्वजनिक) होता है और बाकी का हिस्सा पे-वॉल के पीछे (गैर-सार्वजनिक) होता है।
- चाल: उन्होंने एक किताब का एक पैराग्राफ लिया और AI से चार विकल्पों की एक लाइन में से असली मानव-लिखित पैराग्राफ को चुनने के लिए कहा। अन्य तीन विकल्प एक अलग AI द्वारा लिखे गए नकली पैराग्राफ थे जो बहुत समान लग रहे थे लेकिन मूल नहीं थे।
- तर्क: यदि AI ने प्रशिक्षण के दौरान उस असली पैराग्राफ को पहले "देखा" है, तो वह उसे आसानी से पहचान लेना चाहिए, जैसे कि किसी ऐसे गाने को पहचानना जिसे आपने सौ बार सुना हो। यदि उसने इसे नहीं देखा है, तो उसे केवल रैंडम अनुमान लगाना चाहिए (जैसे ताश के पत्तों में से एक कार्ड चुनना)।
परिणाम: कौन पास हुआ?
शोधकर्ताओं ने OpenAI के तीन अलग-अलग AI "छात्रों" का परीक्षण किया:
- पुराना छात्र (GPT-3.5 Turbo): इस छात्र ने दो साल पहले पढ़ाई करना बंद कर दिया था। इन किताबों पर परीक्षण किए जाने पर, इसका प्रदर्शन रैंडम अनुमान लगाने से बेहतर नहीं था। ऐसा लगा जैसे इसे सशुल्क किताबों की कोई याद नहीं थी।
- छोटा छात्र (GPT-4o Mini): यह एक नया, लेकिन छोटा और कम शक्तिशाली मॉडल है। हालांकि इसे बड़े छात्र के साथ ही प्रशिक्षित किया गया था, इसने भी एक रैंडम गेसर (random guesser) की तरह प्रदर्शन किया। यह असली टेक्स्ट और नकली टेक्स्ट के बीच अंतर नहीं कर सका।
- बड़ा छात्र (GPT-4o): यह सबसे नया और सबसे शक्तिशाली मॉडल है। यह वाला अलग ही दिखा। इसने सशुल्क किताबों के असली, मानव-लिखित पैराग्राफ को रैंडम चांस से काफी बेहतर तरीके से पहचाना।
- स्कोर: शोधकर्ताओं ने इसे 0.82 का स्कोर दिया (जहाँ 0.5 रैंडम अनुमान है और 1.0 पूर्ण है)। यह सुझाव देता है कि "बड़े छात्र" ने उस सामग्री को पहचाना जिसे उसके पास एक्सेस नहीं होना चाहिए था।
"टाइम ट्रैवल" की समस्या (एक चेतावनी)
शोधकर्ता सावधान थे। उन्हें डर था कि शायद बड़ा छात्र किसी भी मानव लेखन को पहचानने में बस अधिक स्मार्ट हो गया है, न कि केवल उन विशिष्ट पुस्तकों को जिनका उन्होंने परीक्षण किया।
इसकी जाँच करने के लिए, उन्होंने उन पुस्तकों को देखा जो AI के पढ़ाई छोड़ने के बाद प्रकाशित हुई थीं। बड़ा छात्र अभी भी इन नई पुस्तकों में मानव लेखन को पहचानने में बहुत अच्छा था। इसका मतलब है कि AI अब सामान्य रूप से मानव टेक्स्ट को पहचानने में बेहतर हो गया है। हालाँकि, तथ्य यह है कि वह विशेष रूप से उन पुरानी पुस्तकों को पहचानने में और भी बेहतर था, यह सुझाव देता है कि उसने संभवतः अपने प्रशिक्षण के दौरान उन्हें देखा था।
परिणाम 100% निश्चित क्यों नहीं हैं
शोध पत्र अपनी सीमाओं के बारे में ईमानदार है। इसे भीड़ भरे कमरे में फुसफुसाहट सुनने की कोशिश करने जैसा समझें:
- छोटा सैंपल साइज: उन्होंने केवल 34 किताबों का परीक्षण किया। यह केवल तीन स्लाइस चखकर पूरे पिज्जा के स्वाद का अनुमान लगाने जैसा है। परिणाम आशाजनक हैं, लेकिन "कॉन्फिडेंस इंटरवल" (निश्चितता का एक सांख्यिकीय माप) काफी विस्तृत है।
- मॉडल का आकार मायने रखता है: यह तथ्य कि "छोटे छात्र" (Mini) ने किताबों को नहीं पहचाना, शायद इसलिए है क्योंकि वह इतना छोटा है कि उन्हें याद न रख सके, न कि इसलिए कि उसने उन्हें देखा ही नहीं। हमारे "बड़े छात्र" की मेमोरी बड़ी है, इसलिए वह जानकारी को रख सकता है भले ही उसे ऐसा करने की अनुमति न हो।
मुख्य निष्कर्ष
अध्ययन यह सुझाव देता है कि OpenAI का सबसे उन्नत मॉडल (GPT-4o) संभवतः कॉपीराइट वाली किताबों से सीख गया है जो पे-वॉल के पीछे थीं, जिन्हें उसके पास एक्सेस नहीं होना चाहिए था।
लेखक तर्क देते हैं कि यह पारदर्शिता की आवश्यकता को रेखांकित करता है। जिस तरह एक छात्र को परीक्षा के लिए पढ़ी गई किताबों की सूची देने में सक्षम होना चाहिए, उसी तरह AI कंपनियों को यह दिखाने में सक्षम होना चाहिए कि उन्होंने अपने मॉडलों को प्रशिक्षित करने के लिए किस डेटा का उपयोग किया है। यदि वे बिना अनुमति या भुगतान के सशुल्क सामग्री का उपयोग कर रहे हैं, तो यह उन लोगों के लिए एक समस्या पैदा करता है जिन्होंने वे किताबें लिखी हैं, जो लंबे समय में इंटरनेट पर उपलब्ध सामग्री की गुणवत्ता को नुकसान पहुँचा सकता है।
संक्षेप में: ऐसा लगता है कि "बड़े छात्र" ने लॉक की गई किताबों पर एक नज़र डाल ली है, जबकि "छोटे छात्र" और "पुराने छात्र" ने नहीं। लेकिन चूंकि क्लास का आकार छोटा था, इसलिए हमें इसे निर्णायक चोरी कहने से पहले और सबूतों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।