PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models
यह शोध पत्र PLuRel को पेश करता है, जो विविध मल्टी-टेबल रिलेशनल डेटाबेसों को संश्लेषित करने के लिए एक हल्का ढांचा है, जो पहली बार यह प्रदर्शित करता है कि सिंथेटिक डेटा को स्केल करने से रिलेशनल फाउंडेशन मॉडल्स के लिए पूर्वानुमानित प्रदर्शन सुधार और मजबूत सामान्यीकरण (जनरलाइजेशन) प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को व्यवसाय के जटिल और आपस में जुड़े डेटा को समझना सिखाने की कोशिश कर रहे हैं। वास्तविक दुनिया में, कंपनियाँ अपने रहस्यों को विशाल "रिलेशनल डेटाबेस" (relational databases) में संग्रहीत करती हैं—इसे एक विशाल, बहु-कक्षीय पुस्तकालय के रूप में सोचें जहाँ हर किताब (टेबल) अन्य किताबों से विशिष्ट धागों (जैसे कि एक ग्राहक की आईडी जो उनके नाम को उनके ऑर्डर इतिहास से जोड़ती है) द्वारा जुड़ी होती है। इस तरह की लाइब्रेरी को पढ़ने में रोबोट को वास्तव में स्मार्ट बनाने के लिए, हमें उसे लाखों अलग-अलग उदाहरण दिखाने होंगे। लेकिन यहाँ एक समस्या है: वास्तविक कंपनी डेटा निजी होता है। यह गोपनीयता कानूनों और व्यापारिक रहस्यों की दीवारों के पीछे बंद होता है, इसलिए हम अपने रोबोट को इसे सीधे नहीं दे सकते।
यहीं पर "सिंथेटिक डेटा" (synthetic data) का विचार आता है। यह एक असली लाइब्रेरी को देखे बिना, गणित का उपयोग करके यह अनुमान लगाने जैसा है कि किताबें और उनके धागे कैसे दिखने चाहिए, ताकि एक आदर्श, नकली प्रतिलिपि शून्य से बनाई जा सके। वैज्ञानिक एकल टेबल्स (जैसे नामों की एक साधारण सूची) के लिए यह कर रहे थे, लेकिन एक नकली बहु-कक्षीय लाइब्रेरी बनाना जहाँ कमरों के बीच के संबंध समझ में आने वाले हों, अविश्वसनीय रूप से कठिन रहा है। यदि रोबोट एक ऐसी नकली लाइब्रेरी से सीखता है जहाँ कनेक्शन टूटे हुए या अजीब हैं, तो वह बाद में वास्तविक समस्याओं को हल करने में सक्षम नहीं होगा। यह शोध पत्र ठीक इसी पहेली को सुलझाता है: हम एक ऐसा कारखाना कैसे बना सकते हैं जो अंतहीन, विविध और पूरी तरह से जुड़े हुए नकली डेटाबेस तैयार कर सके ताकि हमारा AI वास्तविक दुनिया को देखने से पहले खेल के नियमों को सीख सके?
PLUREL फैक्ट्री: AI के लिए नकली दुनिया का निर्माण
PLUREL से मिलिए, जो एक मास्टर आर्किटेक्ट और एक रचनात्मक लेखक दोनों की भूमिका निभाता है। इसका काम शून्य से सिंथेटिक रिलेशनल डेटाबेस बनाना है, जो AI मॉडल के अभ्यास के लिए "नकली दुनिया" तैयार करता है। PLUREL के पीछे के शोधकर्ताओं ने यह देखना चाहा कि क्या वे इन AI मॉडल्स के लिए एक गुप्त शक्ति को अनलॉक कर सकते हैं: अधिक और अधिक विविध उदाहरणों को देखकर स्मार्ट होने की क्षमता, जिसे "स्केलिंग लॉज़" (scaling laws) कहा जाता है।
AI को प्रशिक्षित करना एक किशोर को गाड़ी चलाना सिखाने जैसा है। यदि आप उन्हें केवल एक खाली पार्किंग लॉट (एक एकल, छोटा डेटाबेस) में अभ्यास करने देते हैं, तो वे उस विशिष्ट लॉट में अच्छे हो सकते हैं, लेकिन जैसे ही वे व्यस्त शहर की सड़क (एक वास्तविक दुनिया का डेटाबेस) पर पहुँचेंगे, वे दुर्घटनाग्रस्त हो जाएंगे। PLUREL इसे हजारों अलग-अलग "ड्राइविंग कोर्स" बनाकर हल करता है—कुछ संकरी सड़कों वाले, कुछ राउंडअबाउट वाले, कुछ भारी ट्रैफिक वाले, और कुछ धुंधले मौसम वाले। प्रत्येक कोर्स एक अद्वितीय डेटाबेस है जिसमें अपने स्वयं के टेबल्स (जैसे "यूज़र्स", "आइटम्स" और "ट्रांजेक्शन") और उनके बीच के जटिल संबंध होते हैं।
PLUREL इन नकली दुनियाओं को कैसे बनाता है
PLUREL केवल मौजूदा डेटा को कॉपी-पेस्ट नहीं करता है; यह तीन रचनात्मक चरणों में सब कुछ शून्य से बनाता है:
- ब्लूप्रिंट (स्कीमा - Schema): सबसे पहले, यह लाइब्रेरी का नक्शा खींचता है। यह तय करता है कि कितने कमरे (टेबल्स) हैं और वे कैसे जुड़ते हैं। यह एक "डायरेक्टेड ग्राफ" (तीरों वाले मानचित्र का एक फैंसी शब्द) का उपयोग करता है यह तय करने के लिए कि कौन सा कमरा किस कमरे की ओर ले जाता है। उदाहरण के लिए, यह तय कर सकता है कि "यूज़र्स" वाला कमरा "ऑर्डर्स" वाले कमरे से जुड़ता है, लेकिन सीधे "शिप्स" वाले कमरे से नहीं।
- धागे (कनेक्टिविटी - Connectivity): इसके बाद, यह उन धागों को बुनता है जो कमरों को एक साथ बांधते हैं। एक वास्तविक डेटाबेस में, एक विशिष्ट ऑर्डर एक विशिष्ट उपयोगकर्ता से संबंधित होता है। PLUREL यह तय करने के लिए एक चतुर "बाइपार्टाइट ग्राफ" (दो समूहों को मिलाने का एक तरीका) का उपयोग करता है कि किस उपयोगकर्ता को कौन सा ऑर्डर मिलेगा। यह केवल यादृच्छिक (randomly) चुनाव नहीं करता है; यह एक "पदानुक्रमित" (hierarchical) पैटर्न का उपयोग करता है, जैसे कि एक वंशावली, यह सुनिश्चित करने के लिए कि कनेक्शन स्वाभाविक लगें। शायद एक "VIP" उपयोगकर्ता को अधिक ऑर्डर मिलते हैं, या एक विशिष्ट क्षेत्र के ऑर्डर एक साथ क्लस्टर होते हैं।
- सामग्री (फीचर्स - Features): अंत में, यह कमरों को डेटा से भर देता है। यह यह तय करने के लिए कि सेल्स में क्या जाना चाहिए, "स्ट्रक्चरल कॉज़ल मॉडल्स" (इन्हें तर्क इंजन मान लें) का उपयोग करता है। यदि कोई उपयोगकर्ता विंटर कोट खरीदता है, तो सिस्टम जानता है कि "तारीख" सर्दियों में होनी चाहिए और "कीमत" अधिक हो सकती है। यह इसमें "टेम्पोरल पैटर्न्स" (समय संबंधी पैटर्न) भी जोड़ता है, जिसका अर्थ है कि डेटा वास्तविक जीवन की तरह समय के साथ बदलता है (उदाहरण के लिए, ब्लैक फ्राइडे के दौरान बिक्री बढ़ जाती है)।
बड़ी खोज: अधिक विविधता = स्मार्ट AI
सबसे रोमांचक हिस्सा शोध पत्र का वह भाग है जहाँ उन्होंने एक मॉडल जिसे रिलेशनल ट्रांसफार्मर (RT) कहा जाता है, को इन PLUREL-जनरेटेड डेटाबेस पर प्रशिक्षित करना शुरू किया।
शोधकर्ताओं ने दो चीजें जांचीं:
- आकार (Size): मॉडल ने कितना डेटा देखा? (कुल टोकन, या डेटा के "शब्द")।
- विविधता (Diversity): मॉडल ने कितने अलग-अलग नकली डेटाबेस देखे? (अद्वितीय "दुनियाओं" की संख्या)।
उन्होंने एक सुंदर, पूर्वानुमानित पैटर्न पाया: जितना अधिक विविध प्रशिक्षण डेटा होगा, मॉडल उतना ही बेहतर होगा।
कल्पte हैं कि आप एक भाषा सीख रहे हैं। यदि आप एक ही किताब के 10,000 पन्ने पढ़ते हैं, तो आप उस किताब को पूरी तरह से याद कर लेंगे लेकिन आप किसी अजनबी से बात नहीं कर पाएंगे। लेकिन यदि आप 1,000 अलग-अलग किताबों (विभिन्न शैलियों, विभिन्न लेखकों, विभिन्न शैलियों) में फैले 10,000 पन्ने पढ़ते हैं, तो आप भाषा के नियम सीख जाते हैं। PLUREL ने दिखाया कि जब AI ने अधिक अद्वितीय डेटाबेस देखे (विविधता बढ़ाकर), तो वास्तविक डेटा पर इसकी भविष्यवाणी करने की क्षमता में एक सहज, पूर्वानुमानित वक्र (curve) के साथ सुधार हुआ। यह एक "पावर लॉ" (power law) है, जिसका अर्थ है कि सुधार एक स्थिर, गणितीय नियम का पालन करता है न कि यादृच्छिक रूप से।
क्या यह वास्तविक जीवन में काम करता है?
अंतिम परीक्षण यह था: "क्या यह नकली प्रशिक्षण वास्तविक समस्याओं में मदद कर सकता है?"
शोधकर्ताओं ने अपने AI को लिया, जिसे PLUREL के अरबों टोकन के नकली डेटा पर प्रशिक्षित किया गया था, और उसे वास्तविक दुनिया के डेटा (RelBench नामक बेंचमार्क से) के एक छोटे से हिस्से पर एक त्वरित "फिनिशिंग स्कूल" दिया। परिणाम प्रभावशाली थे:
- हाइब्रिड दृष्टिकोण जीत गया: एक AI जिसने PLUREL के नकली डेटा पर सीखा और फिर वास्तविक डेटा पर फाइन-ट्यून किया, उसने उस AI की तुलना में काफी बेहतर प्रदर्शन किया जिसने केवल वास्तविक डेटा पर सीखा था।
- लाभ: औसतन, इस "सिंथेटिक + रियल" दृष्टिकोण ने क्लासिफिकेशन कार्यों (जैसे यह अनुमान लगाना कि उपयोगकर्ता छोड़ कर जाएगा या नहीं) के लिए मॉडल की सटीकता में 1.2% और रिग्रेशन कार्यों (जैसे बिक्री संख्या का अनुमान लगाना) के लिए 3.0% का सुधार किया।
- उच्चतम स्तर: कुछ विशिष्ट कार्यों पर, सुधार बहुत बड़ा था—उपयोगकर्ता जुड़ाव (user engagement) की भविष्यवाणी करने में 7.4% बेहतर और ग्राहक जीवनकाल मूल्य (customer lifetime value) की भविष्यवाणी करने में 5.2% बेहतर।
हालाँकि, शोध पत्र सावधानीपूर्वक नोट करता है कि सिंथेटिक डेटा अपने आप में कोई जादुई समाधान नहीं है। यदि उन्होंने वास्तविक डेटा को देखे बिना केवल नकली डेटा का उपयोग करने का प्रयास किया, तो मॉडल संघर्ष करता है। नकली डेटा सामान्य नियमों को सीखने के लिए बेहतरीन है, लेकिन वास्तविक दुनिया की विशिष्ट बारीकियों के साथ तालमेल बिठाने के लिए वास्तविक डेटा की आवश्यकता होती है।
इसका क्या अर्थ है
PLUREL सुझाव देता है कि हमें बेहतर AI बनाने के लिए कंपनियों द्वारा अपना गुप्त निजी डेटा साझा करने की प्रतीक्षा करने की आवश्यकता नहीं है। इसके बजाय, हम सिंथेटिक डेटा का उपयोग करके अपने स्वयं के "प्रशिक्षण जिम" बना सकते हैं। हजारों विविध, गणितीय रूप से सुदृढ़ नकली डेटाबेस उत्पन्न करके, हम AI मॉडल्स को डेटा कैसे जुड़ता है इसके मौलिक नियम सिखा सकते हैं। यह मॉडल्स को सामान्यीकरण (generalize) करने की अनुमति देता है—अर्थात, वे जो सीखा है उसे नकली दुनिया से लेकर सफलतापूर्वक वास्तविक, अव्यवस्थित दुनिया में लागू कर सकते हैं।
शोध पत्र निष्कर्ष निकालता है कि यह एक आशाजनक नया मार्ग है। यह केवल अधिक डेटा बनाने के बारे में नहीं है; यह बेहतर, अधिक विविध डेटा बनाने के बारे में है। डेटा की विविधता को बढ़ाने की क्षमता को अनलॉक करके, PLUREL हमें ऐसे 'रिलेशनल फाउंडेशन मॉडल्स' बनाने में मदद करता है जो भविष्य की जटिल, परस्पर जुड़ी डेटा चुनौतियों से निपटने के लिए तैयार हैं, और यह सब वास्तविक दुनिया की गोपनीयता को सुरक्षित रखते हुए किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।