TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models
यह शोध पत्र TF1-EN-3M को प्रस्तुत करता है, जो एक संरचित छह-स्लॉट स्कैफोल्ड और एक पुनरुत्पादक मूल्यांकन पाइपलाइन का उपयोग करके छोटे, ओपन-वेट लैंग्वेज मॉडल्स द्वारा जनरेट किए गए तीन मिलियन सिंथेटिक अंग्रेजी नैतिक उपदेशों (मोरल फेबल्स) का एक नवीन ओपन डेटासेट है, जो यह प्रदर्शित करता है कि प्रोप्रायटरी विशाल मॉडल्स पर निर्भर किए बिना उच्च गुणवत्ता वाला, बड़े पैमाने पर नैतिक कहानी लेखन प्राप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को सही और गलत के बीच का अंतर सिखाना चाहते हैं। सदियों से, लोगों ने कहानियों (fables) का उपयोग किया है—बात करने वाले जानवरों या सरल पात्रों की छोटी कहानियाँ जो एक स्पष्ट सबक (जैसे "ईमानदारी सबसे अच्छी नीति है") के साथ समाप्त होती हैं। ये कहानियाँ नैतिक GPS सिस्टम की तरह हैं: वे सुनने वाले को एक भ्रमित करने वाली स्थिति से एक स्पष्ट नैतिक गंतव्य तक मार्गदर्शन करती हैं।
हालाँकि, कंप्यूटर विज्ञान की दुनिया में (विशेष रूप से नेचुरल लैंग्वेज प्रोसेसिंग में), शोधकर्ताओं को एक दीवार का सामना करना पड़ा। उन्हें कंप्यूटर को नैतिक कहानियाँ समझने और सुनाने के लिए सिखाने हेतु कहानियों के एक विशाल पुस्तकालय की आवश्यकता थी, लेकिन मौजूदा संग्रह (जैसे ईसप की कहानियाँ) बहुत छोटे थे। वे इन कहानियों को बनाने के लिए विशाल, महंगे AI मॉडल का उपयोग करके लाखों डॉलर भी खर्च नहीं करना चाहते थे।
यहाँ आता है TF1-EN-3M। इस प्रोजेक्ट को एक विशाल, स्वचालित कहानी फैक्ट्री के रूप में सोचें जिसे रोमानिया के शोधकर्ताओं द्वारा बनाया गया है। उन्होंने इसे कैसे किया, इसे सरल रूप में यहाँ समझाया गया है:
1. रेसिपी बुक (द प्रॉम्प्ट इंजन)
कंप्यूटर से "एक कहानी लिखो" कहने और फिर बेहतर परिणाम की उम्मीद करने के बजाय, शोधकर्ताओं ने एक सख्त रेसिपी (विधि) बनाई। उन्होंने छह विशिष्ट स्लॉट्स के साथ एक "स्कैफोल्ड" (ढांचा) तैयार किया, जैसे कि एक रिक्त स्थान भरने वाला वर्कशीट:
- पात्र (Character): (जैसे, एक लोमड़ी)
- गुण (Trait): (जैसे, लालची)
- स्थान (Setting): (जैसे, एक व्यस्त खेत)
- संघर्ष (Conflict): (जैसे, भोजन चुराना)
- समाधान (Resolution): (जैसे, पकड़ा जाना)
- नैतिक शिक्षा (Moral): (जैसे, "लालच मुसीबत का कारण बनता है")
उन्होंने केवल एक रेसिपी नहीं लिखी; उन्होंने एक संयोजन इंजन (combinatorial engine) बनाया। कल्पना कीजिए कि आपके पास 100 अलग-अलग पात्र, 100 अलग-अलग गुण और 100 अलग-अलग स्थान हैं। यदि आप उन्हें आपस में मिलाते हैं, तो आपको लाखों अद्वितीय कहानी के विचार मिलते हैं। उन्होंने इस इंजन का उपयोग करके 30 लाख (3 मिलियन) अद्वितीय प्रॉम्प्ट उत्पन्न किए।
2. बेकर्स (AI मॉडल्स)
शोधकर्ताओं ने सबसे महंगे, विशाल AI मॉडल्स (वे "विशाल शेफ" जिन्हें चलाने के लिए बहुत अधिक खर्च होता है) का उपयोग नहीं किया। इसके बजाय, उन्होंने दस अलग-अलग "कॉम्पैक्ट" AI मॉडल्स (1 बिलियन से 8 बिलियन पैरामीटर्स के बीच) का परीक्षण किया। इन्हें "औद्योगिक कारखानों" के बजाय "होम बेकर्स" (घर पर बेक करने वाले) के रूप में सोचें।
उन्होंने इन होम बेकर्स से सख्त रेसिपी का पालन करने के लिए कहा। यह देखने के लिए कि कौन सा बेकर सबसे अच्छा है, उन्होंने जजों का एक पैनल बनाया।
- जज: महंगे मानव आलोचकों को काम पर रखने के बजाय, उन्होंने व्याकरण, रचनात्मकता, नैतिक स्पष्टता और क्या बेकर ने रेसिपी का पालन किया, इस पर ग्रेड देने के लिए तीन अन्य AI मॉडल्स का उपयोग किया।
- विजेता: उन्होंने पाया कि Llama-3.1-8B नामक एक विशिष्ट मॉडल "गोल्डिलॉक्स" (Goldilocks) विकल्प था। यह हर श्रेणी में सबसे उच्चतम स्कोर वाला तो नहीं था, लेकिन यह गुणवत्ता और लागत के बीच संतुलन बनाने में सबसे अच्छा था। यह एक सामान्य कंप्यूटर (कंज्यूमर हार्डवेयर) पर लगभग $0.135 प्रति 1,000 कहानियों की दर से उच्च गुणवत्ता वाली कहानियाँ लिख सकता था।
3. परिणाम: 30 लाख कहानियों का पुस्तकालय
परिणाम TF1-EN-3M डेटासेट है।
- आकार: 3,000,000 अंग्रेजी कहानियाँ।
- सामग्री: प्रत्येक कहानी छोटी है (लगभग एक बेडटाइम स्टोरी जितनी लंबी), इसमें 4-7 वर्ष के बच्चों के लिए उपयुक्त सरल शब्दों का उपयोग किया गया है, और यह एक स्पष्ट नैतिक पाठ के साथ समाप्त होती है।
- सुरक्षा: शोधकर्ताओं ने कहानियों की जाँच की और पाया कि वे सुरक्षित हैं। हालांकि इनमें हल्के संघर्ष (जैसे चोरी या लड़ाई) शामिल हैं, लेकिन इनका उपयोग हमेशा एक सबक सिखाने के लिए किया जाता है, न कि हानिकारक होने के लिए।
- लागत: पूरा पुस्तकालय कुल $405 में बनाया गया था।
4. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का दावा है कि यह एक बड़ी उपलब्धि है क्योंकि यह सिद्ध करता है कि आपको विशाल, उच्च-गुणवत्ता वाली शैक्षिक सामग्री बनाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है।
- पुनरुत्पादकता (Reproducibility): उन्होंने कोड, डेटा और "रेसिपी" को मुफ्त में जारी किया है। कोई भी इस फैक्ट्री को फिर से चला सकता है और ठीक वही परिणाम प्राप्त कर सकता है।
- दक्षता (Efficiency): यह दिखाता है कि छोटे, ओपन-सोर्स मॉडल विशाल, महंगे मॉडल्स के समान ही "नैतिक कहानी सुनाने" का काम कर सकते हैं।
- उपयोग के मामले (Use Cases): पेपर सुझाव देता है कि इस डेटासेट का उपयोग छोटे AI मॉडल्स को कहानियाँ सुनाने, नैतिकता समझने या बच्चों के लिए शैक्षिक उपकरण बनाने में बेहतर बनाने के लिए किया जा सकता है।
कमी (सीमाएँ)
लेखक अपनी सीमाओं के बारे में ईमानदार हैं। चूंकि कहानियाँ एक सख्त रेसिपी से बनी हैं, इसलिए वे थोड़ी दोहराव वाली लग सकती हैं (जैसे एक गाना जिसमें एक ही कॉर्ड प्रोग्रेशन का उपयोग होता है)। उन्होंने यह भी नोट किया कि कहानियाँ पश्चिमी लोक कथाओं (जैसे ईसप) की परंपराओं पर आधारित हैं, इसलिए वे नैतिकता के प्रति हर संस्कृति के दृष्टिकोण को प्रतिबिंबित नहीं कर सकती हैं।
संक्षेप में: शोधकर्ताओं ने एक ऐसी मशीन बनाई जो कहानी की सामग्रियों को मिलाकर 30 लाख नैतिक कहानियाँ बनाती है। उन्होंने साबित किया कि आप छोटे, ओपन AI मॉडल्स का उपयोग करके इसे सस्ते में और तेज़ी से कर सकते हैं, और उन्होंने रेसिपी और कुकीज़ पूरी दुनिया को मुफ्त में सौंप दी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।