From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs
यह शोध पत्र एक प्रदर्शन-निर्देशित ढांचे (performance-guided framework) को प्रस्तुत करता है जो 6,000 से अधिक PyTorch ऑग्मेंटेशन फंक्शन्स के रिपॉजिटरी से पेयरवाइज सटीकता फीडबैक का उपयोग करके LLMs को फाइन-ट्यून करता है, जिससे वे ब्रूट-फोर्स विधियों की तुलना में 600 गुना कम मूल्यांकनों के साथ इष्टतम डेटा ट्रांसफॉर्मेशन को स्वायत्त रूप से डिजाइन करने में सक्षम होते हैं और स्पष्ट प्रतीकात्मक पुरस्कारों या सुदृढीकरण लर्निंग (reinforcement learning) पर निर्भर रहने के बजाय अर्थपूर्ण प्रदर्शन संकेतों को आत्मसात करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को तस्वीरों में बिल्लियों को पहचानना सिखाने की कोशिश कर रहे हैं। आप इसे बस लाखों बिल्लियों की तस्वीरें दिखा सकते हैं, लेकिन यह उबाऊ हो सकता है और कभी-कभी रोबोट रोशनी या कोण (angle) की वजह से भ्रमित हो सकता है। एक स्मार्ट तरीका यह है कि रोबोट को वही बिल्ली दिखाई जाए, लेकिन उसे घुमाकर (twisted), खींचकर (stretched), अलग रंगों में, या ज़ूम इन और ज़ूम आउट करके। इसे "डेटा ऑग्मेंटेशन" (data augmentation) कहा जाता है। यह रोबोट को एक 'कैलीडोस्कोप' (kaleidoscope) दिखाने जैसा है ताकि वह समझ सके कि बिल्ली वास्तव में कैसी दिखती है, न कि केवल एक विशिष्ट तस्वीर कैसी दिखती है।
लंबे समय तक, इन तस्वीरों को घुमाने या खींचने का सबसे अच्छा तरीका तय करना एक अंदाज़ लगाने का खेल (guessing game) था। वैज्ञानिक या तो यादृच्छिक (random) संयोजनों को आजमाते थे (ब्रूट फ़ोर्स) या फिर एकदम सही रेसिपी खोजने के लिए जटिल गणित का उपयोग करते थे। लेकिन अब एक नया खिलाड़ी मैदान में आया था: लार्ज लैंग्वेज मॉडल्स (LLMs)। आप उन्हें उन सुपर-स्मार्ट चैटबॉट्स के रूप में जानते होंगे जो कहानियाँ या कोड लिख सकते हैं। बड़ा सवाल यह था: क्या ये चैटबॉट्स, जो शब्दों में माहिर हैं, हमारे फोटो को ट्विस्ट करने वाला कोड लिखने में भी माहिर हो सकते हैं? चुनौती यह थी कि ये चैटबॉट्स आमतौर पर टेक्स्ट से सीखते हैं, न कि इस फीडबैक से कि "क्या इस कोड ने रोबोट को स्मार्ट बनाया?" यह शोध उसी सटीक समस्या में गहराई से उतरता है, यह पूछते हुए कि क्या हम एक चैटबॉट को बेहतर फोटो-मिक्सिंग कोड लिखना सिखा सकते हैं, उसे केवल एक पाठ्यपुस्तक देने के बजाय उसके परिणामों दिखाकर।
अंदाज़ लगाने के खेल से स्मार्ट कोचिंग तक
वुर्जबर्ग विश्वविद्यालय (University of Würzburg) के शोधकर्ताओं ने अंदाज़ा लगाना बंद करने और कोचिंग शुरू करने का निर्णय लिया। वे देखना चाहते थे कि क्या वे एक मानक AI चैटबॉट को डेटा ट्रांसफॉर्मेशन का मास्टर शेफ बना सकते हैं। केवल चैटबॉट से "फोटो ट्विस्ट करने के लिए कुछ कोड लिखो" पूछने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जहाँ चैटबॉट परिणामों का स्वाद चख सकता था।
"ब्रूट फ़ोर्स" किचन
सबसे पहले, उन्हें सीखने के लिए एक विशाल कुकबुक की आवश्यकता थी। उन्होंने केवल चैटबॉट से अनुमान लगाने के लिए नहीं कहा; उन्होंने एक "ब्रूट फ़ोर्स" प्रयोग चलाया। कल्पना कीजिए कि एक शेफ रसोई में 6,000 बार यादृच्छिक रूप से सामग्री मिलाता है। उन्होंने इमेज ट्विस्ट (जैसे रीसाइज़िंग, फ्लिपिंग, या रंग बदलना) के 6,000 अलग-अलग संयोजनों को लिया और प्रत्येक का परीक्षण एक सरल इमेज-रिकग्निशन मॉडल पर किया। उन्हें रेसिपी की परवाह नहीं थी; उन्हें केवल स्कोर की परवाह थी। क्या ट्विस्ट के इस विशिष्ट मिश्रण ने मॉडल को छवियों को बेहतर ढंग से पहचानने में मदद की? उन्होंने हर एक के लिए स्कोर रिकॉर्ड किया। इससे 6,000+ "रेसिपी" और उनके संबंधित "स्वाद स्कोर" का एक विशाल डेटाबेस बन गया।
चैटबॉट को स्वाद चखना सिखाना
इसके बाद, उन्होंने एक शक्तिशाली कोडिंग चैटबॉट (Olympic Coder 7B) लिया और उसे एक विशेष डाइट दी। उन्होंने चैटबॉट को केवल कोड नहीं खिलाया; उन्होंने उसे कोड और स्कोर के जोड़े खिलाए। उन्होंने चैटबॉट को दिखाया: "यहाँ एक रेसिपी है जिसे कम स्कोर मिला। यहाँ एक रेसिपी है जिसे उच्च स्कोर मिला। क्या आप अंतर देख सकते हैं?"
उन्होंने लो-रैंक एडेप्टेशन (Low-Rank Adaptation - LoRA) नामक तकनीक का उपयोग किया, जो एक चैटबॉट को विशेष चश्मे देने जैसा है जो उसे उसके पूरे मस्तिष्क को फिर से लिखे बिना सबसे महत्वपूर्ण विवरणों पर ध्यान केंद्रित करने में मदद करते हैं। चैटबॉट ने कोड को देखना और भविष्यवाणी करना सीखा: "यदि मैं इस तरह का कोड लिखता हूँ, तो स्कोर बढ़ जाएगा। यदि मैं उस तरह का कोड लिखता हूँ, तो स्कोर कम हो जाएगा।" वह सटीक शब्दों को याद नहीं कर रहा था; वह उस 'एहसास' को सीख रहा था कि एक अच्छा ट्रांसफॉर्मेशन क्या बनाता है।
परिणाम: कम अंदाज़ा, अधिक प्रतिभा
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। जब इस प्रशिक्षण से पहले चैटबॉट से कोड लिखने के लिए कहा गया था, तो यह थोड़ा विनाशकारी था। यह केवल 22% बार सिंटैक्स (syntax) को सही कर पाता था, और इसकी रचनाओं का औसत स्कोर बहुत कम (लगभग 0.10) था। यह एक ऐसे छात्र की तरह था जिसने पढ़ाई नहीं की है, जो परीक्षा में यादृच्छिक उत्तर लिख रहा हो।
लेकिन प्रशिक्षण के बाद? चैटबॉट एक प्रो बन गया।
- दक्षता (Efficiency): पुराने "ब्रूट फ़ोर्स" तरीके को सबसे अच्छे समाधान खोजने के लिए 6,000 यादृच्छिक संयोजन आज़माने पड़े थे। प्रशिक्षित चैटबॉट को ऐसे समाधान खोजने के लिए केवल 280 उम्मीदवारों (28 दिनों तक प्रतिदिन 10) की आवश्यकता थी जो उतने ही अच्छे या उससे भी बेहतर थे। यह घास के ढेर में सुई खोजने जैसा था, यह जानकर कि सुई वास्तव में कहाँ छिपना पसंद करती है, बजाय इसके कि पूरे ढेर को खोदा जाए।
- केवल मजबूत नहीं, बल्कि स्मार्ट: चैटबॉट ने केवल उन बेहतरीन रेसिपी की नकल नहीं की जो उसने देखी थीं। उसने तर्क को सीखा। उदाहरण के लिए, उसने पाया कि छवि को एक विशिष्ट आकार (जैसे 256 पिक्सेल) में रीसाइज़ करना अक्सर उच्च स्कोर की कुंजी होती है। उसने कोड और परिणाम के बीच के संबंध को समझा, न कि केवल कोड को रटा।
- "चेन ऑफ थॉट" का जाल: शोधकर्ताओं ने एक दिलचस्प चीज़ आजमाई। उन्होंने चैटबॉट से कोड लिखने से पहले अपने तर्क को चरण-दर-चरण समझाने के लिए कहा (एक लोकप्रिय ट्रिक जिसे 'चेन ऑफ थॉट' कहा जाता है)। आश्चर्यजनक रूप से, इसने चीजों को और खराब कर दिया। चैटबॉट उन अतिरिक्त शब्दों से भ्रमित हो गया जो उसे लिखने थे, और उसका प्रदर्शन गिर गया। यह पता चला कि इस विशिष्ट कार्य के लिए, चैटबॉट सबसे अच्छा तब काम करता था जब वह लंबी-चौड़ी व्याख्या के बिना सीधे कोड पर जाता था।
इसका क्या अर्थ है
यह शोध बताता है कि हमें AI को बेहतर बनाने के लिए जटिल रिवॉर्ड सिस्टम या मानव शिक्षकों की आवश्यकता नहीं है। हमें बस AI को उसके अपने काम के परिणाम दिखाने की आवश्यकता है। एक ऐसा लूप बनाकर जहाँ AI कोड लिखता है, परीक्षण करता है, और स्कोर से सीखता है, यह स्वायत्त रूप से बेहतर कोड लिखना सीख सकता है।
अध्ययन दिखाता है कि हालांकि चैटबॉट इमेज रिकग्निशन में सुधार करने वाला कोड लिखना सीख सकता है, लेकिन यह कोई जादुई छड़ी नहीं है जो हर चीज़ के लिए काम करती है। शोधकर्ताओं ने केवल एक विशिष्ट प्रकार के इमेज मॉडल (ResNet) और एक डेटासेट (CIFAR-10) पर इसका परीक्षण किया। वे सुझाव देते हैं कि छवि को ट्विस्ट करने का सबसे अच्छा तरीका विशिष्ट रोबोट और उन विशिष्ट चित्रों पर बहुत अधिक निर्भर कर सकता है जिन्हें वह देख रहा है। लेकिन बड़ी बात रोमांचक है: AI एक बेहतर इंजीनियर बनने के लिए केवल यह देखकर सीख सकता है कि क्या काम करता है और क्या नहीं, जिससे एक अराजक अंदाज़ लगाने के खेल को एक स्मार्ट, निर्देशित खोज में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।