Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective
डेटा संदूषण (data contamination) से बचने के लिए औपचारिक भाषाओं को एक नियंत्रित परीक्षण स्थल (controlled testbed) के रूप में उपयोग करते हुए, यह शोध पत्र प्रदर्शित करता है कि जबकि फाइन-ट्यूनिंग (fine-tuning), इन-कॉन्टेक्स्ट लर्निंग (in-context learning) की तुलना में उच्च इन-डिस्ट्रीब्यूशन दक्षता प्राप्त करती है, दोनों ही मोड समान आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण और इंडक्टिव बायस (inductive biases) प्रदर्शित करते हैं, हालांकि इन-कॉन्टेक्स्ट लर्निंग मॉडल स्केल और शब्दावली के प्रति काफी अधिक संवेदनशील है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को एक बिल्कुल नया, जटिल बोर्ड गेम खेलना सिखाने की कोशिश कर रहे हैं। आप इसे दो मुख्य तरीकों से कर सकते हैं:
- "गहन अध्ययन" विधि (फाइन-ट्यूनिंग): आप उसे नियम पुस्तिका देते हैं, वह एक शांत कमरे में तीन घंटे बैठता है, हर एक बारीक विवरण का अध्ययन करता है, और अंततः, नियम उसके मस्तिष्क में "छप" जाते हैं। उसने खेल के साथ तालमेल बिठाने के लिए अपनी समझ को शारीरिक रूप से बदल लिया है।
- "चीट शीट" विधि (इन-कॉन्टेक्स्ट लर्निंग): आप उसे अध्ययन नहीं करने देते। इसके बजाय, आप खेल शुरू करते हैं और, जब भी कोई चाल चली जाती है, आप मेज पर रखी एक छोटी सी नोट की ओर इशारा करते हैं जिसमें लिखा होता है, "याद रखें, इस खेल में, राजा तिरछा (diagonally) चलता है।" वह नियमों को स्थायी रूप से "सीख" नहीं रहा है; वह बस अपने सामने मौजूद नोट्स का उपयोग करके तालमेल बनाए रख रहा है।
यह शोध पत्र इन दोनों विधियों के बीच एक वैज्ञानिक "आमने-सामने" का मुकाबला है, जिसमें आर्टिफिशियल इंटेलिजेंस (LLMs) को छात्र के रूप में उपयोग किया गया है।
समस्या: "अव्यवस्थित कक्षा"
आमतौर पर, वैज्ञानिक AI का परीक्षण मानव भाषाओं (जैसे अंग्रेजी) का उपयोग करके करते हैं। लेकिन मानव भाषा "अव्यवस्थित" होती है। यदि कोई AI किसी परीक्षण में विफल हो जाता है, तो क्या यह इसलिए है क्योंकि उसने नियम नहीं सीखे, या इसलिए कि वह किसी मुहावरे या टाइपो (लिखने की गलती) से भ्रमित हो गया था? यह कहना कठिन है।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक "परफेक्ट प्रयोगशाला" बनाई। अंग्रेजी के बजाय, उन्होंने "औपचारिक भाषाओं" (Formal Languages) का उपयोग किया—गणितीय, कोड जैसी पैटर्न जो सख्त, अटूट नियमों का पालन करते हैं (एक जटिल संगीत रचना के डिजिटल संस्करण की तरह)। यहाँ कोई मुहावरा नहीं है, कोई अस्पष्टता नहीं है और न ही कोई "धोखाधड़ी" संभव है क्योंकि नियम 100% तार्किक हैं।
नया परीक्षण: "इम्पोस्टर टेस्ट" (बहुरूपिया परीक्षण)
अधिकांश लोग AI का परीक्षण इस प्रश्न से करते हैं: "क्या आप एक सही वाक्य लिख सकते हैं?" (जेनरेटिव टेस्ट)।
शोधकर्ताओं का तर्क है कि यह बहुत आसान है। एक AI सामान्य पैटर्न का अनुमान लगाकर उच्च स्कोर प्राप्त कर सकता है।
इसके बजाय, उन्होंने "इम्पोस्टर टेस्ट" (डिस्क्रिमिनेटिव टेस्ट) का आविष्कार किया। वे AI को एक सही वाक्य और एक "नकली" वाक्य दिखाते हैं जो लगभग समान दिखता है लेकिन जिसमें एक बहुत ही सूक्ष्म, अवैध त्रुटि है। पास होने के लिए, AI को न केवल सही तरीका लिखने में सक्षम होना चाहिए, बल्कि उसे इम्पोस्टर (नकली) को पकड़ने में भी सक्षम होना चाहिए। यह एक भाषा बोलने और एक कानूनी अनुबंध में सूक्ष्म व्याकरण संबंधी त्रुटि को पकड़ने के बीच का अंतर है।
बड़ी खोजें
1. विशेषज्ञ बनाम सामान्यज्ञ (इन-डिस्ट्रीब्यूशन बनाम आउट-ऑफ-डिस्ट्रीब्यूशन)
- फाइन-ट्यूनिंग (विशेषज्ञ): जब AI का परीक्षण उसी सटीक नियमों पर किया जाता है जिसका उसने अध्ययन किया था, तो वह चैंपियन होता है। वह अविश्वसनीय रूप से सटीक है। हालाँकि, यदि आप नियमों को थोड़ा बदल देते हैं (जैसे खेल को शतरंज से बदलकर चेकर्स कर देना), तो "विशेषज्ञ" अक्सर संघर्ष करता है क्योंकि वह अपने मूल प्रशिक्षण के प्रति बहुत अधिक जुनूनी हो गया है।
- इन-कॉन्टेक्स्ट लर्निंग (सामान्यज्ञ): "चीट शीट" विधि मूल कार्य पर थोड़ी कम सटीक है, लेकिन यह "आउट-ऑफ-डिस्ट्रीब्यूशन" कार्यों को संभालने में आश्चर्यजनक रूप से अच्छी है। क्योंकि इसने अपने मस्तिष्क को एक विशिष्ट सेट के नियमों में "लॉक" नहीं किया है, इसलिए यह लचीली बनी रहती है।
2. "शब्दावली" का जाल
शोधकर्ताओं ने पाया कि "चीट शीट" विधि (ICL) उपयोग किए जाने वाले "वर्णमाला" के प्रति बहुत संवेदनशील है। यदि खेल में अजीब प्रतीकों या दुर्लभ पात्रों का उपयोग किया जाता है जिन्हें AI ने अपने "बचपन" (प्री-ट्रेनिंग) के दौरान बहुत कम देखा था, तो चीट शीट विधि बुरी तरह विफल हो जाती है। "गहन अध्ययन" विधि (फाइन-ट्यूनिंग) बहुत अधिक मजबूत है; यह केवल बार-बार अभ्यास के माध्यम से उन अजीब प्रतीकों का उपयोग करना सीख सकती है।
3. आकार मायने रखता है (लेकिन हमेशा नहीं)
"चीट शीट" विधि में, बड़े AI मॉडल आम तौर पर बहुत बेहतर होते हैं। लेकिन "गहन अध्ययन" विधि में, एक बार जब मॉडल एक निश्चित बुद्धिमत्ता तक पहुँच जाता है, तो उसे और बड़ा बनाने से वास्तव में उसे नियम बेहतर ढंग से सीखने में मदद नहीं मिलती है।
निष्कर्ष
यदि आप चाहते हैं कि एक AI किसी एक विशिष्ट, कठोर कार्य में मास्टर विशेषज्ञ बने, तो इसे फाइन-ट्यून करें (इसे नियम पुस्तिका पढ़ने दें)।
यदि आप चाहते हैं कि एक AI एक लचीला सहायक बने जो कुछ नोट्स पर एक नज़र डाल सके और बदलती स्थितियों के अनुसार खुद को ढाल सके, तो इन-कॉन्टेक्स्ट लर्निंग आपके लिए सबसे अच्छा विकल्प है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।