Synthesizing Instruction-Tuning Datasets with Contrastive Decoding
यह शोध पत्र CoDIT को प्रस्तुत करता है, जो निर्देश-अनुसरण क्षमताओं को पूर्व-प्रशिक्षित ज्ञान से अलग करने के लिए कंट्रास्टिव डिकोडिंग (contrastive decoding) लागू करके निर्देश-ट्यूनिंग डेटासेट को संश्लेषित करने की एक विधि है, जिसके परिणामस्वरूप ऐसे मॉडल प्राप्त होते हैं जो मौजूदा डेटासेट पर प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करते हैं और विभिन्न आर्किटेक्चरों में चैट क्षमताओं के हस्तांतरण को सक्षम बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Synthesizing Instruction-Tuning Datasets with Contrastive Decoding (CoDIT)" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।
बड़ी समस्या: "बुद्धिमान लेकिन अव्यवस्थित" शिक्षक
कल्पना कीजिए कि आप एक छात्र (एक नए AI) को यह सिखाना चाहते हैं कि निर्देशों का पूरी तरह से पालन कैसे किया जाए। आप निर्णय लेते हैं कि एक प्रतिभाशाली प्रोफेसर (एक शक्तिशाली AI) का उपयोग करके पाठ्यपुस्तक के उत्तर लिखे जाएँगे।
हालाँकि, यहाँ एक पेंच है। वह प्रोफेसर अविश्वसनीय रूप से बुद्धिमान है क्योंकि उसने लाखों किताबें पढ़ी हैं (यह Pre-trained Knowledge है)। लेकिन वे आपके विशिष्ट कक्षा के नियमों का पालन करने में भी माहिर हैं क्योंकि उन्हें हाल ही में इस विशिष्ट कार्य के लिए प्रशिक्षित किया गया है (यह Instruction-Following है)।
जब प्रोफेसर एक उत्तर लिखता है, तो वह इन दोनों चीजों को आपस में मिला देता है।
- अच्छी बात: वे आपके नियमों का पालन करते हैं।
- शोर (Noise): वे उन याद किए गए तथ्यों का ढेर भी लगा देते हैं जिनकी आपने मांग नहीं की थी।
यदि आप अपने छात्र को सिखाने के लिए इन मिले-जुले उत्तरों का उपयोग करते हैं, तो छात्र नियमों का पालन करना तो सीख जाता है लेकिन साथ ही वह उन अनावश्यक तथ्यों को भी रटने लगता है जिनकी उसे आवश्यकता नहीं है। यह एक शेफ को केक बनाना सिखाने जैसा है, लेकिन मास्टर शेफ बार-बार अपनी रसोई से ऐसे मसाले डाल देता है जिनका रेसिपी से कोई लेना-देना नहीं है। छात्र भ्रमित हो जाता है और एक शुद्ध, नियम का पालन करने वाला बेकर नहीं बन पाता।
समाधान: CoDIT ( "शोर-रद्द करने वाले" हेडफ़ोन)
लेखकों ने एक विधि बनाई जिसे CoDIT (Contrastive Decoding for Instruction-Tuning) कहा जाता है। इसे AI टेक्स्ट जनरेशन के लिए एक Noise-Canceling Headphone के रूप में सोचें।
यह इस प्रकार काम करता है, चरण-दर-चरण:
- सेटअप: वे "प्रोफेसर" AI (Post-trained मॉडल) और उसके "पुराने स्वरूप" (Pre-trained मॉडल, जो निर्देश पालन के लिए प्रशिक्षित होने से पहले का था) को लेते हैं।
- तुलना: उत्तर जनरेट करते समय, CoDIT हर एक शब्द के लिए दो प्रश्न पूछता है:
- प्रश्न A: "प्रोफेसर इस शब्द को बोलने के लिए कितना उत्सुक है?" (क्या यह निर्देश का पालन कर रहा है?)
- *प्रश्न B: "पुराना स्वरूप इस शब्द को बोलने के लिए कितना संभावित है?" (क्या यह केवल स्मृति से निकला एक यादृच्छिक तथ्य है?)
- फ़िल्टर: CoDIT केवल उन शब्दों को रखता है जहाँ प्रोफेसर उन्हें कहने के लिए बहुत उत्साहित है, लेकिन पुराना स्वरूप उनसे ऊब चुका है या उन्हें बोलने की संभावना कम है।
- यदि दोनों मॉडल उस शब्द को पसंद करते हैं, तो वह संभवतः सामान्य ज्ञान (Noise) है। इसे हटा दें।
- यदि प्रोफेसर उसे पसंद करता है लेकिन पुराना स्वरूप उसे नापसंद करता है, तो वह शब्द शुद्ध Instruction-Following Magic है। इसे रखें!
जादुई उपमा: "चैट वेक्टर" (Chat Vector)
शोध पत्र बताता है कि यह प्रक्रिया एक "Chat Vector" को आसवन (distill) करने के समान है।
कल्पना कीजिए कि "निर्देश पालन" (Instruction-Following) की क्षमता आइसक्रीम का एक विशिष्ट स्वाद है (मान लीजिए, "स्प्रिंकल्स के साथ वनीला")।
- Pre-trained मॉडल सादा वनीला आइसक्रीम का एक बड़ा टब है (केवल ज्ञान)।
- Post-trained मॉडल वही टब है, लेकिन किसी ने इसमें स्प्रिंकल्स (निर्देश) डाल दिए हैं।
- आमतौर पर, जब आप आइसक्रीम की नकल करते हैं, तो आपको पूरा टब, स्प्रिंकल्स के साथ मिलता है।
- CoDIT एक विशेष मशीन है जो केवल स्प्रिंकल्स को निकाल लेती है और सादा वनीला पीछे छोड़ देती है।
यह दोनों मॉडलों के बीच के "अंतर" (स्प्रिंकल्स) को लेता है और उसे एक नई, शुद्ध रेसिपी में बदल देता है। यह AI को केवल निर्देश पालन करना सीखने की अनुमति देता है, बिना अनावश्यक तथ्यों के बोझ के।
यह क्यों महत्वपूर्ण है (परिणाम)
शोधकर्ताओं ने CoDIT का उपयोग करके नए प्रशिक्षण डेटासेट बनाकर और नए AI मॉडल को सिखाकर इसका परीक्षण किया।
- परिणाम: CoDIT (शुद्ध स्प्रिंकल) वाले डेटासेट से प्रशिक्षित छात्र, "पूरे टब" (मानक AI जनरेशन) वाले डेटासेट से प्रशिक्षित छात्रों की तुलना में निर्देश पालन करने में बहुत बेहतर रहे।
- आश्चर्य: उन्होंने पाया कि भले ही "प्रोफेसर" AI को अतिरिक्त प्रशिक्षण (जैसे Reinforcement Learning, जो इसे स्मार्ट लेकिन अधिक जटिल बनाता है) दिया गया हो, फिर भी CoDIT पूरी तरह से काम करता रहा। यह अभी भी शोर को फ़िल्टर कर सकता था और शुद्ध 'निर्देश पालन' के संकेत को खोज सकता था।
- बोनस: यह विधि विभिन्न प्रकार के AI "प्रजातियों" (जैसे Llama, Qwen, और Gemma) पर काम करती है। आप एक Qwen प्रोफेसर का उपयोग Llama छात्र को सिखाने के लिए कर सकते हैं, और यह अभी भी काम करता है क्योंकि आप मस्तिष्क की संरचना की नकल नहीं कर रहे हैं, बल्कि निर्देश पालन के अवधारणा (concept) को स्थानांतरित कर रहे हैं।
संक्षेप में
CoDIT AI प्रशिक्षण डेटा को साफ करने की एक चतुर तकनीक है। यह एक फ़िल्टर के रूप में कार्य करता है जो सामान्य ज्ञान के "बैकग्राउंड नॉइज़" को हटा देता है, जिससे केवल "सुनने और आज्ञा मानने" का शुद्ध संकेत बच जाता है। यह नए AI को प्रशिक्षित करने के लिए बेहतर पाठ्यपुस्तकें बनाता है, जिससे वे अधिक स्मार्ट, अधिक आज्ञाकारी और यादृच्छिक तथ्यों को बड़बड़ाने (hallucinating) से कम प्रवृत्त होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।