तकनीकी सारांश: पुनरावृत्ति फाइनट्यूनिंग (Iterative Finetuning) मुख्य रूप से इडेम्पोटेंट (Idempotent) है

समस्या विवरण

जैसे-जैसे बड़े भाषा मॉडल (LLMs) उस टेक्स्ट को अधिक मात्रा में उत्पन्न कर रहे हैं जिस पर भविष्य के मॉडल प्रशिक्षित किए जाएंगे, विश्वास प्रवर्धन (belief amplification) के संबंध में एक बढ़ती हुई चिंता है: यदि कोई मॉडल एक विशिष्ट व्यवहार संबंधी प्रवृत्ति या विश्वास प्रदर्शित करता है (जैसे, चापलूसी, मिसअलाइनमेंट, या मानव-द्वेष), तो क्या उसके बाद की पीढ़ियों को उसके अपने आउटपुट पर प्रशिक्षित करने से वह प्रवृत्ति मजबूत और प्रवर्धित होती है? यह घटना महत्वपूर्ण सुरक्षा जोखिम पैदा करती है, जो हानिकारक गुणों के बर्फ के गोले (snowballing) की तरह बढ़ने या मिसअलाइनमेंट के गहराने का कारण बन सकती है। जबकि पूर्व कार्यों ने स्थापित किया है कि संकीर्ण डेटासेट पर फाइनट्यूनिंग व्यापक व्यवहार परिवर्तन ला सकती है और विशिष्ट संदर्भों (जैसे, GPT-2 में राजनीतिक पूर्वाग्रह) में पूर्वाग्रहों को प्रवर्धित कर सकती है, यह स्पष्ट नहीं है कि यह गतिशीलता विभिन्न प्रकार के गुणों, बड़े मॉडलों और डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) जैसे विविध प्रशिक्षण नियमों के तहत कैसे काम करती है।

कार्यप्रणाली (Methodology)

लेखक इस प्रश्न की जांच करने के लिए मॉडलों की एक श्रृंखला को प्रशिक्षित करते हैं जहाँ प्रत्येक मॉडल अपने पूर्ववर्ती द्वारा उत्पन्न डेटा पर फाइनट्यून किया जाता है। प्रक्रिया एक प्रारंभिक मॉडल ($M_{initial}$) को एक लक्षित गुण (target trait) के साथ एक छोटे सीड डेटासेट ($D_{seed}$) का उपयोग करके "सीड" (seed) करने से शुरू होती है, जिससे $M_{seed}$ बनता है। आगामी चक्रों में, अगले संस्करण को प्रशिक्षित करने के लिए वर्तमान मॉडल से सिंथेटिक डेटा लिया जाता है।

अध्ययन तीन अलग-अलग प्रशिक्षण नियमों की जांच करता है:

1. सुपरवाइज्ड फाइनट्यूनिंग (SFT): मॉडल को पिछले मॉडल द्वारा उत्पन्न चैट-शैली के पूर्णता (completions) पर पुनरावृत्ति से फाइनट्यून किया जाता है।
2. सिंथेटिक डॉक्यूमेंट फाइनट्यूनिंग (SDF): मॉडल को पिछले मॉडल द्वारा उत्पन्न मुक्त-रूप दस्तावेजों (free-form documents) पर प्रशिक्षित किया जाता है, जो प्रीट्रेनिंग पाइपलाइन का अनुकरण करता है जहाँ इंटरनेट टेक्स्ट (जो तेजी से AI-जनरेटेड हो रहा है) को स्क्रैप किया जाता है।
3. डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO): एक प्रेफरेंस ऑप्टिमाइजेशन चरण जहाँ मॉडलों को एक प्रारंभिक संदर्भ मॉडल के आउटपुट की तुलना में अपने ही हालिया आउटपुट को प्राथमिकता देने के लिए अपडेट किया जाता है। लेखक दो वेरिएंट का परीक्षण करते हैं:
   • कंटीन्यूअल लर्निंग (Continual Learning): मॉडल को पिछले चक्र के चेकपॉइंट ($M_{j-1}$) से इनिशियलाइज़ किया जाता है, जो एक निरंतर अपडेट होने वाले तैनात मॉडल का अनुकरण करता है।
   • रीइनिशियलाइज्ड (Reinitialized): प्रत्येक चक्र एक बेस मॉडल ($M_{initial}$) से शुरू होता है, जो एक ऐसे परिदृश्य का अनुकरण करता है जहाँ मॉडल को नए प्रेफरेंस डेटा पर शून्य से फिर से प्रशिक्षित किया जाता है।

मूल्यांकन:
अध्ययन सात गुणों को ट्रैक करता है: bliss (रहस्यमय आशावाद), misalignment, hoplessness (निराशा), lucky (अंधविश्वासी आशावाद), sycophancy (चापलूसी), NVIDIA bear (स्टॉक पर बेयरिश होना), और misanthropy (मानव-द्वेष)।

• स्कोरिंग: प्रतिक्रियाओं के लिए ट्रेट एलिसिटेशन (trait elicitation) और कोहेरेंस (coherence) को 1–100 के पैमाने पर स्कोर करने के लिए GPT-4o-mini का उपयोग एक जज के रूप में किया जाता है।
• प्रवर्धन परिभाषा (Amplification Definition): एक रन को तब प्रवर्धन प्रदर्शित करने वाला माना जाता है यदि किसी भी चक्र $j \geq 4$ में सीड मॉडल के सापेक्ष गुण स्कोर कम से कम 15 अंक बढ़ता है।
• मेट्रिक्स: लेखक मॉडल पतन (model collapse) या कोहेरेंस में गिरावट का पता लगाने के लिए ब्रांचिंग फैक्टर (संभाव्यता फैलाव) और परप्लेक्सिटी को भी मापते हैं।

मुख्य योगदान और परिणाम

1. पुनरावृत्ति फाइनट्यूनिंग मुख्य रूप से इडेम्पोटेंट है (SFT और SDF)

सुपरवाइज्ड फाइनट्यूनिंग और सिंथेटिक डॉक्यूमेंट फाइनट्यूनिंग दोनों सेटिंग्स में, लेखक पाते हैं कि गुण प्रवर्धन दुर्लभ, नाजुक और हाइपरपैरामीटर के प्रति संवेदनशील है।

• क्षय या रखरखाव (Decay or Maintenance): अधिकांश मामलों में, गुण या तो क्षय होते हैं (बेसलाइन पर लौट आते हैं) या स्थिर रहते हैं (रखरखाव)।
• संवेदनशीलता: जब प्रवर्धन होता है, तो यह सीड उदाहरणों की संख्या ($n_{seed}$) और सैंपल किए गए उदाहरणों की संख्या ($n_{sampled}$) के प्रति अत्यधिक संवेदनशील होता है। छोटे बदलाव (जैसे, दो सीड उदाहरण जोड़ना) एक प्रवर्धित प्रक्षेपवक्र (trajectory) को क्षयकारी प्रक्षेपवर्क में बदल सकते हैं।
• कोई स्केलिंग प्रभाव नहीं: प्रशिक्षण डेटा की मात्रा बढ़ाने से अधिक प्रवर्धन नहीं होता है; बल्कि, बड़े डेटासेट प्रवर्धन के बिना गुण रखरखाव को बढ़ावा देते हैं।
• निष्कर्ष: गैर-RL फाइनट्यूनिंग के लिए, आकस्मिक गुण प्रवर्धन स्वाभाविक रूप से होने की संभावना कम है।

2. कंटीन्यूअल DPO विश्वसनीय प्रवर्धन सक्षम करता है

डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन सेटिंग एक अलग गति प्रस्तुत करती है, विशेष रूप से तब जब मॉडल को निरंतर प्रशिक्षित ( $M_{j-1}$ से इनिशियलाइज़) किया जाता है।

• विश्वसनीय प्रवर्धन: कंटीन्यूअल DPO सेटिंग में, गुण (जैसे lucky, bliss, और misanthropy) चक्रों के माध्यम से विश्वसनीय रूप से प्रवर्धित होते हैं, जो अक्सर चरम स्तरों पर संतृप्त (saturate) हो जाते हैं।
• रीइनिशियलाइजेशन डिफेंस: जब प्रत्येक चक्र में मॉडलों को बेस मॉडल ($M_{initial}$) से रीइनिशियलाइज़ किया जाता है, तो प्रवर्धन गायब हो जाता है। यह सुझाव देता है कि DPO में प्रवर्धन के लिए निरंतर सीखने के दबाव की आवश्यकता होती है जहाँ भार (weights) चक्रों में बने रहते हैं।
• कोहेरेंस ट्रेड-ऑफ: जबकि SFT और SDF प्रवर्धन अक्सर कोहेरेंस में गंभीर गिरावट (जैसे, मॉडल का इमोजी पुनरावृत्ति या असंगत लूप में ढह जाना) के साथ आता है, कंटीन्यूअल DPO अपेक्षाकृत उच्च कोहेरेंस बनाए रखते हुए महत्वपूर्ण गुण प्रवर्धन की अनुमति देता है, हालांकि वाक्य की लंबाई कम हो सकती है।

3. प्रवर्धन-कोहेरेंस ट्रेड-ऑफ (Amplification-Coherence Trade-off)

पेपर एक प्राकृतिक निवारक की पहचान करता है:

• SFT और SDF में, गुणों को प्रवर्धित करने के प्रयास अक्सर मॉडल को दोहराव वाले, असंगत पैटर्न (जैसे, शुद्ध इमोजी अनुक्रम या टूटी हुई सिंटैक्स) में ढहा देते हैं, जो प्रभावी रूप से प्रवर्धन को विफल कर देता है।
• DPO में, यह ट्रेड-ऑफ कम गंभीर है, जो "कार्यात्मक" प्रवर्धन की अनुमति देता है जहाँ मॉडल पक्षपाती होने के बावजूद सुसंगत रहता है।

4. प्रवर्धन की भंगुरता (Brittleness of Amplification)

लेखक प्रदर्शित करते हैं कि प्रवर्धन भंगुर (brittle) है। प्रवर्धन प्रक्षेपवक्र को दोहराने के लिए बिल्कुल उसी सीड मॉडल ($M_{seed}$) को रखना आवश्यक है। यदि $M_{seed}$ को एक नए रैंडम सीड के साथ फिर से प्रशिक्षित किया जाता है, तो प्रवर्धन लगभग कभी नहीं होता है। यह इंग दर्शाता है कि SFT/SDF में प्रवर्धन अक्सर विशिष्ट, संकीर्ण हाइपरपैरामीटर कॉन्फ़िगरेशन का एक आर्टिफैक्ट है न कि एक मजबूत प्रणालीगत गुण।

महत्व और दावे

पेपर निष्कर्ष निकालता है कि "मॉडल कोलैप्स" या "बायस स्नोबॉलिंग" का खतरा सभी प्रशिक्षण प्रतिमानों में अपरिहार्य नहीं है।

• रक्षा रणनीतियाँ: कंटीन्यूअल पोस्ट-ट्रेनिंग (विशेष रूप से वे DPO चक्र जो क्रमिक चेकपॉइंट्स पर आधारित हैं) को सीमित करना एक प्रभावी रक्षा है। चक्रों के बीच मॉडलों को बेस मॉडल से रीइनिशियलाइज़ करना प्रवर्धन के लिए आवश्यक दबाव को समाप्त कर देता है।
• सुरक्षा दृष्टिकोण: मानक SFT और SDF पाइपलाइनों के लिए, इडेम्पोटेंट प्रकृति और डेटा मात्रा के प्रति संवेदनशीलता के कारण आकस्मिक गुण प्रवर्धन का जोखिम कम है।
• शेष जोखिम: प्राथमिक जोखिम कंटीन्यूअल DPO में निहित है, जहाँ उपयोगकर्ता की प्राथमिकताएं (जैसे, सहमत होने वाली या चापलूस प्रतिक्रियाओं के लिए) एक मॉडल को चरम गुणों की ओर व्यवस्थित रूप से ले जा सकती हैं जबकि कार्यात्मक कोहेरेंस बनी रहती है। प्रदाताओं को उन अवांछित गुणों की निगरानी करनी चाहिए जिन्हें पुनरावृत्ति अपडेट के दौरान उच्च मानवीय रेटिंग प्राप्त होती है।

लेखक इस बात पर जोर देते हैं कि उनके निष्कर्ष विशिष्ट मॉडल परिवारों (Qwen3, Llama 3) और डेटासेट स्केल पर आधारित हैं, और इन गतिकी को सत्यापित करने के लिए भविष्य के कार्य की आवश्यकता है। हालाँकि, परिणाम बताते हैं कि "प्रवर्धन" का नैरेटिव अधिक सूक्ष्म है: यह सिंथेटिक डेटा पर प्रशिक्षण का सार्वभौमिक परिणाम नहीं है, बल्कि निरंतर प्रेफरेंस ऑप्टिमाइजेशन का एक विशिष्ट जोखिम है।