Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

तकनीकी सारांश: क्यूरेटेड सिंथेटिक डेटा का पतन (Collapse) होना अनिवार्य नहीं है

समस्या विवरण
यह शोध पत्र जनरेटिव मॉडल्स के रिकर्सिव रिट्रेनिंग (पुनः प्रशिक्षण) में मोड कोलैप्स (mode collapse) की गंभीर चुनौती को संबोधित करता है। जैसे-जैसे मानव-जनित डेटा की बाधाओं को दूर करने के लिए सिंथेटिक डेटा पर निर्भरता बढ़ रही है, मॉडल्स को अक्सर उनके अपने ही आउटपुट्स के क्यूरेटेड सबसेट्स पर फिर से प्रशिक्षित किया जाता है। पूर्ववर्ती कार्यों (जैसे, फेरबैक एट अल., 2024) ने प्रदर्शित किया है कि जब क्यूरेशन एक एकल निश्चित रिवॉर्ड फंक्शन (single fixed reward function) द्वारा संचालित होता है, तो मॉडल का वितरण अनिवार्य रूप से आउटपुट के एक संकीर्ण सेट पर केंद्रित होकर ढह (collapse) जाता है, जो उस विशिष्ट उद्देश्य के लिए अत्यधिक अनुकूलित (over-optimize) हो जाता है। यह घटना इसलिए होती है क्योंकि चयन प्रक्रिया (जिसे ब्रैडली-टेरी चॉइस के रूप में मॉडल किया गया है) वितरण को ग्लोबल मैक्सिमाइज़र की ओर तेजी से पुनर्वितरित करती है, जिससे अन्य क्षेत्रों के लिए सपोर्ट समाप्त हो जाता है। यह शोध पत्र इस प्रश्न को उठाता है कि क्या यह पतन तब भी अपरिहार्य है जब क्यूरेशन बहुलतावादी (pluralistic) प्राथमिकताओं (कई, संभावित रूप से परस्पर विरोधी प्राथमिकताओं) पर आधारित हो, जो वास्तविक दुनिया के अनुप्रयोगों में एक सामान्य परिदृश्य है जहाँ हितधारक विभिन्न गुणों (जैसे, तथ्यात्मक सटीकता बनाम रचनात्मकता) को महत्व देते हैं।

कार्यप्रणाली (Methodology)
लेखक एक सैद्धांतिक ढांचे का उपयोग करके विषम प्राथमिकताओं (heterogeneous preferences) के तहत रिकर्सिव रिट्रेनिंग को औपचारिक रूप देते हैं, जो निम्नलिखित को जोड़ता है:

1. बहु-प्राथमिकता चयन (Multi-Preference Selection): प्रत्येक रिट्रेनिंग स्टेप पर, एक निश्चित मिश्रण (जैसे, प्रायिकता $q$ के साथ $r_1$, और $1-q$ के साथ $r_2$) से एक रिवॉर्ड फंक्शन चुना जाता है।
2. ब्रैडली-टेरी (BT) क्यूरेशन: वर्तमान मॉडल वितरण $p_t$ से लिए गए $K$ उम्मीदवारों के एक सेट से, चुने गए रिवॉर्ड $r$ के आधार पर एक एकल नमूना चुना जाता है, जो BT मॉडल का उपयोग करता है, जो चयन की संभावनाओं को $e^{r(x)}$ के समानुपाती निर्धारित करता है।
3. आदर्शित MLE अपडेट: मॉडल को चयनित नमूने पर सटीक मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) के माध्यम से पुनः प्रशिक्षित किया जाता है, जो प्रभावी रूप से अगले वितरण $p_{t+1}$ को चयनित नमूने के वितरण के रूप में सेट करता है।
4. लार्ज-पूल लिमिट विश्लेषण (Large-Pool Limit Analysis): लेखक बड़े कैंडिडेट पूल्स ($K \to \infty$) की सीमा में डायनेमिक्स का विश्लेषण करते हैं, जहाँ चयन भार (selection weight) वर्तमान मॉडल के एक्सपोनेंशियल टिल्ट (exponential tilt) के रूप में अभिसरण (converge) करता है। वे $\epsilon$-ऑप्टिमल बेसिन ($S_{i,\epsilon}$) पेश करते हैं जो उन क्षेत्रों का प्रतिनिधित्व करते हैं जहाँ रिवॉर्ड्स अपने अधिकतम के करीब हैं, और क्रॉस-रिवॉर्ड सुदृढ़ीकरण (एक रिवॉर्ड दूसरे के बेसिन को कितना बढ़ावा देता है) को मापने के लिए लीकेज फैक्टर्स ($\kappa$) को परिभाषित करते हैं।

प्रमुख योगदान
यह शोध पत्र तीन प्राथमिक सैद्धांतिक योगदान देता है:

1. बहुलतावादी रिट्रेनिंग डायनेमिक्स (Pluralistic Retraining Dynamics): लेखक औपचारिक रूप देते हैं कि विषम प्राथमिकताओं के तहत, अपडेट नियम एक्सपोनेंशियल टिल्ट्स के एक कॉनवेक्स कॉम्बिनेशन (convex combination) के रूप में कार्य करता है। वे सिद्ध करते हैं कि यदि एक "आउटसाइड-बेसिन गैप" मौजूद है (बाहरी बेसिन के क्षेत्र ऑप्टिमल बेसिनों की तुलना में समान रूप से खराब हैं), तो प्रायिकता द्रव्यमान (probability mass) निकट-इष्टतम बेसिनों के संघ ($S_\epsilon$) में संकुचित हो जाता है, जिससे पूर्ण पतन (total collapse) रुक जाता है।
2. लीकेज-नियंत्रित सीमा संरचना (Leakage-Controlled Limit Structure): अध्ययन प्रतिस्पर्धी बेसिनों के संघ पर समर्थित मिश्रण के रूप में सीमित वितरण को चित्रित करता है। इस मिश्रण का भार लीकेज फैक्टर्स द्वारा नियंत्रित होता है। हार्ड-सेपरेशन रिजीम (जहाँ बेसिन विलगित हैं और क्रॉस-रिवॉर्ड लीकेज शून्य है) में, मिश्रण का भार रिवॉर्ड सैंपलिंग प्रायिकता $q$ के ठीक बराबर अभिसरण करता है।
3. गैर-पतन और वैल्यू एग्रीगेशन (Non-Collapse and Value-Aggregation): यह शोध पत्र सिद्ध करता है कि सीमित वितरण विविधता को बनाए रखता है, जिसे सकारात्मक रिवॉर्ड वेरिएंस द्वारा प्रमाणित किया गया है। इसके अलावा, यह स्थापित करता है कि सीमित मिश्रण एक वेटेड नैश बारगेनिंग सॉल्यूशन (weighted Nash bargaining solution) को संतुष्ट करता है, जो यह औपचारिक व्याख्या प्रदान करता है कि परस्पर विरोधी उद्देश्यों को सिंथेटिक रिट्रेनिंग लूप में कैसे एकत्रित किया जाता है।

परिणाम
सैद्धांतिक और अनुभवजन्य परिणाम पुष्टि करते हैं कि:

• विविधता का संरक्षण (Diversity Preservation): एकल-रिवॉर्ड रिट्रेनिंग के विपरीत, बहुलतावादी क्यूरेशन वितरण को एक एकल मोड पर ढहने से रोकता है। सीमित वितरण कई उच्च-रिवॉर्ड क्षेत्रों पर गैर-तुच्छ द्रव्यमान (non-trivial mass) बनाए रखता है।
• फेज ट्रांजिशन (Phase Transitions): सिंथेटिक गौसियन मिश्रणों पर अनुभवजन्य प्रयोग रिवॉर्ड ऑप्टिमा के बीच की दूरी के आधार पर एक फेज ट्रांजिशन दिखाते हैं। जब ऑप्टिमा अच्छी तरह से अलग होते हैं, तो मॉडल दो-मोड मिश्रण के रूप में स्थिर होता है जिसमें सकारात्मक वेरिएंस होता है। जैसे-जैसे दूरी कम होती है, वेरिएंस गिर जाता है, और मॉडल एक समझौता क्षेत्र (compromise region) की ओर ढह जाता है।
• CIFAR-10 और टेक्स्ट प्रयोग:
  • CIFAR-10 पर, संतुलित प्राथमिकताओं की संख्या (2 से 5 तक) बढ़ाने से सैंपल क्वालिटी (कम FID) और विविधता (उच्च एंट्रॉपी, कम KL डाइवर्जेंस) में सुधार होता है। इसके विपरीत, असंतुलित प्राथमिकताएं (उच्च ध्रुवीकरण) गिरावट और आंशिक पतन की ओर ले जाती हैं।
  • लक्षित लंबाई (target length) की परस्पर विरोधी प्राथमिकताओं के साथ टेक्स्ट जनरेशन (GPT-2) में, लक्षित लंबाई के बीच की दूरी बढ़ाने से आउटपुट वितरण में उच्च निरंतर एंट्रॉपी बनी रहती है, जो यह संकेत देती है कि मॉडल एक एकल समझौता लंबाई के बजाय उद्देश्यों के बीच हेजिंग (hedging) बनाए रखता है।

महत्व और दावे
यह शोध पत्र इस प्रचलित निष्कर्ष को पलटने का दावा करता कि सिंथेटिक रिट्रेनिंग अनिवार्य रूप से पतन (collapse) की ओर ले जाती है। यह तर्क देता है कि पतन सिंथेटिक डेटा के उपयोग का अंतर्निहित गुण नहीं है, बल्कि इस बात का परिणाम है कि उस डेटा को कैसे क्यूरेट किया जाता है। बहुलतावादी प्राथमिकताओं का उपयोग करके, रिट्रेनिंग लूप एक रेगुलराइज़र के रूप में कार्य करता है जो संकीर्ण एलाइनमेंट सिग्नल के प्रति ओवरफिटिंग का विरोध करता है।

लेखक अपने कार्य को RLHF (Reinforcement Learning from Human Feedback) जैसे प्रथाओं में मल्टी-ऑब्जेक्टिव एलाइनमेंट को समझने के लिए एक सैद्धांतिक आधार के रूप में प्रस्तुत करते हैं। उनका सुझाव है कि बहुलतावादी क्यूरेशन, विविधता या गुणवत्ता का त्याग किए बिना, बहुआयामी मानवीय मूल्यों के साथ जनरेटिव मॉडल्स को संरेखित करने के लिए एक सैद्धांतिक रूप से सुदृढ़ तंत्र प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ मानव निरीक्षण डेटा दुर्लभ है। यह कार्य जनरेटिव मॉडल्स में मजबूती और प्रतिनिधित्व विस्तार (representational breadth) बनाए रखने के लिए मिश्रित-रिवॉर्ड रणनीतियों के उपयोग के लिए एक औपचारिक औचित्य प्रदान करता है।