Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking
यह शोध पत्र निरंतर-समय फ्लो मैचिंग (continuous-time flow matching) में रिवॉर्ड हैकिंग के मूल कारण के रूप में "मैनिफोल्ड ड्रिफ्ट" (manifold drift) की पहचान करता है, जहाँ प्राथमिकता अपडेट नमूनों को प्रीट्रेन्ड डेटा मैनिफोल्ड से बाहर धकेल देते हैं, और अनुकूलन को स्थिर करने के लिए एक भारित संस्करण के साथ एक तापमान-नियंत्रित उद्देश्य (temperature-controlled objective) के रूप में ThermoDPO का प्रस्ताव करता है जो SD3.5-M जैसे बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीन लर्निंग के एक विशिष्ट प्रकार ने हाल ही में कंप्यूटर द्वारा चित्र, वीडियो और टेक्स्ट बनाने के तरीके में क्रांति ला दी है। ये सिस्टम, जिन्हें अक्सर जनरेटिव मॉडल कहा जाता है, केवल मौजूदा चित्रों को कॉपी और पेस्ट नहीं करते हैं; वे गणितीय रूपांतरणों (mathematical transformations) के एक पथ का अनुसरण करके शून्य से नई रचनाएँ करना सीखते हैं। कल्पना कीजिए कि आप शुद्ध स्टैटिक शोर (static noise) से शुरू कर रहे हैं और धीरे-धीरे इसे चरण-दर-चरण परिष्कृत कर रहे हैं, जब तक कि एक स्पष्ट छवि उभर न आए। यह प्रक्रिया प्रशिक्षण के दौरान सीखे गए एक मानचित्र द्वारा निर्देशित होती है, जो यह सुनिश्चित करती है कि अंतिम चित्र वैसा ही दिखे जैसा कि वास्तविक दुनिया में अस्तित्व में हो सकता है। इन रचनाओं को अधिक उपयोगी बनाने के लिए, शोधकर्ता मॉडलों को कुछ परिणामों को दूसरों पर प्राथमिकता देने के लिए सिखाते हैं, जैसे कि एक विशिष्ट विवरण से मेल खाने वाली या मानवीय पसंद का अनुसरण करने वाली छवि उत्पन्न करना। इसे 'प्रेफरेंस ऑप्टिमाइजेशन' (preference optimization) के रूप में जाना जाता है। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: जब हम इन मॉडलों को नई प्राथमिकताओं को संतुष्ट करने के लिए प्रेरित करते हैं, तो क्या वे उन सीमाओं के भीतर रहते हैं जो उन्होंने निर्माण करने के लिए सीखी थीं, या वे अजीब, अवास्तविक क्षेत्र में भटक जाते हैं?
शोधकर्ताओं की एक टीम ने पहचान की है कि वर्तमान विधियाँ इन निरंतर-समय (continuous-time) मॉडलों को कैसे निर्देशित करती हैं, इसमें एक छिपा हुआ दोष है। उन्होंने पाया कि जब मॉडल को ऐसी छवियां उत्पन्न करने के लिए प्रेरित किया जाता है जिन्हें मनुष्य पसंद करते हैं, तो मानक दृष्टिकोण अक्सर मॉडल को एक ऐसा शॉर्टकट लेने के लिए मजबूर करता है जो उसके प्रशिक्षण के मौलिक नियमों को तोड़ देता है। शोधकर्ता इस घटना को "मैनिफोल्ड ड्रिफ्ट" (manifold drift) कहते हैं। सरल शब्दों में, मॉडल ऐसी छवियां बनाना सीखता है जो एक विशिष्ट परीक्षण पर उच्च स्कोर करती हैं, जैसे कि टेक्स्ट को सही ढंग से पढ़ना, लेकिन ऐसा करने में, वह उन प्राकृतिक, उच्च-गुणवत्ता वाले आकारों से दूर चला जाता है जिन्हें उसे मूल रूप से उत्पन्न करने के लिए सिखाया गया था। परिणाम एक ऐसी छवि होती है जिसमें सही शब्द तो हो सकते हैं लेकिन वह अन्य तरीकों से विकृत, धुंधली या निरर्थक दिख सकती है। यह "रिवॉर्ड हैकिंग" (reward hacking) का एक रूप है, जहाँ मॉडल खेल को वास्तव में अच्छी तरह से खेलने के बजाय जीतने के लिए एक खामी या लूपहोल ढूंढ लेता है। टीम ने दिखाया कि ऐसा इसलिए होता है क्योंकि प्राथमिकताओं को सिखाने के लिए उपयोग किए जाने वाले गणितीय अपडेट अंतिम छवि को सुरक्षित, सीखे गए पथ से धकेल कर अनछुए, निम्न-गुणवत्ता वाले स्थान में ले जाते हैं।
इसे हल करने के लिए, शोधकर्ताओं ने THERMODPO नामक एक नई विधि विकसित की। मॉडल को वांछित परिणाम की ओर स्वतंत्र रूप से भटकने देने के बजाय, यह नया दृष्टिकोण एक डोरी (tether) की तरह कार्य करता है, जो जनरेशन प्रक्रिया को मूल, उच्च-गुणवत्ता वाले पथ से बांधे रखता है, जबकि साथ ही इसे वांछित परिणाम की ओर निर्देशित भी करता है। यह विधि एक नियंत्रण तंत्र का उपयोग करती है, जो तापमान के डायल (temperature dial) के समान है, जो प्राथमिकता के लिए दबाव और वास्तविकता में टिके रहने की आवश्यकता के बीच संतुलन बनाता है। जब "तापमान" को सही ढंग से सेट किया जाता है, तो मॉडल अपने प्रारंभिक प्रशिक्षण के दौरान प्राप्त दृश्य निष्ठा (visual fidelity) का त्याग किए बिना मानवीय प्राथमिकताओं के साथ तालमेल सुधारना सीखता है। शोधकर्ताओं ने पहले इस विचार का परीक्षण एक सरल, नियंत्रित डिजिटल परिदृश्य पर किया, जहाँ वे स्पष्ट रूप से देख सके कि पुरानी विधियों के साथ मॉडल पथ से भटक रहा था और उनके नए वाले के साथ ट्रैक पर बना हुआ था। इन परीक्षणों में, उनकी नई विधि ने एक मेट्रिक पर लगभग 0.90 का स्कोर प्राप्त किया जो प्राथमिकता और गुणवत्ता दोनों को मापता है, जो पिछले तकनीकों से काफी बेहतर है जिन्होंने लगभग 0.63 स्कोर किया था।
इसके बाद टीम ने 'स्टेबल डिफ्यूजन 3.5' (Stable Diffusion 3.5) नामक एक शक्तिशाली मॉडल का उपयोग करके वास्तविक दुनिया के इमेज जनरेशन की ओर कदम बढ़ाया। उन्होंने मॉडलों को विशिष्ट टेक्स्ट वाली छवियां उत्पन्न करने का कार्य सौंपा, जो एक कठिन चुनौती है जहाँ मॉडल अक्सर चित्र को खराब किए बिना अक्षरों को पठनीय रखने में संघर्ष करते हैं। अपने नए तरीके का उपयोग करके, शोधकर्ताओं ने बेसलाइन मॉडल की तुलना में टेक्स्ट की सटीकता में 47.5 प्रतिशत का सुधार किया, और साथ ही चार अलग-अलग गुणवत्ता मेट्रिक्स के औसत प्रदर्शन में 16 प्रतिशत की वृद्धि की। इसके विपरीत, अन्य विधियों ने, जिन्होंने टेक्स्ट सटीकता में सुधार किया, अक्सर समग्र छवि की गुणवत्ता को कम कर दिया, जिससे टेक्स्ट तो स्पष्ट हो गया लेकिन आसपास की छवि विकृत या टूटी हुई दिखने लगी। शोधकर्ताओं ने पाया कि उनका दृष्टिकोण टेक्स्ट पढ़ने के विशिष्ट लक्ष्य को सफलतापूर्वक सुधारने के साथ-साथ शेष छवि को प्राकृतिक और सुसंगत बनाए रखने में सफल रहा।
यह कार्य सुझाव देता है कि जनरेटिव मॉडल्स में रिवॉर्ड हैकिंग की समस्या केवल मापदंडों (parameters) को ट्यून करने का मामला नहीं है, बल्कि यह एक मौलिक संरचनात्मक मुद्दा है जहाँ बेहतर रिवॉर्ड का पथ उस डेटा से दूर ले जाता है जिसे मॉडल सबसे अच्छी तरह जानता है। इस ड्रिफ्ट को औपचारिक रूप देकर और इसे रोकने के लिए एक विधि पेश करके, शोधकर्ताओं ने निरंतर जनरेटिव मॉडलों को मानवीय प्राथमिकताओं के साथ संरेखित करने का एक तरीका प्रदान किया है, बिना उस दृश्य गुणवत्ता को खोए जो उन्हें उपयोगी बनाती है। उनके निष्कर्ष संकेत देते हैं कि बेहतर संरेखण (alignment) और मूल प्रशिक्षण डेटा का बेहतर संरक्षण, दोनों एक साथ प्राप्त करना संभव है, जो उच्च-गुणवत्ता वाली, नियंत्रणीय सामग्री बनाने वाले AI के विकास के लिए एक अधिक विश्वसनीय मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।