🤖 machine learning

TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment

यह शोध पत्र ट्रजेक्टरी मैचिंग पॉलिसी ऑप्टिमाइज़ेशन (TMPO) को प्रस्तुत करता है, जो डिफ्यूजन मॉडल्स के लिए एक नवीन एलाइनमेंट विधि है जो रिवॉर्ड हैकिंग को प्रभावी ढंग से कम करने के लिए स्केलर रिवॉर्ड मैक्सिमाइजेशन के स्थान पर सॉफ्टमैक्स ट्रजेक्टरी बैलेंस ऑब्जेक्टिव और डायनेमिक स्टोकेस्टिक ट्री सैंपलिंग के माध्यम से ट्रजेक्टरी-स्तरीय वितरण मिलान का उपयोग करता है, जिससे जनरेटिव विविधता और कार्य प्रदर्शन के बीच एक इष्टतम संतुलन प्राप्त होता है।

मूल लेखक: Jiaming Li, Chenyu Zhu, Zhiyuan Ma, Nanxi Yi, Youjun Bao, Li Sun, Quanying Lv, Xiang Fang, Daizong Liu, Jianjun Li, Kun He, Bowen Zhou

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaming Li, Chenyu Zhu, Zhiyuan Ma, Nanxi Yi, Youjun Bao, Li Sun, Quanying Lv, Xiang Fang, Daizong Liu, Jianjun Li, Kun He, Bowen Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली कलाकार (एक AI इमेज जनरेटर) को सिखा रहे हैं कि पेंटिंग कैसे की जाती है, और आप उसे अपने फीडबैक के आधार पर सुधार करने के लिए कह रहे हैं। आप चाहते हैं कि कलाकार सुंदर चित्र बनाए जो आपके विवरण से मेल खाते हों, लेकिन आप यह भी चाहते हैं कि वे रचनात्मक और विविध हों, न कि केवल एक ही चीज़ को बार-बार बनाते रहें।

यह शोध पत्र, TMPO, इस कलाकार को सिखाने का एक नया तरीका पेश करता है जो एक बड़ी समस्या को हल करता है: कलाकार एक विशेष "ट्रिक" या चाल खोजने की कोशिश करता है जिससे उसे आपसे उच्च स्कोर मिल सके, और फिर वह उसी ट्रिक को बार-बार दोहराता है, जिससे वह अन्य सभी अच्छे विकल्पों को अनदेखा कर देता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र के विचारों का विवरण दिया गया है:

1. समस्या: "वन-ट्रिक पोनी" (एक ही चाल चलने वाला)

इन AI कलाकारों को प्रशिक्षित करने के वर्तमान तरीके एक सख्त शिक्षक की तरह काम करते हैं जिसे केवल अंतिम स्कोर की चिंता होती है।

परिदृश्य: आप कलाकार से कहते हैं, "योग करता हुआ एक रोबोट पेंट करो।"
पुराना तरीका (रिवॉर्ड मैक्सिमाइजेशन): कलाकार कुछ पोज़ आज़माता है। एक पोज़ को 9/10 का स्कोर मिलता है। शिक्षक कहता है, "बहुत बढ़िया! इसे फिर से करो!" कलाकार को समझ आता है, "अगर मैं बस यही एक विशिष्ट योगा पोज़ करूँ, तो मुझे हमेशा उच्च स्कोर मिलेगा।" इसलिए, वे अन्य पोज़ आज़माना बंद कर देते हैं। वे अलग-अलग स्टूडियो में, अलग-अलग रंगों के साथ, या अलग-अलग योगा मूव्स के साथ रोबोट बनाना बंद कर देते हैं। वे बस वही एक रोबोट, बार-बार पेंट करते रहते हैं।
परिणाम: AI उबाऊ हो जाता है। यह "मोड कोलैप्स" (mode collapse) पैदा करता है, जहाँ यह केवल एक ही प्रकार की छवि बनाता है, भले ही योग करते हुए रोबोट को चित्रित करने के हज़ारों अन्य वैध और सुंदर तरीके मौजूद हों। यह सिस्टम को "गेम" करना (धोखा देना) भी शुरू कर देता है, यानी ऐसे अजीब विवरण जोड़ देता है जो स्कोरिंग सिस्टम को तो चकमा दे देते हैं लेकिन इंसानों को खराब लगते हैं।

2. समाधान: TMPO (ट्रैजेक्टरी मैचिंग पॉलिसी ऑप्टिमाइज़ेशन)

लेखक एक नया शिक्षण तरीका प्रस्तावित करते हैं जिसे TMPO कहा जाता है। केवल यह बताने के बजाय कि, "वह एक चीज़ करो जिससे सबसे अधिक स्कोर मिला," TMPO लक्ष्य को पूरी तरह से बदल देता है।

नया लक्ष्य: केवल एक स्कोर को अधिकतम करने के बजाय, TMPO कलाकार से रिवॉर्ड के वितरण (distribution of rewards) से मेल खाने के लिए कहता है।
उपमा: कल्पना कीजिए कि शिक्षक के पास विभिन्न "अच्छे" परिणामों की एक थैली है। कुछ एकदम सटीक हैं (10/10), कुछ बहुत अच्छे हैं (8/10), और कुछ ठीक-ठाक हैं (6/10)।
- पुराने शिक्षक ने कहा था: "मुझे केवल 10/10 वाले दिखाओ।"
- TMPO शिक्षक कहता है: "मैं चाहता हूँ कि तुम उन सभी अच्छे परिणामों को उनके स्तर के अनुपात में पेंट करो। यदि 8/10 पाने के तीन तरीके हैं, तो मैं उन तीनों को देखना चाहता हूँ, न कि केवल एक को।"
यह कैसे काम करता है: AI एक साथ कई अलग-अलग प्रयासों का एक पूरा "ट्री" (वृक्ष) बनाता है। फिर यह पूरे समूह को देखता है और कहता है, "ठीक है, मुझे यह सुनिश्चित करने की आवश्यकता है कि मेरे द्वारा पेंट किए गए विभिन्न संस्करणों की संभावना, प्रत्येक संस्करण की 'अच्छाई' से मेल खाती हो।" यह AI को विभिन्न शैलियों और लेआउट्स को तलाशते रहने के लिए मजबूर करता है, जिससे विविधता (diversity) बनी रहती है।

3. गुप्त मंत्र: "ट्री" (वृक्ष) वाली ट्रिक

एक AI को एक साथ 27 अलग-अलग चित्रों के संस्करणों को देखने के लिए प्रशिक्षित करना आमतौर पर बहुत धीमा और महंगा होता है (जैसे किसी चित्रकार को सबसे अच्छा चुनने से पहले 27 पूर्ण पेंटिंग बनाने के लिए कहना)।

नवाचार: TMPO एक तकनीक का उपयोग करता है जिसे डायनामिक स्टोकेस्टिक ट्री सैंपलिंग (Dynamic Stochastic Tree Sampling) कहा जाता है।
उपमा: कल्पना कीजिए कि कलाकार एक बैकग्राउंड (प्रिफिक्स) बनाना शुरू करता है। 27 अलग-अलग पेंटिंग शून्य से शुरू करने के बजाय, वे एक बैकग्राउंड बनाते हैं। फिर, वे तीन विशिष्ट क्षणों पर, अलग-अलग दिशाओं में शाखाएँ (branch) निकालते हैं।
- शाखा 1: "ठीक है, चलो रोबोट को नीला बनाते हैं।"
- शाखा 2: "ठीक है, चलो रोबोट को लाल बनाते हैं।"
- शाखा 3: "ठीक है, चलो रोबोट को हरा बनाते हैं।"
क्योंकि वे शुरुआती बैकग्राउंड को साझा करते हैं, AI को पूरा दृश्य 27 बार फिर से बनाने की आवश्यकता नहीं होती है। उन्हें केवल "ब्रांचिंग पॉइंट्स" (शाखाओं के बिंदुओं) पर अंतर की गणना करनी होती है। यह बहुत सारा समय बचाता है (उनके परीक्षणों में 27% तक तेज़) और फिर भी यह AI को कई अलग-अलग संभावनाओं को तलाशने की अनुमति देता है।

4. परिणाम: अधिक विविधता, कम धोखाधड़ी

शोध पत्र ने इस परीक्षण को एक लोकप्रिय AI मॉडल (FLUX.1) पर तीन अलग-अलग कार्यों के लिए किया:

कंपोजिशनल जनरेशन (Compositional Generation): यह सुनिश्चित करना कि वस्तुएं सही जगह पर हों (जैसे, "मैट पर एक बिल्ली")।
टेक्स्ट रेंडरिंग (Text Rendering): छवि के अंदर शब्दों को सही ढंग से लिखना।
मानव प्राथमिकता (Human Preference): ऐसी छवियां बनाना जो लोगों को अच्छी लगें।

क्या हुआ?

विविधता: TMPO ने मौजूदा सर्वोत्तम तरीकों की तुलना में 9.1% अधिक विविधता उत्पन्न की। छवियां एक-दूसरे से अलग दिखती थीं, न कि क्लोन।
गुणवत्ता: इसने विविधता के लिए गुणवत्ता का त्याग नहीं किया। छवियां अभी भी सटीक और उच्च गुणवत्ता वाली थीं।
दक्षता: "ट्री" ट्रिक के कारण इसे प्रशिक्षित करना तेज़ था।

सारांश

TMPO को एक बुद्धिमान कला शिक्षक के रूप में सोचें जो यह समझता है कि यदि आप केवल "परफेक्ट" उत्तर की प्रशंसा करेंगे, तो छात्र सोचना बंद कर देगा। इसके बजाय, TMPO AI को अच्छे उत्तरों के स्पेक्ट्रम (विस्तार) की सराहना करना सिखाता है। एक साथ कई रास्तों को बिना समय बर्बाद किए तलाशने के लिए "ट्री" संरचना का उपयोग करके, यह एक ऐसा AI बनाता है जो बुद्धिमान भी है (उच्च स्कोर प्राप्त करता है) और रचनात्मक भी है (एक ही ढर्रे में नहीं फंसता)।

शोध पत्र का दावा है कि यह "रिवॉर्ड हैकिंग" (जहाँ AI सिस्टम को धोखा देता है) की समस्या को हल करता है, क्योंकि यह गणितीय रूप से सिद्ध करता है कि रिवॉर्ड के वितरण से मेल खाना AI को केवल एक "सर्वश्रेष्ठ" विकल्प के बजाय सभी "अच्छे" विकल्पों को कवर करने के लिए मजबूर करता है।

तकनीकी सारांश: विविध और कुशल डिफ्यूजन अलाइनमेंट के लिए TMPO

1. समस्या विवरण (Problem Statement)

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने डिफ्यूजन और फ्लो-मैचिंग मॉडल्स को डाउनस्ट्रीम कार्यों के साथ अलाइन करने में महत्वपूर्ण क्षमता प्रदर्शित की है। हालांकि, मौजूदा विधियां मुख्य रूप से स्केलर रिवॉर्ड मैक्सिमाइजेशन (scalar reward maximization) पर निर्भर करती हैं, जिसे लेखक स्वाभाविक रूप से मोड-सीकिंग (mode-seeking) मानते हैं। यह अनुकूलन उद्देश्य (optimization objective) मॉडल्स को कुछ उच्च-रिवॉर्ड वाले प्रक्षेपवक्रों (trajectories) पर केंद्रित होने के लिए मजबूर करता है, जिससे दो महत्वपूर्ण विफलता मोड उत्पन्न होते हैं:

जेनरेटिव विविधता का क्षरण (Degradation of Generative Diversity): मॉडल रचनाओं और शैलियों के एक संकीर्ण सेट में सिमट जाता है (विजुअल मोड कोलैप्स), जिससे प्री-ट्रेनिंग के दौरान सीखी गई संभावित आउटपुट्स के अनिसोट्रोपिक वितरण (anisotropic distribution) की अनदेखी होती है।
अविश्वसनीय रिवॉर्ड्स का प्रवर्धन (Amplification of Unreliable Rewards): उन विशिष्ट विशेषताओं को अत्यधिक सुदृढ़ करके जिन्हें रिवॉर्ड्स (जैसे OCR सटीकता या विशिष्ट सौंदर्य स्कोर) पसंद करते हैं, मॉडल स्प्यूरियस गुणों (spurious attributes) को बढ़ा देता है, जो अक्सर समग्र जनरेशन गुणवत्ता की कीमत पर होता है।

वर्तमान शमन रणनीतियां (mitigation strategies), जैसे कि KL रेगुलराइजेशन, उद्देश्य की मूल मोड-सीकिंग प्रकृति को बदलने में विफल रहती हैं, जबकि मौजूदा जेनेरेटिव फ्लो नेटवर्क (GFlowNet) दृष्टिकोण अक्सर कठिन स्टेट-फ्लो अनुमानों या स्थानीय बाधाओं पर निर्भर करते हैं जो लंबे डिनोइजिंग क्षितिज (denoising horizons) पर त्रुटियों को संचित करते हैं।

2. कार्यप्रणाली: ट्रैजेक्टरी मैचिंग पॉलिसी ऑप्टिमाइजेशन (TMPO)

TMPO मौलिक रूप से अनुकूलन प्रतिमान (paradigm) को स्केलर रिवॉर्ड मैक्सिमाइजेशन से ट्रैजेक्टरी-लेवल रिवॉर्ड डिस्ट्रीब्यूशन मैचिंग की ओर स्थानांतरित करता है।

2.1 सॉफ्टमैक्स ट्रैजेक्टरी बैलेंस (Softmax-TB)

एक्सपेक्टेड रिवॉर्ड को मैक्सिमाइज करने के बजाय, TMPO का लक्ष्य पॉलिसी की ट्रैजेक्टरी प्रोबेबिलिटीज को रिवॉर्ड्स द्वारा प्रेरित एक लक्षित वितरण (target distribution) से मिलाना है।

उद्देश्य: एक ही प्रॉम्प्ट से उत्पन्न $K$ प्रक्षेपवक्रों के समूह के लिए, यह विधि पॉलिसी प्रोबेबिलिटीज $P_\theta(\tau)$ को एक बोल्ट्ज़मैन वितरण $q(\tau) \propto \exp(\beta R(\tau))$ से मिलाती है।
पार्टीशन-फ्री फॉर्मुलेशन (Partition-Free Formulation): $K$ प्रक्षेपवक्रों के समूह के भीतर प्रोबेबिलिटीज और रिवॉर्ड्स को नॉर्मलाइज करके, कठिन ग्लोबल पार्टीशन फंक्शन को समाप्त कर दिया जाता है। यह विधि एक सॉफ्टमैक्स-TB एडवांटेज को परिभाषित करती है:
$A_i = \log q_i - \log p_i = \log \frac{\exp(\beta R_i)}{\sum_j \exp(\beta R_j)} - \log \frac{P_\theta(\tau_i)}{\sum_j P_\theta(\tau_j)}$
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि इस उद्देश्य को कम करना समूह के भीतर फॉरवर्ड KL डाइवर्जेंस ( $D_{KL}(q \parallel p)$ ) को कम करने के समान है। रिवर्स KL (जो मानक पॉलिसी ग्रेडिएंट्स में उपयोग किया जाता है) के विपरीत, फॉरवर्ड KL मोड-कवरिंग (mode-covering) है: यह तब अनंत दंड (penalty) लगाता है जब किसी भी प्रक्षेपवक्य $i$ के लिए पॉलिसी प्रोबेबिलिटी $p_i$ शून्य के करीब पहुँच जाती है जिसका पॉजिटिव टारगेट वेट $q_i$ है। यह सैद्धांतिक रूप से बिना किसी सहायक KL रेगुलराइजेशन के विविधता को बनाए रखने की गारंटी देता है।

2.2 डायनेमिक स्टोकेस्टिक ट्री सैंपलिंग (Dynamic Stochastic Tree Sampling)

बड़े पैमाने के फ्लो-मैचिंग मॉडल्स के लिए कई स्वतंत्र प्रक्षेपवक्रों के सैंपलिंग की कम्प्यूटेशनल लागत को संबोधित करने के लिए, TMPO एक ट्री-स्ट्रक्चर्ड सैंपलिंग रणनीति पेश करता है:

प्रिफिक्स शेयरिंग (Prefix Sharing): प्रक्षेपवक्र एक नियत (deterministic) ODE प्रिफिक्स (साझा डिनोइजिंग स्टेप्स) साझा करते हैं और गतिशील रूप से शेड्यूल्ड स्टोकेस्टिक बिंदुओं पर विभाजित (branch) होते हैं।
डायनेमिक ब्रांचिंग: ब्रांच पॉइंट्स निश्चित नहीं हैं; वे एक करिकुलम का पालन करते हैं जो प्रशिक्षण के दौरान शुरुआती हाई-नॉइज़ क्षेत्रों (कोर्स-ग्रेन्ड विविधता) से लेकर बाद के लो-नॉइज़ क्षेत्रों (फाइन-ग्रेन्ड वेरिएशंस) तक शिफ्ट होता है। फिक्स्ड ट्री ज्योमेट्री पर ओवरफिटिंग को रोकने के लिए ब्रांच पोजीशन को बीटा वितरण का उपयोग करके स्टोकेस्टिक रूप से विक्षेपित (perturb) किया जाता है।
दक्षता (Efficiency): यह दृष्टिकोण साझा प्रिफिक्स के लिए फॉरवर्ड पास को साझा करके रेडंडेंट कंप्यूटेशन को कम करता है, जिससे प्रभावी अन्वेषण (exploration) बनाए रखते हुए प्रशिक्षण समय काफी कम हो जाता है।

3. प्रमुख योगदान

मूल कारण की पहचान: पेपर रिवॉर्ड मैक्सिमाइजेशन की मोड-सीकिंग प्रकृति को रिवॉर्ड हैकिंग और विविधता क्षरण के प्राथमिक कारण के रूप में पहचानता है, और वितरण मिलान (distribution matching) की ओर बदलाव का प्रस्ताव करता है।
सॉफ्टमैक्स-TB ऑब्जेक्टिव: एक पार्टीशन-फ्री, ट्रैजेक्टरी-लेवल डिस्ट्रीब्यूशन मैचिंग ऑब्जेक्टिव का परिचय जो फॉरवर्ड KL डाइवर्जेंस के मोड-कवरिंग गुणों को विरासत में प्राप्त करता है, जो स्वाभाविक रूप से जेनरेटिव विविधता को संरक्षित करता है।
डायनेमिक स्टोकेस्टिक ट्री सैंपलिंग: एक स्केलेबल सैंपलिंग मैकेनिज्म जो डिनोइजिंग प्रिफिक्स को साझा करके और डायनेमिक ब्रांचिंग शेड्यूल को एडजस्ट करके बड़े पैमाने के मॉडल्स के लिए प्रशिक्षण समय को कम करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन अलाइनमेंट कार्यों (कंपोजिशनल इमेज जनरेशन (GenEval), विजुअल टेक्स्ट रेंडरिंग (OCR), और ह्यूमन प्रेफरेंस अलाइनमेंट (PickScore)) पर FLUX.1-dev बैकबोन पर TMPO का मूल्यांकन किया।

विविधता (Diversity): TMPO ने अत्याधुनिक विधियों (Flow-GRPO, MixGRPO, TreeGRPO, GARDO) की तुलना में औसत रूप से जेनेरेटिव विविधता में 9.1% का सुधार किया। यह लगातार सकारात्मक लॉग ज्योमेट्रिक मीन डिस्टेंस (LGMD) स्कोर बनाए रखने वाला एकमात्र तरीका था, जो स्वस्थ विविधता का संकेत देता है, जबकि बेसलाइन अक्सर नकारात्मक LGMD (मोड कोलैप्स) प्रदर्शित करते हैं।
प्रदर्शन (Performance): TMPO ने कार्य-विशिष्ट मेट्रिक्स (GenEval सटीकता, OCR सटीकता) और मानव प्राथमिकता स्कोर (HPS-v2.1, ImageReward, PickScore) पर प्रतिस्पर्धी या बेहतर प्रदर्शन किया।
दक्षता (Efficiency): प्रिफिक्स शेयरिंग और ट्री सैंपलिंग का उपयोग करके, TMPO ने मौजूदा विधियों की तुलना में इटरेशन ट्रेनिंग समय को 27% तक कम कर दिया।
ट्रेड-ऑफ्स (Trade-offs): पारेटो विश्लेषण (Pareto analysis) ने प्रदर्शित किया कि TMPO रिवॉर्ड मैक्सिमाइजेशन, विविधता संरक्षण और प्रशिक्षण दक्षता के बीच इष्टतम ट्रेड-ऑफ प्राप्त करता है।

5. महत्व और दावे

पेपर का दावा है कि TMPO जेनरेटिव AI अलाइनमेंट के लिए रिवॉर्ड हैकिंग दुविधा का एक मौलिक समाधान प्रदान करता है। स्केलर रिवॉर्ड्स को मैक्सिमाइज करने के बजाय रिवॉर्ड-प्रेरित वितरणों से मेल खाने के लिए ऑब्जेक्टिव को पुनर्गठित करके, TMPO बाहरी रेगुलराइजेशन या ह्यूरिस्टिक रीवेटिंग पर निर्भर किए बिना संरचनात्मक रूप से विविधता संरक्षण को लागू करता है। यह विधि दर्शाती है कि प्री-ट्रेनिंग के दौरान सीखे गए समृद्ध, मल्टीमॉडल आउटपुट डिस्ट्रीब्यूशन को बनाए रखते हुए उच्च अलाइनमेंट स्कोर प्राप्त करना संभव है, और यह मल्टी-ट्रैजेक्टरी RL विधियों से जुड़ी कम्प्यूटेशनल ओवरहेड को भी कम करता है। लेखक TMPO को एक स्केलेबल फ्रेमवर्क के रूप में प्रस्तुत करते हैं जो बड़े पैमाने के फ्लो-मैचिंग मॉडल्स के लिए उपयुक्त है, जिसमें वीडियो जनरेशन और रोबोटिक एक्शन जनरेशन के लिए संभावित विस्तार शामिल हैं।