🤖 machine learning

Trust Region Q Adjoint Matching

यह शोध पत्र ट्रस्ट रीजन Q-एडजॉइंट मैचिंग (TRQAM) प्रस्तुत करता है, जो एक स्थिर ऑफ-पॉलिसी फाइन-ट्यूनिंग एल्गोरिदम है जो क्रिटिक-प्रेरित अस्थिरता को कम करने के लिए प्रोजेक्टेड डुअल डिसेंट के माध्यम से प्रीट्रेन्ड फ्लो पॉलिसियों से पाथ-स्पेस KL डाइवर्जेंस को अनुकूल रूप से नियंत्रित करता है, जिससे 50 OGBench कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Yonghoon Dong, Kyungmin Lee, Changyeon Kim, Jaehyuk Kim, Jinwoo Shin

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yonghoon Dong, Kyungmin Lee, Changyeon Kim, Jaehyuk Kim, Jinwoo Shin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक मास्टर शेफ को नए व्यंजन बनाना सिखाना

कल्पना कीजिए कि आपके पास एक विश्व प्रसिद्ध शेफ (Pretrained Flow Policy) है, जिसने व्यंजनों के एक विशिष्ट सेट में महारत हासिल करने के लिए वर्षों बिताए हैं। वे इन व्यंजनों को बनाने में अविश्वसनीय रूप से कुशल हैं, लेकिन उन्होंने अपने विशिष्ट मेनू के बाहर कभी कुछ नहीं बनाया है।

अब, आप इस शेफ को फीडबैक के एक "टेस्टिंग मेनू" (Reinforcement Learning वाला हिस्सा) का उपयोग करके एक नया प्रकार का व्यंजन बनाना सिखाना चाहते हैं। आप चाहते हैं कि वे ग्राहकों की पसंद के आधार पर अपने खाना पकाने के कौशल में सुधार करें, लेकिन आप यह भी नहीं चाहते कि वे अपने मूल कौशल को भूल जाएं या प्रयोग करते समय रसोई को अनजाने में जला दें।

समस्या यह है कि शेफ की "सीखने की प्रक्रिया" जटिल है। यदि आप उन्हें बस यह कहते हैं, "इसे और स्वादिष्ट बनाओ!" तो वे बहुत अधिक प्रतिक्रिया दे सकते हैं। वे अपनी रेसिपी को इतनी नाटकीय रूप से बदलने की कोशिश कर सकते हैं कि वे व्यंजन को पूरी तरह से बर्बाद कर दें। शोध पत्र में इसे मॉडल कोलैप्स (model collapse) कहा गया है।

समस्या: एक "अति-उत्साही" आलोचक

AI की दुनिया में, एक "क्रिटिक" (जज) होता है जो बताता है कि व्यंजन कितना अच्छा है।

पुराना तरीका (QAM): पिछला सबसे अच्छा तरीका, जिसे QAM कहा जाता था, एक ऐसे जज की तरह था जो चिल्लाकर कहता, "इसमें नमक की कमी है!" शेफ ने बात सुनी, नमक डाला, और फिर से चखा। लेकिन अगर जज ने एक छोटी सी गलती की (उदाहरण के लिए, व्यंजन में वास्तव में कम नमक की आवश्यकता थी, लेकिन जज ने अधिक कहा), तो शेफ ने अत्यधिक सुधार (over-correct) किया। क्योंकि शेफ एक जटिल, बहु-चरणीय खाना पकाने की प्रक्रिया के माध्यम से जज के निर्देशों का पालन करने की कोशिश कर रहा था, वह छोटी सी गलती घातीय रूप से (exponentially) बढ़ गई।
परिणाम: शेफ अंततः नमक की पूरी बाल्टी डाल देता, जिससे व्यंजन बर्बाद हो जाता। शोध पत्र के प्रयोगों में, इसके कारण AI बुरी तरह विफल हुआ, उसकी सफलता दर 80% से गिरकर लगभग शून्य हो गई।

समाधान: TRQAM (एक "सुरक्षा क्षेत्र" वाला शेफ)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे TRQAM (Trust Region Q-Adjoint Matching) कहा जाता है। इसे एक शेफ को सुरक्षा क्षेत्र (Safety Zone) या एक लीश (Leash/पट्टा) देने के रूप में सोचें।

लीश (Trust Region): शेफ को जज को खुश करने के लिए बेकाबू होकर अपनी रेसिपी बदलने देने के बजाय, TRQм यह तय करता है कि शेफ एक बार में अपनी रेसिपी में कितना बदलाव कर सकता है। यह कहता है, "आप व्यंजन को स्वादिष्ट बनाने के लिए रेसिपी बदल सकते हैं, लेकिन आप अपनी मूल, प्रमाणित शैली से बहुत अधिक दूर नहीं जा सकते।"
जादुई नॉब ( $\lambda$ ): पेपर एक विशेष "नॉब" पेश करता है जिसे $\lambda$ $λ$ कहा जाता है।
- यदि शेफ रेसिपी को बहुत अधिक बेतरतीब ढंग से बदल रहा है, तो नॉब लीश को कस देता है, जिससे उसे अपने मूल कौशल के करीब रहने के लिए मजबूर किया जाता है।
- यदि शेफ बहुत अधिक सावधान हो रहा है, तो नॉब लीश को ढीला कर देता है, जिससे उसे अधिक अन्वेषण (explore) करने की अनुमति मिलती है।
आंतरिक बनाम बाहरी (Internal vs. External): यही इस पेपर का असली मंत्र (secret sauce) है।
- पुराने तरीकों ने शेफ पर लीश लागू करने के लिए खाना पकाने के बाद स्कोरकार्ड में एक "पेनल्टी" जोड़ने की कोशिश की (बाहरी)। यदि जज बहुत ज़ोर से चिल्ला रहा था, तो शेफ पेनल्टी को अनदेखा कर देता और बस चिल्लाहट का पालन करता।
- TRQAM लीश को खाना पकाने की प्रक्रिया के अंदर ही बुन देता है (आंतरिक)। यह उस भौतिकी (physics) को ही बदल देता है कि शेफ अपने हाथ कैसे चलाता है। चाहे जज कितना भी ज़ोर से चिल्लाए, लीश शारीरिक रूप से शेफ को मूल रेसिपी से बहुत दूर जाने से रोकता है।

यह कैसे काम करता है (द "गिर्सानोव" ट्रिक)

पेपर एक गणितीय प्रमेय (Girsanov's theorem) का उपयोग करता है ताकि यह सिद्ध किया जा सके कि यह "लीश" पूरी तरह से काम करती है।

शेफ की खाना पकाने की प्रक्रिया को नदी के बहाव के रूप में कल्पना करें।
"जज" नदी को एक नए दिशा में धकेलना चाहता है।
TRQAM नॉब $\lambda$ के आधार पर नदी की चौड़ाई (diffusion coefficient) को बदल देता है।
गणितीय रूप से यह सिद्ध करके कि नदी की चौड़ाई सीधे तौर पर यह नियंत्रित करती है कि पानी (policy) अपने मूल पथ से कितना विचलित हो सकता है, लेखक यह सुनिश्चित करते हैं कि "सुरक्षा क्षेत्र" कभी टूटा नहीं जा सके। यह केवल एक सुझाव नहीं है; यह इस AI के लिए भौतिकी का एक नियम है।

परिणाम: एक स्मार्ट, सुरक्षित शेफ

शोधकर्ताओं ने इसे 50 अलग-अलग कार्यों (जैसे पहेलियाँ सुलझाना, रोबोट चलाना, या भूलभुलैया में रास्ता खोजना) पर परखा।

प्रतियोगिता: अन्य तरीके (जैसे QAM, FQL, DSRL) उन शेफ की तरह थे जो या तो अपने पुराने तरीकों में फंस गए या जज को खुश करने के चक्कर में पागल हो गए।
विजेता: TRQAM सबसे सफल रहा।
- "ऑफलाइन" चरण में (पिछले भोजन के डेटाबेस से सीखते हुए), TRQAM 68% बार सफल रहा।
- दूसरा सबसे अच्छा तरीका केवल 46% बार सफल हुआ।
- सबसे महत्वपूर्ण बात यह है कि जबकि अन्य तरीके अक्सर "कोलैप्स" (पूरी तरह विफल) हो जाते थे जब जज कोई गलती करता था, TRQAM स्थिर रहा और अच्छा खाना बनाना जारी रखा।

सारांश

TRQAM AI रोबोट्स को उनके पुराने कौशल को भूले बिना या पागल हुए बिना नए कौशल सीखने का एक नया तरीका है। यह एक "सुरक्षा क्षेत्र" को सीधे सीखने की प्रक्रिया में गणितीय रूप से बुनकर ऐसा करता है, जिससे यह सुनिश्चित होता है कि भले ही AI का "जज" गलती करे, AI बहुत अधिक प्रतिक्रिया देकर अपने प्रदर्शन को नष्ट नहीं करेगा। यह एक ऐसे शेफ के बीच का अंतर है जो घबराकर रसोई जला देता है, और एक ऐसे शेफ के बीच है जो एक सुरक्षित, प्रमाणित ढांचे के भीतर रहते हुए सावधानी से अपनी रेसिपी को समायोजित करता है।

तकनीकी सारांश: ट्रस्ट रीजन क्यू-एडजॉइंट मैचिंग (TRQAM)

समस्या विवरण

यह शोध पत्र प्रीट्रेंड फ्लो पॉलिसियों (pretrained flow policies) के लिए ऑफ-पॉलिसी फाइन-ट्यूनिंग (off-policy fine-tuning) की चुनौती को संबोधित करता है। जबकि फ्लो मैचिंग पॉलिसियाँ पारंपरिक यूनि-मोडल गाऊसीअन (Gaussian) पॉलिसियों की तुलना में समृद्ध, मल्टी-मोडल एक्शन डिस्ट्रीब्यूशन प्रदान करती हैं, उनकी मल्टी-स्टेप डिनोइजिंग प्रक्रियाओं के माध्यम से निहित परिभाषा ग्रेडिएंट-आधारित पॉलिसी सुधार को अस्थिर बनाती है। सैंपलिंग चेन के माध्यम से डायरेक्ट बैकप्रोपैगेशन (direct backpropagation) कम्प्यूटेशनल रूप से महंगा और अस्थिरता के प्रति संवेदनशील है।

मौजूदा समाधान या तो एडिटिव रेसिडुअल्स (additive residuals) सीखकर (मल्टी-स्टेप डायनेमिक्स को अनदेखा करके) या नॉइज़ स्पेस (noise space) में काम करके इसे बायपास करने का प्रयास करते हैं (जो फ्रोजन पॉलिसी की एक्सप्रेसिविटी द्वारा सीमित है)। एक हालिया दृष्टिकोण, क्यू-लर्निंग विद एडजॉइंट मैचिंग (QAM), फाइन-ट्यूनिंग को एक मेमोरीलेस स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC) समस्या के रूप में पुनर्गठित करता है, जो एडजॉइंट मैचिंग के माध्यम से सैंपलिंग प्रक्रिया को निर्देशित करने के लिए एक सीखे हुए क्रिटिक (learned critic) का उपयोग करता है। हालाँकि, लेखक QAM में एक मौलिक नाजुकता की पहचान करते हैं: ऑफ-पॉलिसी सेटिंग्स में, सीखा गया क्रिटिक अनिवार्य रूप से अपूर्ण होता है। क्रिटिक में छोटी अनुमानित त्रुटियाँ (approximation errors) तब तेजी से बढ़ जाती हैं जब पॉलिसी अपडेट एक निश्चित "तापमान" (या इनवर्स टेम्परेचर $\beta$ ) पर निर्भर करता है, जिससे प्रीट्रेंड प्रायर (pretrained prior) से विनाशकारी विचलन (destructive drift) और अंततः मॉडल कोलैप्स (model collapse) होता है। यह अस्थिरता ग्रेडिएंट क्लिपिंग के साथ भी बनी रहती है।

कार्यप्रणाली: ट्रस्ट रीजन क्यू-एडजॉइंट मैचिंग (TRQAM)

TRQAM एक स्थिर ऑफ-पॉलिसी फाइन-ट्यूनिंग एल्गोरिदम प्रस्तावित करता है जो सीधे SOC सैंपलिंग डायनेमिक्स में एक ट्रस्ट-रीजन मैकेनिज्म (trust-region mechanism) को एकीकृत करता है। मुख्य नवाचार फाइन-ट्यून की गई पॉलिसी और प्रीट्रेंड प्रायर के बीच पाथ-स्पेस KL डाइवर्जेंस (path-space KL divergence) का अनुकूलन (adaptive control) है।

मुख्य सैद्धांतिक अंतर्दृष्टि

त्रुटियों का घातीय प्रवर्धन (Exponential Amplification of Errors): लेखक औपचारिक रूप से (लेम्मा 1) सिद्ध करते हैं कि फिक्स्ड-टेम्परेचर एडजॉइंट मैचिंग क्रिटिक त्रुटियों के घातीय प्रवर्धन का शिकार होता है। एक निश्चित $\beta$ न तो एक विश्वसनीय क्रिटिक का लाभ उठा सकता है और न ही एक अविश्वसनीय क्रिटिक से सुरक्षा कर सकता है।
$\lambda$ एक ट्रस्ट-रीजन पैरामीटर के रूप में: TRQAM एक स्केलर पैरामीटर $\lambda$ पेश करता है जो SOC SDE में डिफ्यूजन कोएफिशिएंट (diffusion coefficient) को $\sqrt{\lambda}$ से स्केल करता है।
सटीक KL पहचान (थ्योरम 1): गिरसानोव थ्योरम (Girsanov's theorem) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि डिफ्यूजन को $\sqrt{\lambda}$ से स्केल करने से पाथ-स्पेस KL डाइवर्जेंस $\lambda$ का एक सटीक, क्लोज्ड-फॉर्म फंक्शन बन जाता है:
$D_{KL}(P_u \parallel P_{base}) = \mathbb{E}_{X \sim P_u} \left[ \frac{1}{2\lambda} \int_0^1 \|u(X_\tau, \tau)\|^2 d\tau \right]$
यह $\lambda$ पैरामीटर और बेस पॉलिसी से विचलन के बीच एक सीधा संरचनात्मक संबंध स्थापित करता है।
टर्मिनल KL बाउंड (प्रपोजिशन 1): पाथ-स्पेस KL, टर्मिनल एक्शन डिस्ट्रीब्यूशन KL को अपर-बाउंड करता है, यह सुनिश्चित करता है कि प्रभावी रूप से नियंत्रित पाथ-स्पेस KL अंतिम पॉलिसी विचलन को सीमित करता है।

एल्गोरिथमिक फ्रेमवर्क

एक बाहरी KL लॉस पेनल्टी के रूप में KL टर्म जोड़ने के बजाय (जिसे स्ट्रॉन्ग क्रिटिक ग्रेडिएंट्स द्वारा ओवरराइड किया जा सकता है), TRQAM $\lambda$ को सैंपलिंग डायनेमिक्स के भीतर आंतरिक (internalize) बनाता है:

सैंपलिंग: कंट्रोल्ड SDE $\sqrt{\lambda}\sigma(\tau)$ डिफ्यूजन कोएफिशिएंट का उपयोग करता है। $\lambda$ को समायोजित करना SDE के स्वरूप को बदल देता है, जो नियंत्रित डायनेमिक्स को बेस डायनेमिक्स के करीब या उससे दूर खींचता है।
अनुकूलन (Adaptation): एल्गोरिदम $\lambda$ को गतिशील रूप से अनुकूलित करने के लिए प्रोजेक्टेड डुअल डिसेंट (projected dual descent) का उपयोग करता है। यह डिस्क्रीटाइज्ड OT मेमोरीलेस सैंपलर से प्राप्त मोंटे कार्लो सरोगेट के माध्यम से वास्तविक पाथ-स्पेस KL ( $\hat{D}_n$ ) का अनुमान लगाता है।
अपडेट नियम: $\lambda$ को एक लक्षित KL बजट $\epsilon_{KL}$ को लागू करने के लिए अपडेट किया जाता है:
$\lambda_{n+1} \leftarrow \max\{0, \lambda_n + \eta_\lambda (D_n - \epsilon_{KL})\}$
यदि वास्तविक KL बजट से अधिक हो जाता है, तो $\lambda$ बढ़ जाता है, जिससे डायनेमिक्स अधिक रूढ़िवादी (conservative) हो जाते हैं; यदि यह बजट से कम होता है, तो $\lambda$ घट जाता है, जिससे अधिक आक्रामक सुधार की अनुमति मिलती है।

मुख्य योगदान

नाजुकता की पहचान: यह शोध पत्र फिक्स्ड-टेम्परेचर एडजॉइंट मैचिंग में क्रिटिक त्रुटियों के घातीय प्रवर्धन की पहचान और औपचारिकता प्रदान करता है, जो रोबोमिकिक (Robomimic) जैसे बेंचमार्क पर मॉडल कोलैप्स की प्रवृत्ति को प्रदर्शित करता है।
सैद्धांतिक लिंक: यह सिद्ध करता है कि डिफ्यूजन कोएफिशिएंट को $\sqrt{\lambda}$ से स्केल करने से कंट्रोल कॉस्ट और पाथ-स्पेस KL के बीच एक सटीक पहचान बनती है, जो $\lambda$ को एक सिद्धांतपूर्ण ट्रस्ट-रीजन पैरामीटर में बदल देती है।
एल्गोरिदम डिज़ाइन: TRQAM को एक विधि के रूप में प्रस्तावित किया गया है जो $\lambda$ को SOC डायनेमिक्स के भीतर आंतरिक बनाता है और इसे डुअल डिसेंट के माध्यम से अनुकूलित करता है, जिससे सैंपलिंग स्तर पर KL बाउंड को लागू किया जाता है न कि एक सॉफ्ट लॉस पेनल्टी के रूप में।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोगों से पता चलता है कि TRQAM वहां स्थिर अभिसरण (stable convergence) प्राप्त करता है जहां पूर्ववर्ती विधियां विफल हो जाती हैं और स्टेट-ऑफ-द-आर्ट बेसलाइन्स को पछाड़ता है।

प्रयोगात्मक परिणाम

लेखक OGBench बेंचमार्क और Robomimic मैनिपुलेशन बेंचमार्क से 50 कार्यों पर TRQAM का मूल्यांकन करते हैं।

ऑफलाइन RL प्रदर्शन: OGBench पर, TRQAM 68% की समग्र सफलता दर प्राप्त करता है, जो सबसे मजबूत बेसलाइन (DSRL 46%) और पिछले एडजॉइंट-मैचिंग तरीकों (QAM 35%, QAM-E 45%) को काफी पीछे छोड़ देता है। लाभ विशेष रूप से लॉन्ग-होरिजन और कॉम्बिनेटोरियल कार्यों में स्पष्ट हैं।
स्थिरता: Robomimic पर, फिक्स्ड-टेम्परेचर विधियां (QAM, QAM-E) विभिन्न हाइपरपैरामीटर सेटिंग्स में फटने वाले एडजॉइंट लॉस (up to $10^{20}$ ) और शून्य के करीब सफलता दर प्रदर्शित करती हैं। इसके विपरीत, TRQAM सभी परीक्षण किए गए बजटों में स्थिर रहता है।
मैकेनिज्म वैलिडेशन: एब्लेशन अध्ययन पुष्टि करते हैं कि:
- अनुकूलन आवश्यक है: एडेप्टिव KL बजट फिक्स्ड बजट की तुलना में बेहतर प्रदर्शन करते हैं।
- आंतरिककरण (Internalization) आवश्यक है: SDE में $\lambda$ को आंतरिक बनाना (TRQAM) KL बजट को बारीकी से ट्रैक करता है, जबकि बाहरी KL रेगुलराइजेशन वास्तविक KL को लक्ष्य से बहुत दूर जाने देता है, जिससे प्रदर्शन में गिरावट आती है।
संवेदनशीलता: लक्षित KL बजट $\epsilon_{KL}$ एक पूर्वानु नियंत्रक (predictable control knob) के रूप में कार्य करता है; टाइट बजट आमतौर पर बेहतर प्रदर्शन देते हैं, हालांकि इष्टतम मान कार्य संरचना (जैसे puzzle-4x4 जैसे बड़े स्टेट स्पेस वाले कार्यों के लिए बड़े बजट फायदेमंद हैं) के साथ व्यवस्थित रूप से भिन्न होता है।

महत्व और दावे

शोध पत्र का दावा है कि TRQAM फ्लो पॉलिसियों के लिए मौजूदा ऑफ-पॉलिसी फाइन-ट्यूनिंग विधियों के लिए एक सिद्धांतपूर्ण, स्थिर विकल्प प्रदान करता है। गिरसानोव थ्योरम के माध्यम से सैंपलिंग डायनेमिक्स में ट्रस्ट-रीजन बाधा को आंतरिक बनाकर, TRQAM, QAM जैसी विधियों में होने वाले अपूर्ण क्रिटिक्स के कारण होने वाले "विनाशकारी विचलन" (destructive drift) से बचता है।

लेखक TRQAM को ऑन-पॉलिसी RL के लिए TRPO और PPO के ऑफ-पॉलिसी एनालॉग के रूप में प्रस्तुत करते हैं। उनका तर्क है कि प्रीट्रेंड फ्लो पॉलिसियों के लिए, जो मूल्यवान बिहेवियरल प्रायर के रूप में कार्य करते हैं, एक नियंत्रित विचलन बनाए रखना विनाशकारी विस्मृति (catastrophic forgetting) और मॉडल कोलैप्स को रोकने के लिए महत्वपूर्ण है। इस पद्धति को ऑफलाइन RL और ऑनलाइन फाइन-ट्यूनिंग के संक्रमण के लिए एक मजबूत समाधान के रूप में प्रस्तुत किया गया है, जो प्रीट्रेंड स्किल्स का लाभ उठाने के लिए एक विश्वसनीय तंत्र प्रदान करता है।