TRAM: Test-Time Risk Adaptation with Mixture of Agents

तकनीकी सारांश: TRAM (टेस्ट-टाइम रिस्क एडेप्टेशन वाया मिक्सचर ऑफ एजेंट्स)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) परिनियोजन में एक महत्वपूर्ण अंतराल को संबोधित करता है: सुरक्षा विशिष्टताएँ (safety specifications) अक्सर प्रशिक्षण के बाद बदल जाती हैं। एक एजेंट को स्रोत कार्यों (source tasks) के एक सेट पर प्रशिक्षित किया जा सकता है, लेकिन उसे एक ऐसे वातावरण में तैनात किया जा सकता है जहाँ नए खतरा मानचित्र (hazard maps), संशोधित जोखिम सीमाएँ (risk thresholds), या अलग व्यवहार संबंधी संरेखण बाधाएं (जैसे कि एक नया संदर्भ व्यवहार) मौजूद हों।

मौजूदा जोखिम-संवेदनशील RL विधियाँ आमतौर पर प्रशिक्षण चरण के दौरान जोखिम मॉडल (जैसे विचरण/variance, CVaR, या एक विशिष्ट बाधा) को स्थिर कर देती हैं। यह दृष्टिकोण भंगुर (brittle) है क्योंकि:

1. अति-विशिष्टीकरण (Over-specialization): एक विशिष्ट जोखिम प्रॉक्सी (जैसे रिटर्न का विचरण) के साथ प्रशिक्षण करने से स्रोत नीतियों की विविधता समाप्त हो सकती है, जिससे वे व्यवहार खत्म हो जाते हैं जो भविष्य के किसी भिन्न जोखिम विनिर्देश के तहत सुरक्षित हो सकते थे।
2. अपर्याप्त जोखिम प्रतिनिधित्व (Inadequate Risk Representation): विचरण-आधारित जोखिम स्थानिक खतरों (जैसे बाधा के निकटता), व्यवहारिक विचलन (behavioral drift), या स्थानीय अस्थिरता को पकड़ने में विफल रहते हैं, विशेष रूप से नियत (deterministic) सेटिंग्स में जहाँ प्रक्षेपवक्र रिटर्न का विचरण शून्य होता है।
3. पुनः प्रशिक्षण लागत (Retraining Costs): एक नए जोखिम विनिर्देश के अनुकूल होने के लिए आमतौर पर पुनः प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा है और मॉडल तैनात होने के बाद अक्सर अव्यवहारिक होता है।

शोध पत्र इस समस्या को जीरो-अपडेट डिप्लॉयमेंट-टाइम एडेप्टेशन के रूप में औपचारिक रूप देता है। लक्ष्य एक निश्चित जोखिम-तटस्थ स्रोत नीतियों $\{\pi_j\}$ के पुस्तकालय का पुन: उपयोग करना है ताकि परीक्षण समय पर एक नए निर्दिष्ट जोखिम फलनकल $\rho(\pi)$ को संतुष्ट किया जा सके, बिना किसी स्रोत पैरामीटर को बदले। उद्देश्य अपेक्षित रिटर्न $J(\pi)$ को अधिकतम करना है, जबकि एक जोखिम बाधा $\rho(\pi) \le \delta$ को संतुष्ट करना है, जिसे एक दंडित सरोगेट (penalized surrogate) के माध्यम से अनुमानित किया जाता है:
$$\max_{\pi} \tilde{J}_c(\pi) = J(\pi) - c \rho(\pi)$$

2. कार्यप्रणाली: TRAM

प्रस्तावित विधि, TRAM, जोखिम विनिर्देश से स्रोत प्रशिक्षण को अलग करती है। यह दो चरणों में कार्य करती है:

चरण 1: जोखिम-तटस्थ स्रोत प्रशिक्षण (Risk-Neutral Source Training)
स्रोत नीतियों को मानक, जोखिम-तटस्थ उद्देश्यों का उपयोग करके संबंधित स्रोत कार्यों पर प्रशिक्षित किया जाता है। यह एक विविध "व्यवहारत्मक आवरण" (behavioral hull) को संरक्षित करता है, यह सुनिश्चित करते हुए कि पुस्तकालय में व्यापक ऑक्यूपेंसी वितरण (state-action visitation patterns) शामिल हैं जिन्हें बाद में पुनर्संयोजित किया जा सकता है।

** चरण 2: टेस्ट-टाइम सोर्स स्कोरिंग और कंपोजिशन (Test-Time Source Scoring and Composition)**
परिनियोजन (deployment) के समय, TRAM पुनः प्रशिक्षण नहीं करता है। इसके बजाय, यह एक सोर्स-स्कोर कंपोजिशन नियम के आधार पर स्रोत पुस्तकालय से क्रियाओं का चयन करके एक तैनात नीति $\pi_T$ का निर्माण करता है।

1. जोखिम मूल्यांकन (Risk Evaluation): प्रत्येक स्रोत नीति $\pi_j$ के लिए, TRAM एक कैश किए गए, वैश्विक ऑक्यूपेंसी-आधारित जोखिम स्कोर $\rho(d_{\pi_j})$ की गणना करता है। यह डिस्काउंटेड स्टेट-एक्शन ऑक्यूपेंसी $d_\pi$ पर परिभाषित लचीले जोखिम फलनों की अनुमति देता है, जैसे:
   • बैरियर एक्सपोजर (Barrier Exposure): खतरे वाले क्षेत्र के पास बिताया गया समय।
   • व्यवहार विचलन (Behavioral Divergence): एक सुरक्षित संदर्भ व्यवहार से KL-डाइवर्जेंस।
   • स्थानीय अस्थिरता (Local Volatility): ऑक्यूपेंसी में प्रति-चरण उतार-चढ़ाव।
2. वैल्यू एस्टीमेशन (Value Estimation): प्रत्येक स्रोत के लिए लक्षित-कार्य मान $Q^{\pi_j}_T(s, a)$ वर्तमान स्थिति $s$ पर अनुमानित किया जाता है। यह सक्सेसर फीचर्स (Successors Features - SFs) का उपयोग करके एक डॉट प्रोडक्ट $Q^{\pi_j}_T(s, a) = \psi_{\pi_j}(s, a)^\top w_T$, या रोलआउट्स/क्रिटिक्स के माध्यम से कुशलतापूर्वक किया जा सकता है।
3. क्रिया चयन (Action Selection): तैनात क्रिया को जोखिम-समायोजित स्रोत स्कोर को अधिकतम करके चुना जाता है:
   $$S_j(s, a) = Q^{\pi_j}_T(s, a) - c \rho(d_{\pi_j})$$
   सक्रिय स्रोत प्रक्षेपवपथ (trajectory) के साथ बदल सकता है, जिससे एक "स्थानीय रूप से स्टिच्ड" (locally stitched) नीति बनती है जो वर्तमान स्थिति और विशिष्ट जोखिम विनिर्देश के प्रति प्रतिक्रिया देती है।

सैद्धांतिक गारंटी (Theoretical Guarantees):
शोध पत्र स्पष्ट रूप से TRAM को एक ट्रैकेबल सोर्स-स्कोर सरोगेट के रूप में फ्रेम करता है, न कि स्टिच्ड नीति के पूर्ण ऑक्यूपेंसी-कंट्रोल समस्या के सटीक ऑप्टिमाइज़र के रूप में।

• स्थानीयकृत सीमाएँ (Localized Bounds): सैद्धांतिक विश्लेषण (थ्योरम 4.1) अनुकूलतम जोखिम-तटस्थ नीति के सापेक्ष TRAM नीति की उप-इष्टतमता (suboptimality) पर सीमाएँ प्रदान करता है। यह सीमा लक्षित और सर्वोत्तम-मिलान वाले स्रोत के बीच स्थानीयकृत रिवॉर्ड मिसमैच, और जोखिम दंड भार $c$ तथा जोखिम फलन के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) के समानुपाती पद पर निर्भर करती है।
• सोर्स-हल मिसमैच (Source-Hull Mismatch): शोध पत्र स्वीकार करता है कि स्टिच्ड नीति का वास्तविक ऑक्यूपेंसी, स्रोत ऑक्यूपेंसी के उत्तल आवरण (convex hull) से भिन्न हो सकता है। परिशिष्ट C एक मापने योग्य "स्टिचिंग मिसमैच" पद ($\epsilon_{stitch}$) पेश करता है जो कैश किए गए स्रोत जोखिमों और तैनात नीति के वास्तविक जोखिम के बीच के अंतर को पाटता है।

3. मुख्य योगदान

1. जीरो-अपडेट एडेप्टेशन का औपचारिक रूप: शोध पत्र बिना पैरामीटर अपडेट के नए निर्दिष्ट ऑक्यूपेंसी-आधारित जोखिमों के अनुकूल होने के लिए निश्चित स्रोत नीतियों को अनुकूलित करने की सेटिंग को औपचारिक रूप देता है।
2. TRAM एल्गोरिदम: एक सोर्स-स्कोर कंपोजिशन नियम का परिचय जो टेस्ट-टाइम पर विविध प्रकार के जोखिमों (बैरियर, डाइवर्जेंस, वोलैटिलिटी) का समर्थन करता है, जो विचरण जैसे निश्चित सरोगेट्स से जुड़ी विधियों के विपरीत है।
3. सैद्धांतिक आधार:
   • यह प्रमाण कि जोखिम-तटस्थ स्रोत प्रशिक्षण सबसे खराब स्थिति वाले परिनियोजन-जोखिम पछतावे (worst-case deployment-risk regret) को कम करता है (थ्योरम 4.3), जिससे सबसे व्यापक पुन: प्रयोज्य ऑक्यूपेंसी हल सुरक्षित रहता है।
   • स्थानीयकृत स्थानांतरण गारंटी (Localized transfer guarantees) रिवॉर्ड ट्रांसफर की गुणवत्ता को परिनियोजन-जोखिम दंड से अलग करती है।
   • कैश किए गए स्रोत जोखिमों और वास्तविक नीति जोखिमों के बीच के "स्टिचिंग मिसमैच" का विश्लेषण।
4. अनुभवजन्य सत्यापन (Empirical Validation): चार अलग-अलग डोमेन में प्रदर्शन:
   • ग्रिडवर्ल्ड्स (Gridworlds): अभिव्यंजक जोखिम मॉडलिंग (स्थानिक खतरे, प्रति-चरण अस्थिरता) को प्रमाणित करना जहाँ विचरण-आधारित विधियाँ विफल रहती हैं।
   • MuJoCo Reacher: निरंतर नियंत्रण में बैरियर उल्लंघन को कम करते हुए लक्ष्य प्रदर्शन को बनाए रखना।
   • Safety-Gymnasium: फ्रोजन सेफ्टी प्रॉक्सी और विचरण-आधारित बेसलाइन्स की तुलना में कम बैरियर-हिट संभावना प्राप्त करना।
   • LLM अलाइनमेंट: बिना फाइन-ट्यूनिंग के नए व्यवहारिक जोखिम बाधाओं (सुरक्षित संदर्भ के प्रति KL) के लिए स्थिर 7B लैंग्वेज मॉडल्स को अनुकूलित करना, जो शुद्ध रिवॉर्ड-मैक्सिमाइजेशन की तुलना में बेहतर अलाइनमेंट दिखाता है।

4. परिणाम

प्रयोग दर्शाते हैं कि TRAM बिना पुनः प्रशिक्षण की आवश्यकता के, रिवॉर्ड प्रदर्शन को बनाए रखते हुए परिनियोजन सुरक्षा (खतरा एक्सपोजर या बैरियर हिट को कम करना) में लगातार सुधार करता है।

• ग्रिडवर्ल्ड्स में, TRAM सफलतापूर्वक स्थानिक खतरों से बचता है और बदलते जोखिम स्थितियों के अनुकूल होता है, जबकि जोखिम-जागरूक बेसलाइन्स (जैसे RaSF) या तो समान रूप से रूढ़िवादी रहते हैं या स्थानिक जोखिमों का पता लगाने में विफल रहते हैं।
• Reacher में, जब प्रशिक्षण के बाद एक नया बैरियर पेश किया गया, तो TRAM ने लक्ष्य से दूरी पर न्यूनतम प्रभाव के साथ विफलता दर को 85% से घटाकर 26% कर दिया।
• Safety-Gymnasium में, TRAM ने सबसे कम बैरियर-हिट संभावना (बेसलाइन्स के लिए 0.502 के मुकाबले 0.209) और प्रतिस्पर्धी नॉर्मलाइज्ड CVaR प्राप्त किया।
• LLM अलाइनमेंट में, TRAM ने ऐसे रिस्पॉन्स उत्पन्न किए जिन्हें GPT-4 पेयरवाइज तुलना में जोखिम-मुक्त ट्रांसफर नीतियों की तुलना में अधिक पसंद किया गया, जो दर्शाता है कि यह विधि उच्च-आयामी टेक्स्ट स्पेस में रिवॉर्ड-मॉडल ओवर-ऑप्टिमाइजेशन को रोक सकती है।

5. महत्व और दावे

शोध पत्र दावा करता है कि TRAM RL सिस्टम के लिए एक मॉड्यूलर परिनियोजन परत (modular deployment layer) प्रदान करता है। इसका प्राथमिक महत्व जोखिम निर्णय को प्रशिक्षण चरण से परिनियोजन चरण में स्थानांतरित करना है।

• मॉड्यूलरिटी: यह ऑपरेटरों को स्रोत व्यवहार सीखे जाने के बाद सुरक्षा आवश्यकताओं (खतरा मानचित्र, व्यवहारिक संदर्भ) को निर्दिष्ट करने की अनुमति देता है।
• दक्षता: यह टेस्ट-टाइम पर नए कंस्ट्रेंड MDP को हल करने या पुनः प्रशिक्षण की कम्प्यूटेशनल लागत से बचता है, इसके बजाय तेज़ सोर्स स्कोरिंग पर निर्भर करता है।
• दायरे के बारे में ईमानदारी: लेखक अपने दावों के प्रति विनम्र हैं, स्पष्ट रूप से कहते हैं कि TRAM एक सरोगेट विधि है। यह दावा नहीं करता है कि यह स्टिच्ड नीति की पूर्ण ऑक्यूपेंसी-कंट्रोल समस्या को सटीक रूप से हल करता है। इसके बजाय, यह स्रोत-हल प्रॉक्सी और वास्तविक जोखिम के बीच के अंतर पर एक मापने योग्य सीमा प्रदान करता है, जो इसे उन परिदृश्यों के लिए एक व्यावहारिक ह्यूरिस्टिक बनाता है जहाँ जोखिम विनिर्देश गतिशील हैं और पुनः प्रशिक्षण प्रतिबंधित है।

यह कार्य सुझाव देता है कि कई परिनियोजन परिदृश्यों (रोबोटिक्स, नेविगेशन, LLMs) के लिए, प्रत्येक संभावित भविष्य की बाधा के लिए विशिष्ट, जोखिम-जागरूक नीतियों को प्रशिक्षित करने के बजाय, एक विविध, जोखिम-तटस्थ व्यवहार पुस्तकालय बनाए रखना और उन्हें टेस्ट-टाइम स्कोरिंग के माध्यम से संयोजित करना एक अधिक मजबूत रणनीति है।