🤖 machine learning

SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

SAVGO एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो एक संयुक्त अवस्था-क्रिया एम्बेडिंग स्पेस (state-action embedding space) को सीखकर प्रतिनिधित्व शिक्षण (representation learning), मूल्य अनुमान (value estimation) और नीति अनुकूलन (policy optimization) को एकीकृत करता है, जहाँ कोसाइन समानता (cosine similarity) क्रिया-मूल्य अनुमानों (action-value estimates) को दर्शाती है, जिससे निरंतर नियंत्रण कार्यों (continuous control tasks) में नीति अपडेट को उच्च-मूल्य वाले क्षेत्रों की ओर निर्देशित किया जा सके।

मूल लेखक: Stavros Orfanoudakis, Pedro P. Vergara

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stavros Orfanoudakis, Pedro P. Vergara

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कुत्ते को चलना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहा जाता है। रोबोट अलग-अलग तरह की हरकतें करता है, अच्छा करने पर उसे एक "स्कोर" (इनाम) मिलता है, और वह अपनी गलतियों से सीखने की कोशिश करता है।

वर्तमान के अधिकांश तरीके एक ऐसे छात्र की तरह हैं जो केवल अगले कदम को देखता है। यदि रोबक एक कदम आगे बढ़ता है और उसे अच्छा स्कोर मिलता है, तो वह उस विशिष्ट कदम को दोहराना सीख जाता है। यदि वह एक कदम लेता है और उसे बुरा स्कोर मिलता है, तो वह उस विशिष्ट कदम से बचना सीख जाता है। यह बहुत ही स्थानीय (local), बहुत ही सतर्क है, और कभी-कभी छोटे, अक्षम आंदोलनों के चक्र में फंस जाता है।

यह पेपर एक नई विधि पेश करता है जिसे SAVGO (स्टेट-एक्शन वैल्यू ज्योमेट्री ऑप्टिमाइज़ेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "मानसिक मानचित्र" (ज्यामिति/Geometry)

कल्पना कीजिए कि रोबोट के दिमाग में एक विशाल, अदृश्य 3D मानचित्र है। इस मानचित्र पर, रोबोट द्वारा की जा सकने वाली हर संभावित हरकत एक बिंदु (dot) है।

पुराना तरीका: रोबोट केवल एक-एक करके बिंदुओं को देखता है। "बिंदु A ने मुझे इनाम दिया। बिंदु B ने मुझे झटका दिया।"
SAVGO का तरीका: रोबोट यह सीखता है कि समान स्कोर वाले बिंदुओं को मानचित्र पर एक-दूसरे के करीब होना चाहिए, और बहुत अलग स्कोर वाले बिंदुओं को एक-दूसरे से दूर होना चाहिए।

SAVGO रोबोट को इन बिंदुओं को उनकी "अच्छाई" के आधार पर व्यवस्थित करना सिखाता है। यदि दो अलग-अलग पैर की हरकतें एक शानदार चाल का परिणाम देती हैं, तो रोबोट अपने मानसिक मानचित्र में उन्हें एक-दूसरे के बिल्कुल बगल में रखना सीख जाता है। यदि एक हरकत शानदार है और दूसरी बहुत खराब है, तो वह उन्हें मानचित्र के विपरीत दिशाओं में धकेल देता है।

2. "समूह मतदान" (पॉलिसी अपडेट)

यह सबसे महत्वपूर्ण हिस्सा है। जब रोबोट को यह तय करने की आवश्यकता होती है कि आगे क्या करना है, तो वह केवल एक एकल गतिविधि को नहीं चुनता और उसमें थोड़ा सुधार करने की कोशिश नहीं करता।

इसके बजाय, यह "समूह मतदान" (Group Voting) का खेल खेलता है:

यह एक "उम्मीदवार" (candidate) हरकत चुनता है (एक रैंडम अनुमान)।
यह अपने मानसिक मानचित्र से पूछता है: "इस उम्मीदवार के पास और कौन खड़ा है?"
यह समान हरकतों का एक समूह (पड़ोसी) इकट्ठा करता है और उन सभी से पूछता है, "हम कितने अच्छे हैं?"
यह इस पूरे समूह का एक भारित औसत (weighted average) निकालता है।

उपमा:
कल्पना कीजिए कि आप एक शहर में सबसे अच्छा रेस्टोरेंट खोजने की कोशिश कर रहे हैं।

पुराना तरीका: आप एक रेस्टोरेंट चुनते हैं, खाने का स्वाद लेते हैं, और यदि वह अच्छा है, तो अगली बार वहीं जाते हैं। यदि वह खराब है, तो आप फिर कभी वहां नहीं जाते।
SAVGO का तरीका: आप एक रेस्टोरेंट चुनते हैं, लेकिन फिर आप उसके आसपास के इलाके को देखते हैं। आप पूछते हैं, "क्या आस-पास और भी रेस्टोरेंट हैं जो उच्च रेटिंग वाले हैं?" यदि पूरा इलाका 5-स्टार जगहों से भरा है, तो आप जानते हैं कि आप एक "अच्छे क्षेत्र" में हैं। फिर आप अपने निर्णय को केवल उस एक स्थान की ओर नहीं, बल्कि उस पूरे क्षेत्र की ओर मोड़ देते हैं।

3. यह क्यों महत्वपूर्ण है

इस पेपर ने बहुत कठिन कार्यों पर परीक्षण किया, जैसे कि एक डिजिटल मानव को चलना सिखाना (जिसे "ह्यूमनॉइड" कहा जाता है) या एक डिजिटल चींटी को चलाना। ये किसी रस्सी पर संतुलन बनाने और साथ ही करतब दिखाने (juggling) जैसा है; इसमें विफल होने के हजारों सूक्ष्म तरीके हैं।

परिणाम: क्योंकि SAVGO अच्छी हरकतों के "आकार" (ज्यामिति) को देखता है और समान उम्मीदवारों के पूरे समूह से सीखता है, इसलिए यह पुराने तरीकों की तुलना में तेजी से और अधिक स्थिरता के साथ सीखता है।
चुनौती: इस "समूह मतदान" को करने के लिए थोड़े अधिक कंप्यूटर पावर की आवश्यकता होती है क्योंकि इसे एक साथ कई उम्मीदवारों की जांच करनी पड़ती है। हालांकि, पेपर दिखाता है कि सबसे कठिन कार्यों के लिए, यह अतिरिक्त प्रयास सार्थक है क्योंकि रोबोट इससे बहुत बेहतर सीखता है।

सारांश

SAVGO रोबोट की सीखने की शैली को "विशिष्ट उत्तरों को याद करने" से बदलकर "अच्छे उत्तरों के परिदृश्य (landscape) को समझने" में अपग्रेड करने जैसा है। केवल सही दिशा में एक छोटा कदम उठाने के बजाय, यह अच्छी संभावनाओं की पूरी पहाड़ी को देखता है और अधिक आत्मविश्वास के साथ उसके शिखर की ओर बढ़ता है।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह अभी वीडियो गेम (जैसे अटरी/Atari) के लिए काम करता है; यह चलने या दौड़ने जैसी निरंतर गतिविधियों पर केंद्रित है।
यह दावा नहीं करता कि यह रोबोट की सभी समस्याओं को ठीक कर देता है; यह विशेष रूप से तब मदद करता है जब रोबोट के पास हिलने-डुलने के कई अलग-अलग तरीके हों (high-dimensional tasks)।
यह चिकित्सा या नैदानिक उपयोगों का उल्लेख नहीं करता है; यह पूरी तरह से कंप्यूटर सिमुलेशन में रोबोट को प्रशिक्षित करने के बारे में है।

यहाँ शोध पत्र "SAVGO: Learning State–Action Value Geometry with Cosine Similarity for Continuous Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप रीइन्फोर्समेंट लर्निंग (RL), विशेष रूप से SAC और TD3 जैसे ऑफ-पॉलिसी एक्टर-क्रिटिक (off-policy actor-critic) विधियों ने निरंतर नियंत्रण (continuous control) में सफलता प्राप्त की है, लेकिन वे उच्च-आयामी (high-dimensional) वातावरणों में सैंपल इनएफिशिएंसी (sample inefficiency) और अस्थिरता (instability) से सीमित हैं।

वर्तमान सीमाएँ: हालांकि रिप्रेजेंटेशन लर्निंग (जैसे कंट्रास्टिव लर्निंग) ने डेटा दक्षता में सुधार किया है, लेकिन इसे आमतौर पर एक सहायक कार्य (auxiliary task) के रूप में माना जाता है। पॉलिसी अपडेट चरण आमतौर पर स्थानीय ग्रेडिएंट डिसेंट (local gradient descent) पर निर्भर करता है, जो सीखे गए लेटेंट स्पेस (latent space) की वैश्विक ज्यामितीय संरचना (global geometric structure) की उपेक्षा करता है।
अंतराल (The Gap): मौजूदा समानता-आधारित विधियाँ अक्सर रिप्रेजेंटेशन को नियमित करने या वैल्यू टारगेट को आकार देने के लिए दूरियों (distances) का उपयोग करती हैं, लेकिन वे इन ज्यामितीय संबंधों को सीधे एक्शन स्पेस में पॉलिसी अपडेट को निर्देशित करने वाले प्रथम-श्रेणी के ऑपरेटरों (first-class operators) के रूप में शायद ही कभी उपयोग करती हैं। फलस्वरूप, पॉलिसी सुधार स्थानीय रहते हैं और वैश्विक वैल्यू लैंडस्केप से कमजोर रूप से सूचित होते हैं।

2. कार्यप्रणाली: SAVGO

लेखक स्टेट-एक्शन वैल्यू ज्योमेट्री ऑप्टिमाइज़ेशन (SAVGO) का प्रस्ताव करते हैं, जो एक ज्योमेट्री-अवेयर ऑफ-पॉलिसी एक्टर-क्रिटिक एल्गोरिदम है जो पॉलिसी अपडेट तंत्र में वैल्यू-आधारित समानता को स्पष्ट रूप से एकीकृत करता है।

A. वैल्यू-अवेयर स्टेट-एक्शन ज्योमेट्री लर्निंग

SAVGO स्टेट-एक्शन पेयर्स $(s, a)$ के लिए एक संयुक्त एम्बेडिंग स्पेस सीखता है जहाँ ज्यामितीय दूरी (विशेष रूप से कोसाइन सिमिलरिटी) अपेक्षित उपयोगिता (Q-values) में समानता को दर्शाती है।

एनकोडर (Encoder): एक न्यूरल नेटवर्क $z_\psi(s, a)$ स्टेट-एक्शन पेयर्स को $d$ -आयामी एम्बेडिंग स्पेस में मैप करता है।
टारगेट कंस्ट्रक्शन (Target Construction): किसी भी स्टेट-एक्शन टुपल $(s_i, a_i)$ और $(s_j, a_j)$ के लिए, उनके Q-वैल्यूज़ के अंतर के आधार पर एक सामान्यीकृत वैल्यू गैप $\Delta_{i,j}$ की गणना की जाती है।
कर्वेचर मैपिंग (Curvature Mapping): इस वैल्यू गैप को एक बाउंडेड कर्वेचर ट्रांसफॉर्मेशन का उपयोग करके टारगेट कोसाइन सिमिलरिटी $Y_{i,j}$ में मैप किया जाता है:
$Y_{i,j} = 1 - 2(\Delta_{i,j})^\lambda$
जहाँ $\lambda$ संवेदनशीलता (sensitivity) को नियंत्रित करता है। छोटे अंतराल (समान वैल्यू) उच्च समानता ( $\approx 1$ ) की ओर मैप होते हैं, जबकि बड़े अंतराल कम/नकारात्मक समानता की ओर मैप होते हैं।
लॉस फंक्शन (Loss Function): एनकोडर को अनुमानित कोसाइन सिमिलरिटी और टारगेट $Y_{i,j}$ के बीच रिग्रेशन लॉस को कम करने के लिए प्रशिक्षित किया जाता है। यह एम्बेडिंग स्पेस को इस तरह व्यवस्थित करने के लिए मजबूर करता है कि समान वैल्यू वाले एक्शन यूनिट हाइपरस्फीयर (unit hypersphere) पर एक साथ क्लस्टर हों।

B. ज्योमेट्री-अवेयर पॉलिसी इम्प्रूवमेंट

मानक पॉइंटवाइज ग्रेडिएंट अपडेट के बजाय, SAVGO कैंडिडेट एक्शन्स पर एक सिमिलरिटी-वेटेड एग्रीगेशन (similarity-weighted aggregation) करता है।

सैंपलिंग (Sampling): वर्तमान पॉलिसी से एक "एंकर" एक्शन $\hat{a}_t$ लिया जाता है। इसके अतिरिक्त, एक प्रपोजल डिस्ट्रीब्यूशन से $K$ कैंडिडेट एक्शन्स $\{a^k_t\}$ लिए जाते हैं।
एम्बेडिंग और स्कोरिंग (Embedding & Scoring): दोनों एंकर और कैंडिडेट को $z_\psi$ के माध्यम से एम्बेड किया जाता है। कैंडिडेट को एक कंजर्वेटिव क्रिटिक एस्टीमेट ( $\min Q$ ) का उपयोग करके स्कोर किया जाता है।
कर्नेल वेटिंग (Kernel Weighting): एंकर एम्बेडिंग और कैंडिडेट एम्बेडिंग के बीच कोसाइन सिमिलरिटी को टेम्परेचर-कंट्रोल्ड सॉफ्टमैक्स का उपयोग करके एक प्रोबेबिलिटी डिस्ट्रीब्यूशन (सिमिलरिटी कर्नेल) में बदला जाता है:
$w_k = (1-\epsilon)\frac{\exp(\cos(\hat{\zeta}_t, \zeta^k_t)/\rho)}{\sum \exp(\dots)} + \frac{\epsilon}{K}$
यह प्रत्येक कैंडिडेट के लिए एक वेट $w_k$ बनाता है जो वैल्यू-अवेयर स्पेस में एंकर के ज्यामितीय निकटता पर आधारित होता है।
एग्रीगेटेड अपडेट (Aggregated Update): पॉलिसी को एक सिमिलरिटी-वेटेड वैल्यू एस्टीमेट को मैक्सिमाइज करने के लिए अपडेट किया जाता है:
$\hat{Q}(s_t, \hat{a}_t) = \sum_{k=1}^K w_k Q(s_t, a^k_t)$
यह पॉलिसी को उच्च वैल्यू वाले क्षेत्रों की ओर खींचने की अनुमति देता है जो कच्चे एक्शन स्पेस में तुरंत आस-पास नहीं हो सकते हैं, लेकिन सीखे गए वैल्यू ज्योमेट्री में "करीब" हैं।

3. मुख्य योगदान

एकीकृत उद्देश्य (Unified Objective): SAVGO का प्रस्ताव करता है, जो रिप्रेजेंटेशन लर्निंग, वैल्यू एस्टीमेशन और पॉलिसी ऑप्टिमाइज़ेशन को एक एकल ज्योमेट्री-कंसिस्टेंट ऑब्जेक्टिव में एकीकृत करता है, जो रिप्रेजेंटेशन लर्निंग को केवल एक रेगुलराइज़र के रूप में मानने से आगे बढ़ता है।
नया पॉलिसी ऑपरेटर (Novel Policy Operator): एक ज्योमेट्री-अवेयर पॉलिसी इम्प्रूमेंट ऑपरेटर व्युत्पन्न करता है जो कैंडिडेट एक्शन्स को वेट करने के लिए सीखे गए कोसाइन सिमिलरिटीज़ का उपयोग करता है, जिससे केवल स्थानीय ग्रेडिएंट्स के बजाय वैश्विक वैल्यू स्ट्रक्चर द्वारा निर्देशित पॉलिसी अपडेट संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): MuJoCo बेंचमार्क पर मजबूत बेसलाइन्स (SAC, TD3, TQC, PPO) पर निरंतर सुधार प्रदर्शित करता है, विशेष रूप से उच्च-आयामी कार्यों में।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन 1 मिलियन एनवायरनमेंट स्टेप्स के निश्चित बजट के साथ MuJoCo v5 निरंतर नियंत्रण सुइट पर किया गया।

प्रदर्शन (Performance): SAVGO ने पूरे सुइट में उच्चतम कुल रिवॉर्ड्स प्राप्त किए, जिसमें सबसे महत्वपूर्ण लाभ चुनौतीपूर्ण, उच्च-आयामी कार्यों पर देखा गया:
- Humanoid: SAVGO (7687) ने TQC (6330) और SAC (5351) को काफी पीछे छोड़ दिया।
- Walker2d: SAVGO (5626) ने TQC (4952) और SAC (4693) से बेहतर प्रदर्शन किया।
- Ant & HalfCheetah: प्रतिस्पर्धी या बेहतर प्रदर्शन और कम वेरिएंस।
सैंपल एफिशिएंसी (Sample Efficiency): SAVGO ने बेसलाइन्स की तुलना में तेज़ शुरुआती लर्निंग और स्मूथ कन्वर्जेंस दिखाया।
एब्लेशन स्टडीज (Ablation Studies):
- कर्वेचर ( $\lambda$ ): $\lambda$ के 1.0–1.5 के आसपास के मानों ने स्थिरता और प्रदर्शन के बीच सबसे अच्छा संतुलन प्रदान किया।
- कैंडिडेट काउंट ( $K$ ): मध्यम मानों (जैसे Humanoid के लिए $K=128$ ) ने इष्टतम परिणाम दिए; बहुत कम कैंडिडेट से वेरिएंस बढ़ा, जबकि बहुत अधिक कैंडिडेट से मिलने वाला लाभ कम हो गया।
- घटकों की आवश्यकता: एडेप्टिव टेम्परेचर, रिप्रेजेंटेशन लॉस (एनकोडर को फ्रीज करना), या एडेप्टिव वैल्यू स्केलिंग को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई। सिमिलरिटी कर्नेल को यूनिफॉर्म वेट्स से बदलने पर एल्गोरिदम विफल हो गया, जो ज्योमेट्री-अवेयर वेटिंग की आवश्यकता को सिद्ध करता है।

5. महत्व और सीमाएँ

महत्व:

अंतराल को पाटना: SAVGO सफलतापूर्वक रिप्रेजेंटेशन लर्निंग और पॉलिसी ऑप्टिमाइज़ेशन के बीच के अंतर को पाटता है, यह दिखाता है कि लेटेंट स्पेस की ज्योमेट्री का उपयोग निर्णय लेने में सुधार के लिए सीधे किया जा सकता है।
मजबूती (Robustness): कई कैंडिडेट को वैल्यू-सिमिलरिटी द्वारा वेट करने के आधार पर एग्रीगेट करके, यह विधि मानक ग्रेडिएंट-आधारित अपडेट की तुलना में क्रिटिक नॉइज़ और लोकल मिनिमा के प्रति अधिक मजबूत है।
स्केलेबिलिटी: यह $K$ के रैखिक (linear) कम्प्यूटेशनल ओवरहेड के साथ ऑफ-पॉलिसी एक्टर-क्रिटिक विधियों की स्केलेबिलिटी को बनाए रखता है।

सीमाएँ:

कम्प्यूटेशनल लागत (Computational Cost): विधि के लिए प्रति स्टेट $K$ कैंडिडेट का मूल्यांकन करना आवश्यक है, जिससे यह मानक SAC/TD3 की तुलना में धीमी हो जाती है (प्रयोगों में 1M स्टेप्स के लिए लगभग 8 घंटे बनाम 2 घंटे)।
क्रिटिक डिपेंडेंसी (Critic Dependency): विधि यह मानती है कि क्रिटिक एक उचित रूप से सुसंगत रैंकिंग प्रदान करता है; गंभीर क्रिटिक नॉइज़ सिमिलरिटी वेट्स को अस्थिर कर सकती है।
डिस्क्रीट एक्शन्स (Discrete Actions): डिस्कंटीन्यूअस एक्शन्स के लिए निरंतर कैंडिडेट प्रपोजल और स्टेट-एक्शन ज्योमेट्री को परिभाषित करने की कठिनाई के कारण, इसे डिस्क्रीट एक्शन स्पेस (जैसे Atari) तक विस्तारित करना गैर-तुच्छ (non-trivial) है।

निष्कर्षतः, SAVGO निरंतर नियंत्रण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो वैल्यू फंक्शन के "आकार" को पॉलिसी इम्प्रूवमेंट के प्रत्यक्ष चालक के रूप में बनाता है, जिससे जटिल, उच्च-आयामी वातावरणों में बेहतर प्रदर्शन प्राप्त होता है।