🤖 machine learning

CMAD: Cooperative Multi-Agent Diffusion via Stochastic Optimal Control

यह शोध पत्र CMAD का प्रस्ताव करता है, जो एक नवीन ढांचा है जो कई पूर्व-प्रशिक्षित डिफ्यूजन मॉडलों के संयोजन को एक सहकारी स्टोकेस्टिक ऑप्टिमल कंट्रोल समस्या के रूप में पुनर्गठित करता है, जहाँ परस्पर क्रिया करने वाले एजेंट संभाव्यता घनत्वों के बीजगणितीय संयोजनों पर निर्भर रहने के बजाय एक साझा उद्देश्य की ओर अपनी डिफ्यूजन प्रक्षेपवक्रों को संयुक्त रूप से निर्देशित करते हैं।

मूल लेखक: Riccardo Barbano, Alexander Denker, Zeljko Kereta, Runchang Li, Francisco Vargas

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Riccardo Barbano, Alexander Denker, Zeljko Kereta, Runchang Li, Francisco Vargas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास कलाकारों की एक टीम है, जिनमें से प्रत्येक को चित्र के एक विशिष्ट भाग को चित्रित करने के लिए प्रशिक्षित किया गया है। एक कलाकार चेहरे के ऊपरी आधे हिस्से को बनाने में माहिर है, दूसरा निचले आधे हिस्से का जादूगर है, और तीसरा जानता है कि आँखों को बिल्कुल सटीक तरीके से कैसे पेंट किया जाए।

AI इमेज जनरेशन की दुनिया में, इन "कलाकारों" को डिफ्यूजन मॉडल (diffusion models) कहा जाता है। आमतौर पर, यदि आप उनके कौशल को मिलाना चाहते हैं, तो आप गणितीय रूप से उनके "विचारों" (प्रोबेबिलिटी डेंसिटी) को आपस में मिलाने की कोशिश करते हैं। यह शोध पत्र तर्क देता है कि यह दो अलग-अलग रेसिपी को मिलाने की कोशिश करने जैसा है—जैसे कि केवल सामग्रियों को एक कटोरे में डाल देना और इस उम्मीद में रहना कि वे पूरी तरह से मिल जाएंगी। यह अक्सर अव्यवस्थित परिणाम देता है क्योंकि आपको वास्तव में वह अंतिम रेसिपी पता नहीं होती जिसे आप लक्षित कर रहे हैं।

CMAD (Cooperative Multi-Agent Diffusion) इस समस्या को सोचने का एक बिल्कुल अलग तरीका प्रस्तावित करता है। यह समस्याओं को केवल मिश्रण बनाने के बजाय, एक सहकारी नृत्य (cooperative dance) या एक टीम स्पोर्ट्स की तरह देखता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. एजेंटों की टीम

कल्पना कीजिए कि तीन एजेंट (AI मॉडल) एक पंक्ति में खड़े हैं।

एजेंट 1 चित्र की ऊपरी पट्टी (top stripe) के लिए जिम्मेदार है।
एजेंट 2 बीच की पट्टी के लिए जिम्मेदार है।
एजेंट 3 निचली पट्टी के लिए जिम्मेदार है।

प्रत्येक एजेंट एक खाली कैनवास (शोर/noise) के साथ शुरू करता है और अपनी पट्टी पेंट करने की कोशिश करता है। लेकिन यहाँ एक पेंच है: वे अपनी मर्जी से कुछ भी पेंट नहीं कर सकते। उन्हें समन्वय (coordinate) करना होगा ताकि जब आप उनकी पट्टियों को एक साथ जोड़ें, तो वे एक पूर्ण, पहचानने योग्य अंक (जैसे "3" या "9") बना सकें।

2. "कोच" (Stochastic Optimal Control)

पारंपरिक तरीकों में, एजेंट केवल एक पूर्व-लिखित नियम पुस्तिका का पालन करने की कोशिश कर सकते हैं। CMAD में, एजेंटों को एक "कोच" द्वारा निर्देशित किया जाता है जो स्टोकेस्टिक ऑप्टिमल कंट्रोल (Stochastic Optimal Control) की अवधारणा का उपयोग करता है।

एजेंटों को घने कोहरे (AI की रैंडमनेस) के माध्यम से चलते हुए एक विशिष्ट कैंपसाइट (अंतिम छवि) तक पहुँचने की कोशिश करने वाले हाइकर्स (पदयात्रियों) के रूप में सोचें।

लक्ष्य: कैंपसाइट किसी इलाके के मानचित्र (जो हमारे पास नहीं है) द्वारा परिभाषित नहीं है। इसके बजाय, लक्ष्य एक स्कोर द्वारा परिभाषित है: "अंतिम चित्र एक वास्तविक '3' जैसा कितना दिखता है?"
रणनीति: कोच हाइकर्स को यह नहीं बताता कि उन्हें कहाँ कदम रखना है। इसके बजाय, कोच उन्हें स्कोर की ओर मोड़ने के लिए हल्के इशारे (controls) देता है।
सहयोग: कोच पूरी टीम को देखता है। यदि एजेंट 1 एक ऐसी ऊपरी पट्टी बनाता है जो दिखने में तो बहुत अच्छी है लेकिन एजेंट 2 की मध्य पट्टी से मेल नहीं खाती, तो कोच एजेंट 1 को तालमेल बिठाने के लिए थोड़ा बदलने का संकेत देता है। वे सभी एक "पेनल्टी स्कोर" (कॉस्ट फंक्शन) को कम करने के लिए मिलकर काम करते हैं, जो यह मापता है कि अंतिम छवि कितनी खराब दिख रही है।

3. "ट्वीडी" (Tweedie) क्रिस्टल बॉल

इस शोध पत्र की एक चतुर तकनीक यह है कि कोच फीडबैक कैसे देता है—प्रक्रिया के अंत में नहीं, बल्कि दौरान।

कल्पना कीजिए कि एजेंट अंधेरे में पेंटिंग कर रहे हैं। यह जानने के लिए कि वे अभी कैसा प्रदर्शन कर रहे हैं, कोच एक "क्रिस्टल बॉल" (Tweedie estimate) का उपयोग करता है। यह टूल वर्तमान शोर भरी, धुंधली स्थिति को लेता है और भविष्यवाणी करता है कि यदि वे अभी रुक गए, तो अंतिम छवि कैसी दिखेगी।

कोच इस भविष्यवाणी की जाँच करता है।
यदि भविष्यवाणी एक गड़बड़ मिश्रण जैसी दिखती है, तो कोच एजेंटों को तुरंत अपना रास्ता बदलने का संकेत भेजता है।
यह निरंतर होता रहता है, जैसे कि एक GPS लगातार आपके रूट की गणना करता रहता है जबकि आप गाड़ी चला रहे होते हैं, न कि गंतव्य तक पहुँचने के बाद आपको यह बताना कि आपने गलत मोड़ लिया था।

4. परिणाम: एक बेहतर टीम

इस शोध पत्र ने MNIST डेटासेट (साधारण हस्तलिखित अंक) पर परीक्षण किया।

पुराना तरीका (CDPS): यह प्रत्येक एजेंट को यह बताने जैसा है कि, "कोशिश करो कि तुम्हारा हिस्सा अपने आप में एक '3' जैसा दिखे, और उम्मीद करो कि वे आपस में फिट हो जाएं।" कभी-कभी यह काम करता है, लेकिन अक्सर किनारे आपस में नहीं मिलते, या छवि अजीब दिखती है।
CMAD का तरीका: एजेंट एक-दूसरे से बात करना सीखते हैं। वे यह सुनिश्चित करने के लिए अपने स्ट्रोक को वास्तविक समय में समायोजित करते हैं कि पट्टियों के बीच के जोड़ (seams) सुचारू हों और पूरी संख्या सही दिखे।

निष्कर्ष:
लेखक यह दर्शाते हैं कि इमेज जनरेशन को एक सहकारी खेल (cooperative game) के रूप में मानकर, जहाँ एजेंट एक साझा लक्ष्य की ओर एक-दूसरे को निर्देशित करते हैं (केवल गणितीय सूत्रों को मिलाने के बजाय), वे अधिक स्पष्ट और वास्तविक छवियां बना सकते हैं। एजेंट समझौता करना और सहयोग करना सीखते हैं, जिसके परिणामस्वरूप एक ऐसी अंतिम तस्वीर बनती है जो अलग-थलग काम करने की तुलना में बहुत अधिक सुसंगत (coherent) होती है।

संक्षेप में: केवल सामग्रियों को मिलाएं नहीं; शेफ को एक साथ खाना बनाना सिखाएं।

तकनीकी सारांश: CMAD – स्टोकेस्टिक ऑप्टिमल कंट्रोल के माध्यम से सहकारी बहु-एजेंट डिफ्यूजन (Cooperative Multi-Agent Diffusion via Stochastic Optimal Control)

समस्या विवरण (Problem Statement)

निरंतर-समय जनरेटिव मॉडल (continuous-time generative models), विशेष रूप से स्कोर-आधारित डिफ्यूजन मॉडल और फ्लो-आधारित मॉडल, इमेज रिस्टोरेशन और सिंथेसिस में अत्याधुनिक प्रदर्शन प्राप्त कर चुके हैं। जबकि नियंत्रणीय जनरेशन (controllable generation) (जैसे कि क्लासिफायर गाइडेंस या कंडीशनल स्कोर मॉडलिंग के माध्यम से) में महत्वपूर्ण प्रगति हुई है, एक गंभीर चुनौती बनी हुई है: विभिन्न पूर्व-प्रशिक्षित (pre-trained) डिफ्यूजन मॉडल्स को जटिल, कार्य-विशिष्ट उद्देश्यों को संतुष्ट करने के लिए प्रभावी ढंग से कैसे एकत्रित किया जाए।

वर्तमान कंपोजिशनल जनरेशन फ्रेमवर्क मुख्य रूप से प्रायिकता घनत्वों (probability densities) के बीजगणितीय संयोजन (algebraic composition) पर कार्य करते हैं (जैसे कि प्रोडक्ट्स ऑफ एक्सपर्ट्स या मिश्रण)। ये विधियाँ मानती हैं कि लक्षित वितरण (target distribution), घटक मॉडलों के मार्जिनल्स का एक स्पष्ट बीजगणितीय संयोजन है। लेखक तर्क देते हैं कि यह धारणा अक्सर अवास्तविक होती है; उदाहरण के लिए, इस बात की कोई सैद्धांतिक गारंटी नहीं है कि विजुअल रियलिज्म (visual realism) के लिए एक मॉडल और टेक्स्ट कंसिस्टेंसी (text consistency) के लिए दूसरे मॉडल को मिलाने से एक ज्यामितीय औसत (geometric average) या प्रोडक्ट्स ऑफ एक्सपर्ट्स प्राप्त होगा। इसके अलावा, इन दृष्टिकोणों को डिफ्यूजन-टाइम स्तर पर परिणामी घनत्व (composite density) के स्पष्ट ज्ञान की आवश्यकता होती है, जो लॉस फंक्शन्स द्वारा परिभाषित जटिल, अंतर्निहित उद्देश्यों के लिए दुर्लभ है।

कार्यप्रणाली (Methodology)

यह शोध पत्र CMAD (Cooperative Multi-Agent Diffusion) प्रस्तावित करता है, जो एक ऐसा प्रतिमान (paradigm) है जो कंपोजिशनल जनरेशन को घनत्व संयोजन (density composition) समस्या के बजाय एक सहकारी स्टोकेस्टिक ऑप्टिमल कंट्रोल (SOC) समस्या के रूप में स्वरूपित करता है।

मुख्य ढांचा (Core Framework)

बहु-एजेंट स्वरूप (Multi-Agent Formulation): पूर्व-प्रशिक्षित डिफ्यूजन मॉडल्स को स्वतंत्र एजेंटों के रूप में माना जाता है। प्रत्येक एजेंट $i$ एक नियंत्रित स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) का पालन करता है जो रिवर्स-टाइम डिफ्यूजन प्रक्रिया का प्रतिनिधित्व करता है:
$dX^{u,i}_t = [b_i(X^{u,i}_t, t) + g(t)u_i(X^{u,i}_t, t; \{X^{u,j}_t\}_j)]dt + g(t)dW_t$
यहाँ, $b_i$ पूर्व-प्रशिक्षित मॉडल का ड्रिफ्ट (drift) है, और $u_i$ एक सीखा गया कंट्रोल टर्म है। महत्वपूर्ण रूप से, कंट्रोल $u_i$ अन्य सभी एजेंटों की अवस्थाओं (states) पर निर्भर करता है, जिससे एक कपल्ड (coupled) SDE सिस्टम बनता है।
एकत्रीकरण और उद्देश्य (Aggregation and Objective): जनरेट की गई वस्तु को एक ऑपरेटर $\phi$ के माध्यम से इन परस्पर क्रिया करने वाले प्रक्षेप पथों (trajectories) के एकत्रीकरण के रूप में परिभाषित किया गया है:
$Y_t = \phi(\{X^{u,i}_t\}_{i=1}^N, t; \vartheta)$
सिस्टम कंट्रोल्स $\{u_i\}$ और एकत्रीकरण मापदंडों $\vartheta$ पर एक सहकारी उद्देश्य फलन $J$ को अनुकूलित (optimize) करता है:
$J(\{u_i\}, \vartheta) = \mathbb{E}\left[ \int_0^T \left( \sum_{i=1}^N \lambda_i \|u_i\|^2 + c(Y_t, t) \right) dt + \Psi(Y_T) \right]$
- कंट्रोल कॉस्ट (Control Cost): एक भारित द्विघाती पद (weighted quadratic term) जो पूर्व-प्रशिक्षित रिवर्स डायनेमिक्स से विचलन को दंडित करता है।
- रनिंग कॉस्ट ( $c$ ): प्रक्षेप पथ के साथ पुरस्कारों (rewards) को एनकोड करता है, जिसे एकत्रित अवस्था के "ट्वीडी अनुमान" (Tweedie estimate - एक डिनोइज़्ड लुक-अहेड) पर मूल्यांकित टर्मिनल कॉस्ट के सरोगेट के रूप में लागू किया गया है।
- टर्मिनल कॉस्ट ( $\Psi$ ): अंतिम समय $T$ पर मूल्यांकित एक कार्य-विशिष्ट उद्देश्य (जैसे कि किसी विशिष्ट अंक के लिए क्लासिफायर का नेगेटिव लॉग-लाइक्लीहुड)।
अनुकूलन योजना (Optimization Scheme - Control-wise Descent):
शोध पत्र इटरेटिव डिफ्यूजन ऑप्टिमाइजेशन (IDO) को पेश करता है जो बहु-एजेंट परिवेश के लिए अनुकूलित है। सभी कंट्रोल्स को संयुक्त रूप से अपडेट करने के बजाय, फ्रेमवर्क एक कंट्रोल-वाइज डिसेंट रणनीति (कोऑर्डिनेट डिसेंट) का उपयोग करता है:
- प्रत्येक बाहरी इटरेशन में, एक एजेंट का कंट्रोल $u_i$ अपडेट किया जाता है जबकि अन्य को फ्रीज रखा जाता है।
- अपडेट को कपल्ड SDE प्रक्षेप पथों के मोंटे कार्लो सिमुलेशन के माध्यम से किया जाता है।
- ग्रेडिएंट्स की गणना डिस्क्रीटाइज्ड SDE पाथ्स पर बैकप्रोपैगेशन थ्रू टाइम (BPTT) का उपयोग करके की जाती है।
- कंट्रोल को एक रिवॉर्ड-इन्फॉर्म्ड इंडक्टिव बायस के साथ पैरामीटराइज किया गया है, जो एक सीखे गए न्यूरल नेटवर्क करेक्शन को ट्वीडी अनुमान पर आधारित एक स्पष्ट ग्रेडिएंट गाइडेंस टर्म के साथ जोड़ता है।

मुख्य योगदान (Key Contributions)

सहकारी बहु-एजेंट फ्रेमवर्क: लेखकों ने एक नया फ्रेमवर्क पेश किया है जो कई पूर्व-प्रशिक्षित डिफ्यूजन मॉडल्स के साथ इन्फरेंस को एक सहकारी SOC समस्या के रूप में प्रस्तुत करता है, जिससे स्पष्ट बीजगणितीय घनत्व संयोजन की आवश्यकता समाप्त हो जाती है।
कंट्रोल-वाइज ऑप्टिमाइजेशन स्कीम: वे IDO पर आधारित एक इटरेटिव ऑप्टिमाइजेशन स्कीम प्रस्तावित करते हैं जो एजेंटों के बीच अल्टरनेट अपडेट के माध्यम से स्केलेबल बहु-एजेंट कंट्रोल को सक्षम बनाता है, जिससे प्रभावी रूप से कपल्ड कंट्रोल समस्या को हल किया जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क को MNIST डिजिट जनरेशन के उपयोग से एक प्रूफ-ऑफ-कांसेप्ट कार्य पर मान्य किया गया।

सेटअप: कई एजेंटों को छवि के गैर-ओवरलैपिंग क्षैतिज पट्टियों (horizontal stripes) को सौंपा गया था। लक्ष्य एक टर्मिनल कॉस्ट (क्लासिफायर लॉस) और एक सीम-कंटीन्यूटी लॉस (एजेंट क्षेत्रों के बीच विच्छिन्नता को दंडित करना) को कम करके विशिष्ट अंक (0, 3, 9) उत्पन्न करना था।
बेसलाइन्स: विधि की तुलना एक नैव इन्फरेंस-टाइम बेसलाइन (CDPS) से की गई जो बिना सीखे गए सहकारी नियंत्रण के ग्रेडिएंट गाइडेंस का उपयोग करती है।
प्रदर्शन:
- सटीकता (Accuracy): CMAD ने सभी अंकों और एजेंट काउंट (2 और 3 एजेंट) के लिए उच्च वर्गीकरण सटीकता प्राप्त की, जो अक्सर CDPS बेसलाइन से बेहतर रही (उदाहरण के लिए, 3 एजेंटों के साथ अंक 3 के लिए 99.90% बनाम 97.17%)।
- टर्मिनल लॉस: CMAD ने लगातार CDPS की तुलना में कम टर्मिनल लॉस मान प्राप्त किए, जो उद्देश्य के बेहतर अनुकूलन को दर्शाता है।
- गुणात्मक (Qualitative): विजुअल परिणाम दिखाए कि CMAD ने CDPS की तुलना में अधिक यथार्थवादी और सुसंगत (coherent) अंक चित्र उत्पन्न किए, क्योंकि CDPS कभी-कभी अप्राकृतिक नमूने बना देता था। हालांकि, लेखकों ने नोट किया कि CMAD ने CDPS बेसलाइन की तुलना में कम विविधता (reduced diversity) प्रदर्शित की।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि CMAD घनत्व-आधारित संयोजन के लिए एक व्यावहारिक और लचीला विकल्प प्रदान करता है। इसे घनत्व के रूप में एक नियंत्रण समस्या के रूप में मानकर, फ्रेमवर्क जटिल उद्देश्यों को अनुकूलित कर सकता है जो लॉस फंक्शन्स द्वारा परिभाषित होते हैं, बिना परिणामी घनत्व के रूप के स्पष्ट ज्ञान की आवश्यकता के।

लेखक इस कार्य को स्केलेबल, हाई-डायमेंशनल कंपोजिशनल जनरेशन की ओर एक आधारभूत कदम के रूप में देखते हैं। वे स्वीकार करते हैं कि वर्तमान परिणाम MNIST तक सीमित हैं और भविष्य के कार्यों में उच्च आयामों तक स्केल करना होगा, जिसके लिए पाथ-वाइज ग्रेडिएंट एस्टिमेटर्स या एडजॉइंट मैचिंग तकनीकों के विस्तार की आवश्यकता हो सकती है। शोध पत्र विनम्रतापूर्वक इस योगदान को कंपोजिशनल कार्यों के लिए फ्रेमवर्क की उपयुक्तता के प्रदर्शन के रूप में प्रस्तुत करता है, जिसमें भविष्य के अभ्यासों (convergence conditions, differential games के साथ संबंध, और कंट्रोल्स के साथ एकत्रीकरण ऑपरेटर को संयुक्त रूप से सीखना) की योजना बनाई गई है।