\textsc{MasFACT}: Continual Multi-Agent Topology Learning via Geometry-Aware Posterior Transfer

तकनीकी सारांश: MasFACT

समस्या की परिभाषा

यह शोध पत्र निरंतर मल्टी-एजेंट सिस्टम (MAS) टोपोलॉजी लर्निंग की चुनौती को संबोधित करता है। हालांकि LLM-आधारित MAS जटिल तर्क (reasoning) के लिए प्रभावी सिद्ध हुए हैं, लेकिन उनका प्रदर्शन अंतर्निहित संचार टोपोलॉजी (एजेंट कैसे समन्वय करते हैं) पर अत्यधिक निर्भर करता है। मौजूदा विधियाँ आमतौर पर अलग-थलग, स्थिर कार्यों के लिए टोपोलॉजी को अनुकूलित करती हैं। वास्तविक दुनिया के परिदृश्यों में, जहाँ कार्य निरंतर विकसित होते रहते हैं, ये विधियाँ टोपोलॉजी विस्मृति (topology forgetting) का शिकार होती हैं: जैसे-जैसे सिस्टम नए कार्यों के अनुकूल होता है, टोपोलॉजी जनरेटर उन संचार संरचनाओं से दूर चला जाता है जो पिछले कार्यों के लिए प्रभावी थीं।

यह विफलता मोड मानक पैरामीटर विस्मृति से भिन्न है। यह दो आयामों में क्रॉस-टास्क मिसअलाइनमेंट (cross-task misalignment) से उत्पन्न होता है:

1. एजेंट-स्तरीय कार्यात्मक अर्थविज्ञान (Agent-level functional semantics): कार्यों के बीच एजेंटों की भूमिकाएं और उपकरण (tools) बदल सकते हैं।
2. संबंधात्मक संचार संरचनाएं (Relational communication structures): इष्टतम ग्राफ कनेक्शन बदल जाते हैं, जिससे जनरेटर पहले से उपयोगी सहयोग पैटर्न को ओवरराइट कर देता है।

वर्तमान दृष्टिकोण (खोज-आधारित या जनरेटिव) या तो पिछले संरचनाओं को ओवरराइट करते हैं या स्पष्ट संरचनात्मक स्मृति के बिना वितरण विचलन (distribution drift) से ग्रस्त होते हैं, जिससे एक ऐसा ट्रेड-ऑफ पैदा होता है जहाँ अल्पकालिक अनुकूलन दीर्घकालिक ज्ञान को खराब कर देता है।

कार्यप्रणाली: MasFACT

लेखक MasFACT (Factorized Aligned Consensus Topology transfer) का प्रस्ताव करते हैं, जो एक ज्योमेट्री-अवेयर पोस्टीरियर ट्रांसफर फ्रेमवर्क है जिसे ऐतिहासिक सहयोग ज्ञान को संरक्षित करने और पुन: उपयोग करने के लिए डिज़ाइन किया गया है। यह विधि तीन चरणों वाली पाइपलाइन के माध्यम से कार्य करती है:

1. फैक्टराइज्ड ऐतिहासिक टोपोलॉजी निर्माण

MasFACT उच्च-उपयोगिता वाले ऐतिहासिक टोपोलॉजी से प्राप्त "प्रायर एटम्स" (prior atoms) का एक प्रायर बैंक ($M$) बनाए रखता है। प्रत्येक एटम $H_m$ को तीन घटकों में विभाजित (factorize) किया जाता है ताकि विभिन्न एजेंट पहचान और ग्राफ कार्डिनैलिटी वाले कार्यों के बीच स्थानांतरण संभव हो सके:

• कंसेंसस टोपोलॉजी ($S_m$): एक निर्देशित ग्राफ जो पुन: प्रयोज्य संचार संरचनाओं को एनकोड करता है।
• प्रोटोटाइप एट्रिब्यूट्स ($X_m$): एजेंट एट्रिब्यूट्स जो हस्तांतरणीय कार्यात्मक अर्थविज्ञान (भूमिकाएं, उपकरण) को कैप्चर करते हैं।
• नोड मेजर ($\nu_m$): ऑप्टिमल ट्रांसपोर्ट अलाइनमेंट के लिए प्रोटोटाइप नोड्स पर एक माप।
• मेटाडेटा: प्रत्येक एटम रिट्रीवल (retrieval) को निर्देशित करने के लिए ऐतिहासिक उपयोगिता ($\bar{U}_m$) और संरचनात्मक फैलाव ($\sigma_m$) को भी संग्रहीत करता है।

2. ज्योमेट्री-अवेयर प्रायर रिट्रीवल

जब एक नया कार्य $T_t$ आता है, तो MasFACT सबसे अधिक हस्तांतरणीय प्रायर एटम को रिट्रीव करता है। साधारण इंडेक्स मिलान के बजाय, यह फ्यूज्ड ग्रोमोव-वासेरस्टीन (Fused Gromov-Wasserstein - FGW) दूरी का उपयोग करके एक ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में रिट्रीवल को तैयार करता है।

• अलाइनमेंट: यह वर्तमान कार्य के स्कैफोल्ड ग्राफ (एजेंट और अस्थायी संरचना) को एजेंट एट्रिब्यूट्स (अर्थविज्ञान) और ग्राफ संबंधों (संरचना) को संयुक्त रूप से मिलाने की लागत को कम करके ऐतिहासिक एटम्स के साथ संरेखित करता है।
• रिट्रीवल मानदंड: सिस्टम उस एटम $H_{m_t}$ का चयन करता है जो ज्यामितीय हस्तांतरणीयता (FGW लागत), संरचनात्मक एकाग्रता (फैलाव), और ऐतिहासिक उपयोगिता के बीच संतुलन बनाता है।
• प्रोजेक्शन: चयनित कंसेंसस टोपोलॉजी को ऑप्टिमल कपलिंग मैट्रिक्स के माध्यम से वर्तमान एजेंट स्पेस में प्रोजेक्ट किया जाता है, जिससे एक निरंतर संरचनात्मक प्रायर ($C_t$) बनता है जो एक संदर्भ बिंदु के रूप में कार्य करता है।

3. कंजर्वेटिव पोस्टीरियर अडैप्टेशन

नए कार्य के अनुकूल होने के लिए बिना विस्मृति के, MasFACT पूरे टोपोलॉजी स्पेस को खोजने के बजाय, संरेखित प्रायर ($C_t$) के चारों ओर एक स्टोकेस्टिक पोस्टीरियर ($q_t$) सीखता है।

• रेसिडुअल लर्निंग: पोस्टीरियर को प्रायर के एक परटर्बेशन (perturbation) के रूप में परिभाषित किया गया है: $q_t(B) \propto \exp(\langle C_t + R_t, B \rangle)$, जहाँ $R_t$ एक स्पार्स, सीखने योग्य रेसिडुअल स्कोर मैट्रिक्स है। यह सुनिश्चित करता है कि अनुकूलन केवल आवश्यक स्थानीय संपादन (local edits) तक सीमित है।
• PAC-Bayes बाधा (Constraint): प्रशिक्षण उद्देश्य को एक PAC-Bayes ट्रांसफर बाउंड द्वारा निर्देशित किया जाता है। लॉस फंक्शन एम्पिरिकल रिस्क को कम करता है जबकि प्रायर के सापेक्ष पोस्टीरियर की जटिलता (KL डाइवर्जेंस) को दंडित करता है और रेसिडुअल संपादन पर स्पर्सिटी (sparsity) लागू करता है। यह संरचनात्मक विचलन को नियंत्रित करके टोपोलॉजी विस्मृति के जोखिम को सैद्धांतिक रूप से सीमित करता है।

मुख्य योगदान

1. समस्या का निरूपण: लेखकों ने टोपोलॉजी विस्मृति को निरंतर MAS लर्निंग में एक विशिष्ट विफलता मोड के रूप में पहचाना और औपचारिक रूप दिया, जो टोपोलॉजी स्पेस और एजेंट अर्थविज्ञान दोनों में मिसअलाइनमेंट के कारण होता है।
2. नवाचार (MasFACT): उन्होंने एक ज्योमेट्री-अवेयर फ्रेमवर्क पेश किया जो ऐतिहासिक टोपोलॉजी को हस्तांतरणीय संरचनात्मक प्रायर के रूप में मानता है। क्रॉस-टास्क अलाइनमेंट के लिए FGW ऑप्टिमल ट्रांसपोर्ट के साथ PAC-Bayes-गाइडेड कंजर्वेटिव पोस्टीरियर अडैप्टेशन को जोड़कर, MasFACT प्लास्टिसिटी (नए कार्यों के अनुकूल होना) और स्थिरता (पुराने टोपोलॉजी को बनाए रखना) के बीच संतुलन बनाता है।
3. मूल्यांकन प्रोटोकॉल: शोध पत्र एक पदानुक्रमित (hierarchical) निरंतर MAS मूल्यांकन प्रोटोकॉल प्रस्तावित करता है जो चार रीजनिंग डोमेन और 17 डेटासेट्स में टास्क-लेवल (विभिन्न रीजनिंग परिवार), डोमेन-लेवल (एक परिवार के भीतर विभिन्न डेटासेट), और क्लास-लेवल (सूक्ष्म उप-कौशल) विकास को कवर करता है।

प्रयोगात्मक परिणाम

Llama-3.1-8B को बैकबोन के रूप में उपयोग करते हुए 12 निरंतर परिदृश्यों में प्रयोग किए गए। MasFACT की तुलना सिंगल-एजेंट विधियों, फिक्स्ड टोपोलॉजी और स्टेट-ऑफ-द-आर्ट एडेप्टिव टोपोलॉजी जनरेटर्स (जैसे, GDesigner, MasRouter, ARGDesigner), जिसमें रीप्ले-आधारित वेरिएंट शामिल हैं, से की गई।

• प्रदर्शन: MasFACT ने लगातार सभी बेसलाइन्स को पीछे छोड़ दिया। सभी सेटिंग्स में, इसने मजबूत बेसलाइन्स की तुलना में औसत सटीकता (Average Accuracy - AA) में लगभग 9.3% का सुधार किया और औसत विस्मृति (Average Forgetting - AF) को 69.4% कम कर दिया।
• विस्मृति शमन (Mitigation): अन्य विधियों के विपरीत जो अक्सर सकारात्मक विस्मृति (पुराने कार्यों पर प्रदर्शन में गिरावट) प्रदर्शित करती हैं, MasFACT ने अक्सर नेगेटिव फॉरगेटिंग (पॉजिटिव बैकवर्ड ट्रांसफर) हासिल किया, जो दर्शाता है कि सीखे गए सहयोग पैटर्न ने पिछले कार्यों के प्रदर्शन में सुधार किया।
• प्लग-एंड-प्ले: MasFACT विविध टोपोलॉजी जनरेटर्स (प्रूनिंग-आधारित, ग्राफ-जेनरेशन, और रूटिंग-आधारित) के लिए एक प्रभावी निरंतर परत (continual layer) के रूप में कार्य करता है, जो उनके मूल आर्किटेक्चर को बदले बिना उनके प्रदर्शन में सुधार करता है।
• एब्लेशन (Ablation): ऐतिहासिक प्रायर, FGW अलाइनमेंट, या PAC-Bayes बाधाओं को हटाने से प्रदर्शन में काफी गिरावट आई, जिससे पुष्टि हुई कि संरचना और अर्थविज्ञान का संयुक्त अलाइनमेंट, और कंजर्वेटिव अडैप्टेशन, महत्वपूर्ण है।

महत्व और दावे

शोध पत्र का दावा है कि टोपोलॉजी विस्मृति एक संरचनात्मक घटना है जो पैरामीटर विस्मृति से अलग है, जिसके लिए पैरामीटर-केंद्रित निरंतर लर्निंग से स्ट्रक्चर-सेंट्रिक ट्रांसफर की ओर बदलाव की आवश्यकता है।

• संरचनात्मक ज्ञान प्रायर के रूप में: यह कार्य प्रदर्शित करता है कि प्रभावी सहयोग टोपोलॉजी पुन: प्रयोज्य संरचनात्मक ज्ञान है जिसे प्रत्येक कार्य के लिए शून्य से पुनः खोजने के बजाय फैक्टराइज, अलाइन और ट्रांसफर किया जा सकता है।
• ज्योमेट्री-अवेयर ट्रांसफर: FGW का उपयोग करके, यह विधि एजेंट भूमिकाओं और ग्राफ संरचनाओं के बीच मिसअलाइनमेंट को सफलतापूर्वक संभालती है, जो मानक यूक्लिडियन या इंडेक्स-आधारित रिट्रीवल की एक सीमा है।
• स्थिरता-प्लास्टिसिटी संतुलन: PAC-Bayes फॉर्मूलेशन एक सैद्धांतिक गारंटी प्रदान करता है जो सिस्टम को सिद्ध ऐतिहासिक संरचनाओं से विचलन को सख्ती से सीमित करते हुए नए कार्यों के अनुकूल होने की अनुमति देता है।

लेखक निष्कर्ष निकालते हैं कि MasFACT गतिशील, विकसित होते वातावरणों में विश्वसनीय और अनुकूलनीय LLM-आधारित MAS को स्केल करने के लिए एक मजबूत, आर्किटेक्चर-अग्नोस्टिक समाधान प्रदान करता है, जो स्टैटिक, वन-शॉट टोपोलॉजी डिज़ाइन से आगे बढ़ता है।