💬 NLP

The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems

यह शोध पत्र "विज़न वर्महोल" (Vision Wormhole) प्रस्तुत करता है, जो एक यूनिवर्सल विज़ुअल कोडेक का उपयोग करके रीजनिंग ट्रेसेस (reasoning traces) को एक साझा निरंतर स्थान (shared continuous space) में मैप करने के माध्यम से विषम मल्टी-एजेंट सिस्टम के बीच कुशल लेटेंट-स्टेट संचार को सक्षम बनाता है, जिससे अलाइनमेंट जटिलता कम होती है और गति एवं सटीकता दोनों में सुधार होता है।

मूल लेखक: Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoze Liu, Ruowang Zhang, Weichen Yu, Siheng Xiong, Liu He, Feijie Wu, Hoin Jung, Matt Fredrikson, Xiaoqian Wang, Jing Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र "द विज़न वर्महोल" (The Vision Wormhole) की व्याख्या दी गई है।

समस्या: "टेलीफोन गेम" की बाधा (The "Telephone Game" Bottleneck)

कल्पना कीजिए कि आपके पास एक कठिन समस्या को हल करने के लिए काम कर रही अत्यधिक बुद्धिमान विशेषज्ञों (AI एजेंटों) की एक टीम है। एक विशेषज्ञ गणितज्ञ है, दूसरा कोडर है, और तीसरा तर्कशास्त्री (logician) है। उन्हें पहेली सुलझाने के लिए आपस में जानकारी साझा करने की आवश्यकता है।

वर्तमान में, ये विशेषज्ञ पत्र लिखकर संवाद करते हैं।

बाधा (The Bottleneck): पत्र लिखने में समय लगता है। उसे पढ़ने में भी समय लगता है। और जब आप एक जटिल विचार को शब्दों में संक्षिप्त करते हैं, तो आप उसकी सूक्ष्मता (nuance) खो देते हैं (जैसे किसी अंधे व्यक्ति को रंग का वर्णन करने की कोशिश करना)।
विषमता की समस्या (The Heterogeneity Issue): यदि गणितज्ञ फ्रांसीसी में लिखता है और कोडर केवल अंग्रेजी पढ़ता है, तो आपको एक अनुवादक की आवश्यकता होती है। यदि आपके पास 10 अलग-अलग विशेषज्ञ हैं जो 10 अलग-अलग "भाषाएं" (अलग-अलग AI मॉडल) बोलते हैं, तो आपको 90 अलग-अलग अनुवादकों की आवश्यकता होगी। यह महंगा, धीमा और अव्यवस्थित है।

समाधान: "विज़न वर्महोल" (The Vision Wormhole)

शोधकर्ताओं ने महसूस किया कि इनमें से कई AI विशेषज्ञ वास्तव में विज़न-लैंग्वेज मॉडल्स (VLMs) हैं। इसका अर्थ है कि वे केवल टेक्स्ट नहीं पढ़ते; वे छवियों (images) को भी "देख" सकते हैं।

विशेषज्ञों को पत्र (टेक्स्ट) लिखने के बजाय, शोधकर्ताओं ने एक "विज़न वर्महोल" बनाया है। यह विशेषज्ञों को शब्दों की आवश्यकता के बिना सीधे एक-दूसरे की आँखों में मानसिक स्नैपशॉट (mental snapshots) भेजने की अनुमति देता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "मानसिक स्नैपशॉट" (लेडेंट रोलआउट - Latent Rollout)

जब गणितज्ञ AI किसी समस्या के बारे में सोच रहा होता है, तो उसके पास केवल एक अंतिम उत्तर नहीं होता। उसके पास विचारों और गणनाओं का एक प्रवाह (stream) होता है। विज़न वर्महोल इस विचार के प्रवाह को एक "लेडेंट रोलआउट" के रूप में कैप्चर करता है।

उपमा: यह कहने के लिए कि "मुझे लगता है कि उत्तर 5 है," एक सारांश पत्र लिखने के बजाय, गणितज्ञ अपने पूरे रफ-वर्क (scratchpad) की एक हाई-रिज़ॉल्यूशन फोटो लेता है, जिसमें गणना का हर चरण दिखाई देता है।

2. सार्वभौमिक अनुवादक (द कोडक - The Codec)

गणितज्ञ का "रफ-वर्क फोटो" उनके विशिष्ट आंतरिक प्रारूप (format) में होता है। कोडर AI इसे सीधे नहीं पढ़ सकता क्योंकि वे अलग-अलग आंतरिक प्रणालियों का उपयोग करते हैं।

शोधकर्ताओं ने एक हल्का कोडक (Codec) (कंप्रेसर/डीकंप्रेसर) बनाया है।
यह कोडक गणितज्ञ के रफ-वर्क को एक मानकीकृत दृश्य पैकेट (standardized visual packet) में बदल देता है।
उपमा: यह हाथ से लिखे नोट को एक मानक QR कोड में बदलने जैसा है। QR कोड में सारी जानकारी होती है, लेकिन यह एक ऐसे सार्वभौमिक प्रारूप में होती है जिसे कोई भी स्कैनर पढ़ सकता है।

3. हब-एंड-स्पोक सिस्टम (अनुवादक की समस्या का समाधान)

याद है 10 विशेषज्ञों के लिए 90 अनुवादकों की आवश्यकता वाली समस्या? विज़न वर्महोल हब-एंड-स्पोक (Hub-and-Spoke) डिज़ाइन के साथ इसे हल करता है।

हर विशेषज्ञ को दूसरे विशेषज्ञ से बात करने के लिए सीखने के बजाय, वे सभी एक केंद्रीय हब (Central Hub) से बात करना सीखते हैं।
गणितज्ञ अपना QR कोड हब को भेजता है। हब उसे उस प्रारूप में अनुवादित करता है जिसे कोडर समझ सके।
उपमा: कल्पना कीजिए कि एक कमरे में हर कोई अलग भाषा बोलता है। हर किसी को 9 अन्य भाषाएँ सीखने के बजाय, वे सभी बस अपने फोन पर एक यूनिवर्सल ट्रांसलेटर ऐप का उपयोग करना सीख जाते हैं। आपको प्रत्येक जोड़ी के लिए अपडेट करने के बजाय, प्रत्येक नए व्यक्ति के लिए केवल एक बार ऐप को अपडेट करने की आवश्यकता होती है। यह जटिलता को $O(N^2)$ (क्वाड्रेटिक) से घटाकर $O(N)$ (लीनियर) कर देता है।

4. विज़न का इंजेक्शन (Injecting the Vision)

कोडर AI को मानकीकृत विज़ुअल पैकेट प्राप्त होता है। टेक्स्ट पढ़ने के बजाय, पैकेट को कोडर के विज़ुअल इनपुट लेयर में सीधे इंजेक्ट किया जाता है।

उपमा: यह ऐसा है जैसे कोडर अचानक अपने मन की आँखों में गणितज्ञ के रफ-वर्क को प्रकट होते हुए देखता है। उन्हें शब्दों को डिकोड करने की आवश्यकता नहीं होती; वे बस जानकारी को दृश्य रूप में महसूस करते हैं।

यह बेहतर क्यों है?

यह तेज़ है: विचारों को शब्दों में बदलने और फिर से उन्हें पढ़ने की प्रक्रिया को छोड़ देने से बहुत समय बचता है। शोध पत्र दिखाता है कि यह समस्याओं को हल करने में लगने वाले कुल समय को कम करता है।
यह अधिक सटीक है: चूंकि आप टेक्स्ट में अनुवाद के दौरान जानकारी खो नहीं रहे हैं, इसलिए एजेंट अक्सर बेहतर उत्तर देते हैं, विशेष रूप से कोडिंग या जटिल गणित जैसे कार्यों में।
यह स्केलेबल है: टीम में एक नया प्रकार का AI जोड़ना आसान है। आप बस उस नए AI को हब से बात करने के लिए एक छोटा "कोडक" प्रशिक्षित करते हैं। आपको प्रत्येक एजेंट के साथ कनेक्शन को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
"ऑफ-मैनिफ़ोल्ड" त्रुटियों का अभाव: शुद्ध टेक्स्ट AI मॉडल भ्रमित हो जाते हैं यदि आप उन्हें रैंडम नंबर (कंटीन्यूअस डेटा) फीड करते हैं। लेकिन विज़न-लैंग्वेज मॉडल्स छवियों (जो नंबरों का ग्रिड होती हैं) को देखने के लिए प्रशिक्षित होते हैं। इसलिए, इस "विज़ुअल पैकेट" को फीड करना उनके लिए स्वाभाविक लगता है, जिससे सिस्टम क्रैश होने या मतिभ्रम (hallucination) से बच जाता है।

परिणाम

शोधकर्ताओं ने विभिन्न कार्यों (गणित, तर्क, कोडिंग) पर विभिन्न AI मॉडल (Qwen, Gemma, SmolVLM, LFM) का उपयोग करके परीक्षण किया।

गति: पारंपरिक टेक्स्ट-आधारित विधि की तुलना में विज़न वर्महोल लगातार तेज़ था।
सटीकता: कई मामलों में, विशेष रूप से कोडिंग और गणित में, सटीकता में सुधार हुआ।
दक्षता: उन्होंने साबित किया कि आपको इसे प्रशिक्षित करने के लिए भारी मात्रा में डेटा की आवश्यकता नहीं है। बहुत कम उदाहरणों (कमजोर पर्यवेक्षण/weak supervision) के साथ भी, सिस्टम ने अच्छा काम किया।

सारांश में

विज़न वर्महोल एक चतुर तकनीक है। यह AI मॉडल्स की "आंखों" का उपयोग करके विचारों को साझा करने के लिए एक गुप्त, उच्च-गति सुरंग बनाने के लिए उन्हें पुन: उपयोग करता है। आंतरिक तर्क को एक दृश्य प्रारूप में बदलकर, यह विभिन्न AI मॉडलों को तुरंत और सटीक रूप से सहयोग करने की अनुमति देता है, बिना टेक्स्ट लिखने और पढ़ने की धीमी और सूचना खोने वाली प्रक्रिया के।

तकनीकी सारांश: द विज़न वर्महोल (The Vision Wormhole)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित मल्टी-एजेंट सिस्टम्स (MAS) ने उन्नत सहयोगात्मक तर्क क्षमताओं का प्रदर्शन किया है। हालांकि, ये सिस्टम वर्तमान में डिस्क्रीट (discrete) टेक्स्ट कम्युनिकेशन द्वारा बाधित हैं। टोकन-लेवल एक्सचेंज पर यह निर्भरता उच्च-आयामी अवस्थाओं (high-dimensional states) को टोकन में डिकोड करने के कारण महत्वपूर्ण रनटाइम ओवरहेड उत्पन्न करती है और सूचना के क्वांटाइजेशन लॉस (quantization loss) को जन्म देती है। जबकि लेटेंट स्टेट ट्रांसफर (जैसे, हिडन एक्टिवेशन्स या KV कैशे का आदान-प्रदान) एक संभावित विकल्प प्रदान करता है, मौजूदा दृष्टिकोण दो प्राथमिक बाधाओं द्वारा सीमित हैं: वे या तो होमोजेनियस (homogeneous) सेंडर-रिसीवर आर्किटेक्चर को मानते हैं या पेयर-विशिष्ट (pair-specific) सीखे गए ट्रांसलेटर्स की आवश्यकता होती है। ये बाधाएं विषम (heterogeneous) मल्टी-एजेंट सिस्टम्स (MAS) में बाधा डालती हैं, जो विविध मॉडल परिवारों से बने होते हैं जिनके लेटेंट मैनिफोल्ड्स (latent manifolds) अलग-अलग होते हैं।

यह शोध पत्र विषम मॉडल्स के बीच लेटेंट कम्युनिकेशन सक्षम करने में तीन मौलिक चुनौतियों की पहचान करता है:

"ऑफ-मैनिफोल्ड" असंगतता (The “Off-Manifold” Incompatibility): विषम मॉडल्स विजातीय (disjoint) लेटेंट मैनिफोल्ड्स पर कार्य करते हैं। टेक्स्ट-ओनली LLMs में मनमाने निरंतर वेक्टर्स (continuous vectors) इंजेक्ट करने से अक्सर जनरेशन अस्थिर हो जाता है क्योंकि इनपुट मॉडल के वैध डेटा वितरण (डेटा डिस्ट्रीब्यूशन) के बाहर होता है ("ऑफ-मैनिफोल्ड" समस्या)।
O(N²) स्केलेबिलिटी ट्रैप (The O(N²) Scalability Trap): पेयरवाइज ट्रांसलेशन मॉड्यूल (जैसे, कैश-टू-कैश) $N$ एजेंटों के लिए $N(N-1)$ विशिष्ट एडेप्टर की आवश्यकता रखते हैं, जो एक द्विघात जटिलता (quadratic complexity) बाधा उत्पन्न करता है जो गणनात्मक रूप से महंगा और बनाए रखने में कठिन है।
एलाइन्ड सुपरविजन का अभाव (Absence of Aligned Supervision): विभिन्न मॉडल्स के हिडन स्टेट्स को जोड़ने वाला कोई प्राकृतिक ग्राउंड-ट्रुथ डेटासेट मौजूद नहीं है, जिससे महंगे, कार्य-विशिष्ट मानव एनोटेशन या व्यापक डेटा डिस्टिलेशन के बिना मजबूत संचार चैनल बनाना कठिन हो जाता है।

कार्यप्रणाली: द विज़न वर्महोल (The Vision Wormhole)
लेखक "द विज़न वर्महोल" का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो विषम एजेंटों के बीच एक निरंतर संचार चैनल के रूप में विजन-लैंग्वेज मॉडल्स (VLMs) के विजुअल इंटरफेस का पुनरुद्देश्य (repurposes) करता है। टेक्स्ट-ओनली मॉडल्स के विपरीत, VLMs को उनके विजुअल एनकोडर्स के माध्यम से निरंतर, डेंस वेक्टर्स स्वीकार करने के लिए स्पष्ट रूप से प्रशिक्षित किया जाता है। यह फ्रेमवर्क इस धारणा पर कार्य करता है कि विभिन्न VLM परिवारों के विजन-टोकन इनपुट स्पेस एक साझा निरंतर एम्बेडिंग (shared continuous embedding) को स्वीकार करते हैं, जिससे इनपुट-वेक्टर स्तर पर सीधा ब्रिज बनाना संभव होता है।

कार्यप्रणाली के तीन मुख्य घटक हैं:

यूनिवर्सल विजुअल कोडेक (Universal Visual Codec): प्रत्येक एजेंट को एक हल्का, प्रति-परिवार कोडेक (per-family codec) दिया जाता है। यह कोडेक सेंडर से एक "लेटेंट रोलआउट" (एक संक्षिप्त, मॉडल-आंतरिक रीजनिंग समरी) निकालता है, इसे फिक्स्ड-साइज के यूनिवर्सल टोकन्स में कंप्रेस करता है, और इन टोकन्स को एक साझा संदर्भ स्थान (shared reference space) में मैप करता है।
हब-एंड-स्पोक टोपोलॉजी (Hub-and-Spoke Topology): रैखिक स्केलेबिलिटी प्राप्त करने के लिए, फ्रेमवर्क एक हब-एंड-स्पोक एलाइनमेंट रणनीति अपनाता है। पेयरवाइज ट्रांसलेटर्स के बजाय, प्रत्येक एजेंट एक साझा संदर्भ यूनिवर्सल स्पेस ( $U$ ) से और उससे वापस जाने के लिए एक एफ़ाइन मैप (affine map) सीखता है। यह एलाइनमेंट जटिलता को $O(N^2)$ से घटाकर $O(N)$ कर देता है, जिससे नए VLM परिवारों को केवल एक कोडेक प्रशिक्षित करके शामिल किया जा सकता है, न कि $N$ पेयरवाइज एडेप्टर।
लेबल-फ्री डिस्टिलेशन ट्रेनिंग (Label-Free Distillation Training): कोडेक्स को एक सेल्फ-सुपरवाइज्ड डिस्टिलेशन ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है जिसके लिए किसी मानव एनोटेशन या समानांतर हिडन-स्टेट सुपरविजन की आवश्यकता नहीं होती है। टेक्स्ट चैनल "टीचर" के रूप में कार्य करता है, और विज़न वर्महोल "स्टूडेंट" के रूप में। ट्रेनिंग टीचर के हिडन स्टेट/लॉगिट्स (जब वह टेक्स्ट प्राप्त करता है) और स्टूडेंट के हिडंड स्टेट/लॉगिट्स (जब वह इंजेक्टेड विजुअल परटर्बेशन प्राप्त करता है) के बीच के अंतर को कम करती है।

प्रमुख योगदान

VLM इंटरफेस का पुनर्कल्पना (Reconceptualization of VLM Interfaces): यह पेपर विषम एजेंटों के लिए एक निरंतर संचार इंटरफेस के रूप में VLM के विजन एनकोडर को पुनर्कल्पित करता है, जो टेक्स्ट टोकनाइज़र की डिस्क्रीट बाधा को बायपास करता है और टेक्स्ट-ओनली LLMs में निहित ऑफ-मैनिफोल्ड समस्या से बचता है।
यूनिवर्सल कोडेक के माध्यम से O(N) स्केलेबिलिटी: एक यूनिवर्सल लेटेंट स्पेस और हब-एंड-स्पोक टोपोलॉजी पेश करके, यह फ्रेमवर्क सेंडर्स और रिसीवर्स को अलग करता है, जिससे एलाइनमेंट जटिलता द्विघात (quadratic) से रैखिक (linear) में बदल जाती है।
लेबल-फ्री एलाइनमेंट: एक सेल्फ-सुपरवाइज्ड डिस्टिलेशन ट्रेनिंग ऑब्जेक्टिव का विकास जो समानांतर हिडन-स्टेट सुपरविजन या मानव लेबल की आवश्यकता के बिना टेक्स्ट चैनल के टास्क व्यवहार के साथ लेटेंट चैनल को संरेखित (align) करता है।
प्रायोगिक सत्यापन: चार विषम VLM परिवारों (Qwen-VL, Gemma, SmolVLM2, LFM2.5-VL) और नौ रीजनिंग बेंचमार्क्स पर व्यापक प्रयोग इस दृष्टिकोण की प्रभावकारिता को प्रदर्शित करते हैं।

परिणाम
प्रयोग विभिन्न विषम कॉन्फ़िगरेशन में स्टैंडर्ड टेक्स्ट-मिडिएटेड MAS (TextMAS) के विरुद्ध विज़न वर्महोल (VW) की तुलना करते हैं। मुख्य निष्कर्ष निम्नलिखित हैं:

दक्षता (Efficiency): VW अधिकांश मूल्यांकित सेटिंग्स में TextMAS की तुलना में एंड-टू-एंड वॉल-क्लॉक टाइम को कम करता है।
सटीकता (Accuracy): नियंत्रित-तुलना व्यवस्थाओं में VW सकारात्मक मैक्रो-एवरेज $\Delta$ -एक्यूरेसी प्रदान करता है। लाभ विशेष रूप से कोड जनरेशन कार्यों (MBPP-Plus और HumanEval-Plus) और विषम VLM कॉन्फ़िगरेशन में केंद्रित हैं।
मजबूती (Robustness): कोडेक का एक वीकली सुपरवाइज्ड वेरिएंट, जिसे 100 से कम एंकर टेक्स्ट पर प्रशिक्षित किया गया है, रनटाइम गेन्स को बनाए रखता है और कॉन्फ़िगरेशन-डिपेंडेंट सटीकता सुधार पैदा करता है, जो यह सुझाव देता है कि विजन पाथवे लेटेंट ट्रांसफर के लिए एक डेटा-एफिशिएंट चैनल है।
सिंगल-एजेंट बेसलाइन्स के साथ तुलना: VW कमजोर बैकबोन के लिए सहयोगी लाभों को बनाए रखते हुए, मजबूत-मॉडल सिंगल-एजेंट प्रदर्शन के करीब रहता है, जो यह दर्शाता है कि बाउंडेड लेटेंट कम्युनिकेशन विषम टीमों में क्रॉस-रोल इंटरफेरेंस को कम करता है।

महत्व
यह पेपर दावा करता है कि 'द विज़न वर्महोल' टेक्स्ट कम्युनिकेशन और पेयरवाइज कैश ट्रांसलेटर्स के लिए एक बाउंडेड, मॉड्यूलर और स्केलेबल विकल्प प्रदान करता है। निरंतर संकेतों (continuous signals) को उपभोग करने की VLMs की मूल क्षमता का लाभ उठाकर, यह विषम एजेंटों के बीच कुशल, टेक्स्ट-फ्री सहयोग को सक्षम बनाता है। यह फ्रेमवर्क मल्टी-फैमिली इंटीग्रेशन जटिलता को द्विघात से रैखिक स्केलिंग में बदल देता है, जो विविध मल्टी-एजेंट इकोसिस्टम में इंटरऑपरेबिलिटी के लिए एक व्यावहारिक समाधान प्रदान करता है। लेखक इस कार्य को एक संचार-इंटरफेस योगदान के रूप में प्रस्तुत करते हैं जो मॉड्यूलरिटी को बनाए रखते हुए क्रॉस-फैमिली मेंटेनेंस लागत को काफी कम करता है।