CIVIC: End-to-End Sequence Compactness for Efficient Vision-Language Models
CIVIC एक एंड-टू-एंड फ्रेमवर्क है जो सभी इन्फरेंस चरणों में एक निरंतर सघन विजुअल पाथवे को बनाए रखकर विजन-लैंग्वेज मॉडल्स में वास्तविक हार्डवेयर दक्षता प्राप्त करता है, जिससे सटीकता से समझौता किए बिना मेमोरी और लेटेंसी को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को किसी फिल्म के एक जटिल दृश्य के बारे में समझाने की कोशिश कर रहे हैं।
समस्या: "ज़रूरत से ज़्यादा वर्णन करने वाला" दोस्त
वर्तमान AI मॉडल (जिन्हें विज़न-लैंग्वेज मॉडल्स कहा जाता है) उन दोस्तों की तरह हैं जो किसी फिल्म के एक फ्रेम के हर एक पिक्सेल का वर्णन करते हैं। यदि फिल्म 4K रेजोल्यूशन में है, तो वे वीडियो के केवल एक सेकंड के लिए भी 1,000 सूक्ष्म विवरणों (टोकन) का वर्णन करने की कोशिश कर सकते हैं। हालांकि यह विस्तृत है, लेकिन यह थका देने वाला है। AI को कहानी लिखने की कोशिश करते समय इन 1,000 विवरणों को अपनी अल्पकालिक स्मृति ("KV-कैश") में याद रखना पड़ता है। यह इस वजह से AI को धीमा, मेमोरी-खपत वाला और चलाने में महंगा बनाता है, खासकर छोटे उपकरणों पर।
पुराना समाधान: "एडिट बटन" की गलती
पिछले प्रयास इस बात को ठीक करने के समान थे कि पहले 1,000 शब्दों का पूरा विवरण लिखा जाए, और फिर बाद में उबाऊ हिस्सों को काटने के लिए एक संपादक को काम पर रखा जाए।
- दोष: भले ही संपादक ने शब्दों को काट दिया था, लेकिन AI को पहले उन्हें लिखना, साथ लेकर चलना और फिर उन्हें हटाना ही पड़ा। यह एक भारी बैग में पत्थर भरकर ले जाने जैसा है, जिसे आप फिनिश लाइन पर पहुँचकर आधा छोड़ देते हैं। आपने वजन ढोने में फिर भी थकान महसूस की, और "संपादन" की प्रक्रिया में खुद भी अतिरिक्त समय लगा।
नया समाधान: CIVIC (एक "स्मार्ट सारांशकर्ता")
यह पेपर CIVIC को पेश करता है, जो AI के देखने और बोलने के तरीके के बारे में सोचने का एक नया तरीका है। यह केवल विवरण लिखने और फिर उसे एडिट करने के बजाय, AI को शुरुआत से ही केवल महत्वपूर्ण हिस्सों को लिखने के लिए सिखाता है।
यहाँ बताया गया है कि CIVIC कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
"एंकर" सिस्टम (स्मार्ट ग्रुपिंग):
एक भीड़भाड़ वाले कमरे को देखने की कल्पना करें। हर एक व्यक्ति के चेहरे को सूचीबद्ध करने के बजाय, CIVIC कुछ "एंकर" (जैसे दोस्तों के एक समूह का केंद्र) चुनता है और कहता है, "यह पूरा समूह एक विचार का प्रतिनिधित्व करता है।" यह AI द्वारा उन्हें प्रोसेस करने से पहले ही समान दृश्य विवरणों को एक साथ समूहित करता है। यह 1,000 वस्तुओं की एक अव्यवस्थित भीड़ को 400 प्रमुख बिंदुओं की एक व्यवस्थित सूची में बदल देता है।"निरंतर पथ" (कोई घुमाव नहीं):
अधिकांश अन्य तरीके एक रिले रेस की तरह हैं जहाँ धावक बैटन पास करता है, रुककर उसे फिर से पैक करता है, और फिर से दौड़ता है। CIVIC एक सीधा ट्रैक है। यह कैमरे से लेकर प्रोजेक्टर और फिर AI के मस्तिष्क तक पूरी जानकारी को "कॉम्पैक्ट" (छोटा किया हुआ) रूप में रखता है। यह कभी भी "भारी" संस्करण पर वापस नहीं स्विच करता। इसका मतलब है कि AI मोड बदलने या डेटा को पुनर्गठित करने में ऊर्जा बर्बाद नहीं करता है।"मेमोरी सेवर" (KV-कैश):
चूंकि AI को केवल 400 प्रमुख बिंदुओं को याद रखना होता है बजाय 1,000 के, इसलिए इसकी अल्पकालिक स्मृति (KV-कैश) नाटकीय रूप से सिकुड़ जाती है। पेपर में पाया गया कि CIVIC मानक पद्धति की तुलना में केवल लगभग एक-तिहाई मेमोरी स्पेस का उपयोग करता है। यह एक भारी सूटकेस ले जाने के बजाय एक छोटा बैकपैक ले जाने जैसा है।"शिक्षक-छात्र" पाठ (प्रशिक्षण):
यह सुनिश्चित करने के लिए कि कम विवरण होने से AI भ्रमित न हो जाए, शोधकर्ताओं ने एक "टेक्स्ट-अलाइन्ड" शिक्षण पद्धति का उपयोग किया। कल्पना कीजिए कि एक शिक्षक (बड़ा, धीमा AI) एक छात्र (नया, तेज़ AI) को चित्र का वर्णन करना सिखा रहा है। शिक्षक केवल यह नहीं कहता कि "संक्षिप्त हो जाओ"; वे कहते हैं, "चित्र के अर्थ का कम शब्दों में वर्णन करो, लेकिन सुनिश्चित करो कि तुम कहानी को सही ढंग से बताते हो।" यह सुनिश्चित करता है कि AI चित्र में किसी वस्तु के स्थान जैसे सूक्ष्म विवरणों को समझने की अपनी क्षमता न खो दे।
परिणाम
जब शोधकर्ताओं ने इसे Qwen3-VL नामक मॉडल पर टेस्ट किया:
- गति: AI ने अपना कार्य बहुत तेज़ी से पूरा किया (लगभग 3.5 सेकंड से गिरकर ~2.5 सेकंड हो गया)।
- मेमोरी: इसने काफी कम मेमोरी का उपयोग किया (लगभग 122 MB से गिरकर ~44 MB हो गया)।
- सटीकता: तेज़ और छोटा होने के बावजूद, यह "मूर्ख" नहीं हुआ। इसने अभी भी जटिल प्रश्नों के उत्तर दिए और छवियों में वस्तुओं का पता लगाया, ठीक वैसे ही जैसे धीमा और भारी संस्करण करता है।
सारांश में
CIVIC, AI को अनावश्यक काम करने से रोकता है। डेटा की एक विशाल मात्रा उत्पन्न करने और फिर उसे काटने की कोशिश करने के बजाय, यह शुरुआत से ही एक संक्षिप्त, कुशल सारांश उत्पन्न करना सीखता है। यह AI को तेज़, सस्ता और बिना अपनी बुद्धिमत्ता खोए वास्तविक दुनिया में उपयोग के लिए तैयार बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।