HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

तकनीकी सारांश: HANCLIP – एक हाइपरबोलिक कोणीय निषेध विज़न लैंग्वेज मॉडल परिवार

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs), मानक पुनर्प्राप्ति (retrieval) और वर्गीकरण (classification) कार्यों पर अपने मजबूत प्रदर्शन के बावजूद, निषेध (negation) को संसाधित करने में महत्वपूर्ण भंगुरता (brittleness) प्रदर्शित करते हैं। वर्तमान मॉडल अक्सर गहरे तार्किक तर्क के बजाय उथले शब्द-वस्तु सह-अस्तित्व (co-occurrences) पर निर्भर करते हैं, जिससे वे सकारात्मक और निषेधित (negated) दोनों कैप्शन को उच्च समानता स्कोर प्रदान करने में विफल रहते हैं (उदाहरण के लिए, "एक सेब के पेड़ के पास एक बिल्ली" और "एक कुर्सी के पास एक बिल्ली, न कि एक सेब का पेड़" के बीच अंतर करने में विफल होना)। मौजूदा समाधान जो विशेष डेटासेट और कंट्रास्टिव ऑब्जेक्टिव के माध्यम से इसे संबोधित करने का प्रयास करते हैं, उनमें आमतौर पर बड़े पैमाने पर पुन: प्रशिक्षण (retraining) की आवश्यकता होती है, जिससे पहले से प्राप्त ज्ञान का विनाशकारी विस्मरण (catastrophic forgetting) का जोखिम होता है और मानक बेंचमार्क पर प्रदर्शन घट जाता है। इसके अलावा, कई दृष्टिकोण दृश्य निषेध की संरचनात्मक प्रकृति को मॉडल करने में संघर्ष करते हैं, जिसके लिए वस्तु संबंधों और विकल्पों पर तर्क की आवश्यकता होती है, न कि केवल शाब्दिक व्युत्क्रमण (lexical inversion) की।

कार्यप्रणाली
लेखक HANCLIP (Hyperbolic + Angular + Negation) पेश करते हैं, जो एक ऐसा ढांचा है जिसे एम्बेडिंग स्पेस को यह स्पष्ट रूप से एनकोड करने के लिए पुनर्गठित करने के लिए डिज़ाइन किया गया है कि "एक छवि क्या नहीं है" और "वह क्या है" के साथ-साथ। यह दृष्टिकोण मॉडल-अज्ञेय (model-agnostic) है और इसे 20,000 इमेज-टेक्स्ट क्वाड्रुप्लेट्स $(I, P, P', N)$ के एक संक्षिप्त डेटासेट का उपयोग करके CLIP, LongCLIP, SmartCLIP, और HiMo-CLIP जैसे प्री-ट्रेंड बैकबोन पर लागू किया जा सकता है, जहाँ $I$ छवि है, $P$ सकारात्मक कैप्शन है, $P'$ निषेधित-सकारात्मक कैप्शन है, और $N$ वास्तविक नकारात्मक कैप्शन है।

कार्यप्रणाली दो मुख्य घटकों पर निर्भर करती है:

1. हाइपरबोलिक कंट्रास्टिव ऑब्जेक्टिव (HCO):
   हाइपरबोलिक ज्यामिति के पोइन्केरे बॉल (Poincaré ball) मॉडल का उपयोग करते हुए, HCO हाइपरबोलिक स्पेस के केंद्र के करीब पदानुक्रमित और असममित अर्थ संबंधी संबंधों को मॉडल करने के लिए त्रिज्या के साथ तेजी से बढ़ती दूरी का लाभ उठाता है। मानक यूक्लिडियन कंट्रास्टिव लर्निंग के विपरीत, जो सभी गैर-मिलान वाले जोड़ों को अंतर्निहित नकारात्मक मानता है, HCO स्पष्ट रूप से वास्तविक नकारात्मक कैप्शन ($N$) को लॉस डिनोमिनेटर (loss denominator) में शामिल करता है।

• तंत्र: यह एक पदानुक्रम लागू करता है जहाँ छवि $I$ और उसके सकारात्मक/निषेधित-सकारात्मक कैप्शन ($P, P'$) को हाइपरबोलिक स्पेस के केंद्र के करीब रखा जाता है, जबकि अर्थ संबंधी रूप से असंगत नकारात्मक ($N$) को सीमा (boundary) की ओर धकेला जाता है।
• लॉस टर्म्स: इस ऑब्जेक्टिव में तीन टर्म शामिल हैं: $P'$ को $I$ के साथ संरेखित करना; यह सुनिश्चित करना कि $I$, $P'$ के करीब है न कि किसी भी $N$ के; और $P'$ को $P$ के साथ संरेखित करना जबकि उन्हें $N$ से अलग करना।

2. कोणीय ट्रिपलेट निषेध लॉस (ATNL):
   यह घटक पूर्ण दूरियों के बजाय सापेक्ष दिशाओं पर कार्य करता है ताकि ट्रिपलेट $(P, P', N)$ के बीच ज्यामितीय निरंतरता लागू की जा सके।

• पॉजिटिव-अलाइनमेंट ($L_{pos}$): नकारात्मक कैप्शन $N$ को एक एंकर के रूप में उपयोग करते हुए, यह टर्म वेक्टर्स $\vec{NP}$ और $\vec{NP'}$ के बीच के कोण को कम करता है। यह सुनिश्चित करता है कि निषेधित-सकारात्मक कैप्शन $P'$, वास्तविक सकारात्मक $P$ के समान अर्थ संबंधी दिशा में स्थित हो जब उसे नकारात्मक एंकर से देखा जाए।
• नेगेटिव-सेपरेशन ($L_{neg}$): निषेधित-सकारात्मक कैप्शन $P'$ को एक एंकर के रूप में उपयोग करते हुए, यह टर्म वेक्टर्स $\vec{P'P}$ और $\vec{P'N}$ के बीच के कोण को अधिकतम करता है, जिससे वास्तविक सकारात्मक को नकारात्मक से फीचर स्पेस में दूर धकेला जाता है।
• कुल लॉस: अंतिम प्रशिक्षण ऑब्जेक्टिव एक भारित योग है: $L_{final} = L_{hc} + \alpha L_{at}$।

3. LoRA के माध्यम से विस्मरण शमन (Forgetting Mitigation):
   पूर्व-प्रशिक्षित क्षमताओं के क्षरण को रोकने के लिए, यह ढांचा लो-रैंक अडैप्टेशन (LoRA) का उपयोग करता है। प्री-ट्रेंड बैकबोन वेट्स को फ्रीज कर दिया जाता है, और कार्य-विशिष्ट अनुकूलन को छोटे, लो-रैंक शाखाओं के माध्यम से रूट किया जाता है। यह मॉड्यूलर डिज़ाइन मॉडल को सामान्य पुनर्प्राप्ति और वर्गीकरण के लिए उपयोग किए जाने वाले सबस्पेस को ओवरराइट किए बिना निषेध-जागरूक कौशल को संचित करने की अनुमति देता है।

प्रमुख योगदान

• हाइपरबोलिक निषेध मॉडलिंग: यह पेपर विशेष रूप से VLMs में निषेध समझ को हल करने के लिए हाइपरबोलिक ज्यामिति के पहले अनुप्रयोग का प्रस्ताव करता है, जो सकारात्मक और नकारात्मक अर्थ संबंधी क्लस्टरों को बेहतर ढंग से अलग करने के लिए गैर-यूक्लिडियन मेट्रिक्स का लाभ उठाता है।
• कोणीय ट्रिपलेट निषेध लॉस (ATNL): एक नवीन द्वि-पक्षीय (bifold) लॉस फंक्शन जो केवल दूरी के बजाय कोणीय संरेखण के आधार पर वास्तविक सकारात्मकों और निषेधित-सकारात्मकों को एक साथ खींचते हुए नकारात्मकों को दूर धकेलता है।
• डेटा दक्षता और प्रदर्शन: यह ढांचा केवल 20,000 प्रशिक्षण नमूनों (CC-Neg का एक छोटा हिस्सा) का उपयोग करके महत्वपूर्ण सुधार प्राप्त करता है, जिससे बड़े पैमाने पर पुन: प्रशिक्षण की आवश्यकता नहीं होती है।
• मॉडल अज्ञेयता (Model Agnosticism): इस पद्धति को बड़े पैमाने पर पुन: प्रशिक्षण के बिना चार अलग-अलग VLM आर्किटेक्चर (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) पर सफलतापूर्वक लागू किया गया है।

प्रायोगिक परिणाम
व्यापक प्रयोग NegBench बेंचमार्क (नेगेटिव रिट्रीवल और ज़ीरो-शॉट मल्टीपल चॉइस क्वेश्चन को कवर करता है) और मानक पुनर्प्राप्ति/वर्गीकरण डेटासेट्स (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V) पर किए गए।

• निषेध प्रदर्शन (Negation Performance): HANCLIP सभी परीक्षण किए गए बैकबोन पर NegBench पर निरंतर लाभ प्रदान करता है।
  • नेगेटिव रिट्रीवल: फ्रेमवर्क सभी परीक्षण किए गए बैकबोन में समग्र rSum स्कोर में लगभग 5%–10% का सुधार करता है। उदाहरण के लिए, SmartCLIP-L ने अपने rSum को 427.49 से बढ़ाकर 438.51 कर दिया।
  • मल्टीपल चॉइस क्वेश्चन (MCQ): MCQ कार्यों में औसतन लगभग 35% की वृद्धि होती है। फ्रेमवर्क "हाइब्रिड" प्रश्नों (जैसे, "A लेकिन B नहीं") में विशेष शक्ति दिखाता है, जहाँ यह शुद्ध "निषेधित" प्रश्नों की तुलना में काफी अधिक प्रदर्शन में सुधार करता है, जो बेहतर सापेक्ष तर्क क्षमताओं का सुझाव देता है।
• सामान्य क्षमताओं का संरक्षण:
  • वर्गीकरण: ImageNet, CIFAR-10, और CIFAR-100 पर प्रदर्शन काफी हद तक अपरिवर्तित रहता है (परिवर्तन $\pm 0.3\%$ के भीतर), कुछ वेरिएंट्स मामूली सुधार दिखाते हैं, जो इंगित करता है कि ज्यामितीय पुनर्गठन मूल पहचान को नुकसान नहीं पहुँचाता है।
  • पुनर्प्राप्ति (Retrieval): मानक शॉर्ट-टेक्स्ट और लॉन्ग-टेक्स्ट पुनर्प्राप्ति कार्य आम तौर पर बनाए रखे गए या बेहतर होते हैं। विशेष रूप से, इमेज-टू-टेक्स्ट (I2T) पुनर्प्राप्ति लगातार सुधरती है, जबकि टेक्स्ट-टू-इमेज (T2I) मिश्रित लेकिन आम तौर पर स्थिर परिणाम दिखाती है।
• एब्लेशन अध्ययन: हाइपरबोलिक कंट्रास्टिव ऑब्जेक्टिव (HCO) को बेहतर निषेध हैंडलिंग के लिए प्राथमिक चालक के रूप में पहचाना गया है, जबकि कोणीय ट्रिपलेट निषेध लॉस (ATNL) विशेष रूप से MCQ कार्यों के लिए और अधिक शोधन (refinement) प्रदान करता है।
• LoRA प्रभाव: केवल टेक्स्ट एनकोडर को अनुकूलित करने से सबसे मजबूत निषेध लाभ मिलता है, जबकि संयुक्त विजुअल-टेक्स्ट अनुकूलन ("V+T") निषेध प्रदर्शन और लॉन्ग-टेक्स्ट रिट्रीवल स्थिरता के बीच सबसे अच्छा संतुलन प्रदान करता है।

महत्व
पेपर का दावा है कि HANCLIP यह प्रदर्शित करता है कि एक सावधानीपूर्वक डिज़ाइन किया गया ज्यामितीय ऑब्जेक्टिव बड़े पैमाने पर पुन: प्रशिक्षण की आवश्यकता के बिना या विनाशकारी विस्मरण का कारण बने बिना मौजूदा VLMs की तर्क क्षमताओं को काफी हद तक विस्तारित कर सकता है। एम्बेडिंग स्पेस की ज्यामिति में सीधे तार्किक संरचना को इंजेक्ट करके, यह ढांचा प्री-ट्रේन्ड रिप्रेजेंटेशन की वैश्विक संरचना को संरक्षित करते हुए निषेध संवेदनशीलता में सुधार करने का एक सिद्धांतवादी तरीका प्रदान करता है। परिणाम बताते हैं कि गैर-यूक्लिडियन ज्यामिति और कोणीय बाधाएं निषेध जैसे जटिल तार्किक कार्यों को संभालने में VLMs की "भंगुरता" को संबोधित करने के लिए प्रभावी उपकरण हैं।