💻 computer science

Half-Truths Break Similarity-Based Retrieval

यह शोध पत्र CLIP-शैली के मॉडलों में "आधे-सच" (half-truth) की संवेदनशीलता की पहचान करता है और उसे संबोधित करता है, जहाँ विवरण में प्रशंसनीय लेकिन गलत विवरण जोड़ने से समानता स्कोर त्रुटिपूर्ण रूप से बढ़ जाता है, और इसके लिए CS-CLIP का प्रस्ताव देता है, जो एक घटक-पर्यवेक्षित प्रशिक्षण दृष्टिकोण है जो सूक्ष्म-स्तरीय ग्राउंडिंग को लागू करने और संरचनात्मक समझ में महत्वपूर्ण सुधार करने के लिए विवरणों को संस्थाओं (entities) और संबंधों (relations) में विभाजित करता है।

मूल लेखक: Bora Kargi, Arnas Uselis, Seong Joon Oh

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bora Kargi, Arnas Uselis, Seong Joon Oh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Half-Truths Break Similarity-Based Retrieval" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

समस्या: "हाँ, और..." वाला जाल (The "Yes, And..." Trap)

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े भोले (gullible) रोबोट के साथ "चित्र पहचानो" (Guess the Picture) खेल खेल रहे हैं।

राउंड 1: आप रोबोट को एक कुत्ते की तस्वीर दिखाते हैं। आप कहते हैं, "यह एक कुत्ता है।" रोबोट तस्वीर को देखता है, आपके शब्दों को देखता है, और कहता है, "हाँ! यह एक परफेक्ट मैच है!" (स्कोर: 10/10)।
राउंड 2: आप उसी कुत्ते की तस्वीर दिखाते हैं। लेकिन इस बार, आप कहते हैं, "यह एक कुत्ता है जो स्केटबोर्ड चला रहा है।"
- वास्तविकता: कुत्ता बस वहीं बैठा है। वह स्केटबोर्ड पर नहीं है।
- रोबोट की प्रतिक्रिया: आश्चर्यजनक रूप से, रोबोट और भी उत्साहित हो जाता है। वह कहता है, "वाह! एक कुत्ता! और एक स्केटबोर्ड! यह तो और भी विस्तृत (detailed) है! स्कोर: 12/10!"

यही वह मुख्य समस्या है जिसे यह पेपर पहचानता है। वर्तमान AI मॉडल (जैसे CLIP) किसी भी मेल खाने वाले शब्दों को खोजने के लिए इतने उत्सुक होते हैं कि वे "आधे सच" (Half-Truths) के झांसे में आ जाते हैं।

एक आधा सच (Half-Truth) एक ऐसा वाक्य है जो काफी हद तक सही है लेकिन उसमें एक छोटा सा, विश्वसनीय झूठ जोड़ दिया गया है।

झूठ: "कुत्ता स्केटबोर्ड पर है।"
जाल: क्योंकि रोबोट "कुत्ता" और "स्केटबोर्ड" शब्दों को पहचान लेता है, इसलिए उसे लगता है कि यह वाक्य साधारण सत्य वाक्य की तुलना में एक बेहतर विवरण है। वह यह जांचने में विफल रहता है कि क्या कुत्ता वास्तव में स्केटबोर्ड पर है या नहीं।

लेखक इसे "Conjunction Fallacy" कहते हैं। यह वैसा ही है जैसे कोई इंसान सोचे कि "लिंडा एक बैंक टेलर है" की तुलना में "लिंडा एक बैंक टेलर है और वह नारीवादी आंदोलन में सक्रिय है" कहना अधिक संभावित है, जबकि विवरण जोड़ने से कोई स्थिति कम संभावित हो जाती है, न कि अधिक। AI सोचता है कि विवरण जोड़ने से मैच बेहतर हो जाता है, भले ही वे विवरण गलत हों।

ऐसा क्यों होता है?

AI के दिमाग को एक "शब्दों की थैली" (Bag of Words) के रूप में सोचें जो एक पहेली को मिलाने की कोशिश कर रही है।

जब वह तस्वीर देखता है, तो वह "विजुअल टोकन" (कुत्ता, पार्क, घास) की एक थैली निकालता है।
जब वह "Dog on skateboard" वाक्य पढ़ता है, तो वह "टेक्स्ट टोकन" (dog, skateboard) निकालता है।
वह देखता है कि "Dog" का मिलान "Dog" से होता है। वह देखता है कि "Skateboard" का मिलान... खैर, उसे तस्वीर में स्केटबोर्ड नहीं दिखता, लेकिन वह "Dog" के मिलान पर इतना केंद्रित है कि वह गायब स्केटबोर्ड को अनदेखा कर देता है। वह वाक्य को एक किराने की सूची की तरह मानता है: "क्या हमारे पास कुत्ता है? हाँ! क्या हमारे पास स्केटबोर्ड है? शायद! लगभग ठीक है!"

AI संबंधों (relationships) की जाँच नहीं कर रहा है (क्या कुत्ता स्केटबोर्ड पर है?)। वह बस शब्दों के ओवरलैप (मिलान) को गिन रहा है।

समाधान: CS-CLIP (द "डिटेल डिटेक्टिव")

लेखकों ने एक नया प्रशिक्षण तरीका बनाया जिसे CS-CLIP (कंपोनेंट-सुपरवाइज्ड CLIP) कहा जाता है। केवल पूरे वाक्य को पूरी तस्वीर से मिलाने के बजाय, उन्होंने AI को एक फॉरेंसिक अकाउंटेंट की तरह रसीद (receipt) की जाँच करने के लिए प्रशिक्षित किया।

प्रशिक्षण की उपमा (Training Analogy):
कल्पना कीजिए कि आप एक नए कर्मचारी को रसीदें चेक करने के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका: आप उन्हें एक रसीद दिखाते हैं और कहते हैं, "क्या यह ऑर्डर से मेल खाता है?" वे बस कुल राशि पर नज़र डालते हैं और कहते हैं "ठीक लग रहा है।"
नया तरीका (CS-CLIP): आप रसीद को लाइन दर लाइन तोड़ते हैं।
- "यहाँ एक आइटम है: भूरा घोड़ा (Brown Horse)।"
- "यहाँ एक नकली रसीद लाइन है: सफेद घोड़ा (White Horse)।"
- "मुझे बताओ कि कौन सा फोटो से मेल खाता है।"
- "यहाँ एक संबंध है: खलिहान के पास घोड़ा (Horse near Barn)।"
- "यहाँ एक नकली संबंध है: खलिहान के अंदर घोड़ा (Horse inside Barn)।"
- "मुझे बताओ कि कौन सा सच है।"

AI को "भूरे घोड़े" और "सफेद घोड़े" के बीच अंतर पहचानने, या "खलिहान के पास घोड़े" और "खलिहान के अंदर घोड़े" के बीच अंतर पहचानने का अभ्यास कराने से, वह केवल सामान्य अहसास (vibe) पर ध्यान देने के बजाय, विशिष्ट विवरणों और चीजें आपस में कैसे जुड़ती हैं उस पर ध्यान देना सीख जाता है।

परिणाम: भोलेपन से लेकर तेज़ तर्रार होने तक

इस "डिटेल डिटेक्टिव" प्रशिक्षण के बाद, AI के व्यवहार में बदलाव आया:

पहले (CLIP): यदि आप एक नकली विवरण जोड़ते थे, तो AI को लगता था कि विवरण बेहतर हो गया है। वह आसानी से मूर्ख बन जाता था।
बाद में (CS-CLIP): यदि आप एक नकली विवरण जोड़ते हैं, तो AI तुरंत कहता है, "रुको, यह फिट नहीं बैठता। स्कोर कम होना चाहिए।"

साधारण अंग्रेजी में आँकड़े:

पुराना AI: केवल 40% बार ही झूठ पकड़ पाता था। (वह अक्सर मूर्ख बन जाता था)।
नया AI (CS-CLIP): झूठ को 69% बार पकड़ लेता है।
सबसे कठिन हिस्सा: AI गलत संबंधों (जैसे "स्केटबोर्ड पर कुत्ता") को पकड़ने में बहुत बुरा था। पुराना AI इसे केवल 33% बार सही पकड़ पाता था। नया AI इसे 65% बार सही पकड़ता है।

आपको इसकी परवाह क्यों करनी चाहिए?

यह महत्वपूर्ण है क्योंकि हम चाहते हैं कि AI एक भरोसेमंद सहायक हो, न कि केवल "हाँ में हाँ मिलाने वाला" (yes-man)।

सर्च इंजन: यदि आप "लाल कार" खोजते हैं, तो आप नहीं चाहेंगे कि AI आपको "लाल कार जिसके ऊपर यूनिकॉर्न है" दिखाए, सिर्फ इसलिए क्योंकि इसमें "लाल" और "कार" शब्द मेल खाते हैं।
सुरक्षा: यदि एक रोबोट को बताया जाता है "दरवाजा खुला है," तो उसे यह जानना चाहिए कि क्या दरवाजा वास्तव में खुला है, न कि केवल यह कि "दरवाजा" और "खुला" शब्द उसके डेटाबेस में मौजूद हैं।

सारांश

यह पेपर दिखाता है कि वर्तमान AI मॉडल किसी विवरण में अतिरिक्त, नकली विवरण जोड़ने से बहुत आसानी से धोखा खा जाते हैं। वे सोचते हैं कि "अधिक शब्द = बेहतर मिलान।" लेखों ने AI को हर एक शब्द और संबंध को व्यक्तिगत रूप से जांचने के लिए प्रशिक्षित करके इसे ठीक किया, जिससे वह एक भोले अंदाज़ वाले गेसर (guesser) से बदलकर एक तेज़-नज़र वाले जासूस (detective) में बदल गया, जो जानता है कि कब कोई कहानी मेल नहीं खा रही है।

यहाँ शोध पत्र "Half-Truths Break Similarity-Based Retrieval" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: हाफ-ट्रुथ (आधा-सच) भेद्यता (Vulnerability)

यह शोध पत्र वर्तमान CLIP-शैली के विजन-लैंग्वेज मॉडल्स (डुअल एनकोडर) में कंपोजिशनल अंडरस्टैंडिंग (रचनात्मक समझ) के संबंध में एक महत्वपूर्ण विफलता मोड की पहचान करता है।

अंतर्ज्ञान (Intuition): यदि एक टेक्स्ट विवरण $A$ किसी छवि का सही वर्णन करता है, तो एक प्रशंसनीय लेकिन गलत विवरण जोड़कर एक "हाफ-ट्रुथ" $A^-$ बनाना चाहिए, जिससे इमेज-टेक्स्ट समानता स्कोर में कमी आनी चाहिए।
वास्तविकता: लेखक प्रदर्शित करते हैं कि CLIP और समान मॉडल अक्सर इस अंतर्ज्ञान का उल्लंघन करते हैं। एक सही लेकिन गलत विवरण (जैसे, कुत्ते के विवरण में "और जेब्रा" जोड़ना, या "लॉग के पास" को "लॉग से दूर" में बदलना) जोड़ने से अक्सर समानता स्कोर बढ़ जाता है, जिससे मॉडल छोटे और सही विवरण के बजाय गलत विवरण को प्राथमिकता देने लगता है।
"हाफ-ट्रुथ" डायग्नोस्टिक: लेखक इसे हाफ-ट्रुथ भेद्यता (Half-Truth Vulnerability) के रूप में औपचारिक रूप देते हैं। वे एक मीट्रिक, हाफ-ट्रुथ एक्यूरेसी ( $Acc_{HT}$ ) को परिभाषित करते हैं, जो उन मामलों के अंश को मापता है जहाँ मॉडल सही एंकर (सही छोटा विवरण) को हाफ-ट्रुथ (सही + 1 गलत विवरण) पर सही ढंग से प्राथमिकता देता है।
- निष्कर्ष: MS-COCO डेटासेट पर, मानक CLIP समग्र रूप से केवल 40.6% $Acc_{HT}$ प्राप्त करता है। यह समस्या रिलेशन्स (जैसे, स्थानिक या क्रिया संबंधी संबंध) के लिए काफी गंभीर है, जहाँ CLIP के स्कोर गिरकर 32.9% (रैंडम चांस से भी बदतर) हो जाते हैं। यहाँ तक कि उन्नत वेरिएंट जैसे SigLIP2 और सेंटेंस-लेवल हार्ड-नेगेटिव मेथड्स (NegCLIP) भी इन गलत जोड़ों को प्रभावी ढंग से दंडित करने में संघर्ष करते हैं।

2. मूल कारण विश्लेषण (Root Cause Analysis)

लेखक इस भेद्यता का पता कंट्रास्टिव ट्रेनिंग के दौरान कैप्शन के हिस्सों पर कमजोर पर्यवेक्षण (weak supervision on caption parts) से लगाते हैं:

ग्लोबल बनाम लोकल अलाइनमेंट: मानक कंट्रास्टिव ट्रेनिंग पूरे वाक्यों को छवियों के साथ अलाइन करती है। हालांकि यह वाक्य स्तर पर मजबूत पर्यवेक्षण प्रदान करता है, लेकिन यह स्पष्ट रूप से यह लागू करने में विफल रहता है कि व्यक्तिगत एंटिटीज (वस्तुएं/विशेषण) और रिलेशन्स (संबंध) सही ढंग से ग्राउंडेड हैं या नहीं।
बैग-ऑफ-वर्ड्स व्यवहार: मॉडल मोटे ओवरलैप (जैसे, "कुत्ता" और "लॉग" की उपस्थिति का पता लगाना) पर निर्भर रहने लगते हैं, न कि विशिष्ट संरचना (जैसे, लॉग के सापेक्ष कुत्ता कहाँ है) को सत्यापित करने पर। फलस्वरूप, एक प्रशंसनीय शब्द जोड़ने से समग्र "बैग-ऑफ-वर्ड्स" ओवरलैप बढ़ जाता है, जिससे स्कोर बढ़ जाता है, भले ही अर्थ संबंधी संरचना गलत हो।

3. कार्यप्रणाली: CS-CLIP (कंपोनेंट-सुपरवाइज्ड CLIP)

इसे संबोधित करने के लिए, लेखक CS-CLIP प्रस्तावित करते हैं, जो एक फाइन-ट्यूनिंग दृष्टिकोण है जो इन्फरेंस के समय उपयोग किए जाने वाले मानक डुअल-एनकोडर आर्किटेक्चर को बदले बिना यूनिट-लेवल सुपरविजन पेश करता है।

मुख्य घटक:

यूनिट पार्सिंग:
- कैप्शन को एंटिटी यूनिट्स (विशेषणों के साथ संज्ञा वाक्यांश, जैसे, "भूरा घोड़ा") और रिलेशन यूनिट्स (एंटिटीज के बीच निर्देशित संबंध, जैसे, "खड़े घोड़े के पास अस्तबल") में विभाजित किया जाता है।
- यह एक टेक्स्ट-ओनली LLM पाइपलाइन का उपयोग करके किया जाता है।
फॉइल जनरेशन (Foil Generation):
- प्रत्येक यूनिट के लिए, एक न्यूनतम संपादित फॉइल (minimally edited foil) बनाया जाता है। यह फॉइल प्रवाह और संदर्भ को बनाए रखता है लेकिन अर्थ बदल देता है (जैसे, "भूरा घोड़ा" $\to$ "सफेद घोड़ा"; "अस्तबल के पास घोड़ा" $\to$ "अस्तबल के अंदर घोड़ा")।
ट्रेनिंग ऑब्जेक्टिव:
- मॉडल को सही यूनिट और उसके फॉइल के बीच अंतर करने के लिए फाइन-ट्यून किया जाता है।
- लॉस फंक्शन: कुल लॉस निम्नलिखित को जोड़ता है:
  - $L_{global}$ : मानक सेंटेंस-लेवल कंट्रास्टिव लॉस (NegCLIP-स्टाइल हार्ड नेगेटिव्स का उपयोग करके)।
  - $L_{unit}$ : एक नया यूनिट-लेवल लॉस जो इमेज एम्बेडिंग को सही यूनिट एम्बेडिंग के करीब खींचता है और उसे फॉइल एम्बेडिंग (और अन्य इन-बैच यूनिट्स) से दूर धकेलता है।
- आर्किटेक्चर: महत्वपूर्ण रूप से, CS-CLIP मानक डुअल-एनकोडर संरचना को बनाए रखता है। टेस्ट के समय, यह मौजूदा सिस्टमों के साथ संगतता सुनिश्चित करने के लिए मानक CLIP जैसा ही रिट्रीवल स्कोरिंग उपयोग करता है।

4. प्रमुख योगदान

डायग्नोस्टिक: हाफ-ट्रुथ डायग्नोस्टिक का परिचय, एक नया बेंचमार्क जो यह प्रकट करता है कि गलत विवरण जोड़ने से अक्सर स्टेट-ऑफ-द-आर्ट मॉडल्स में समानता स्कोर बढ़ जाता है, विशेष रूप से रिलेशनल त्रुटियों के लिए।
मेथड: CS-CLIP का विकास, जो कंपोजिशनल संवेदनशीलता को लागू करने के लिए स्पष्ट यूनिट-लेवल सुपरविजन (एंटिटीज/रिलेशन्स को मैच किए गए फॉइल्स के विरुद्ध कंट्रास्ट करना) का उपयोग करता है।
बेंचमार्क्स: यह प्रदर्शन करना कि हाफ-ट्रुथ त्रुटियों को कम करने से 16 स्थापित बेंचमार्क (जैसे, ARO, Winoground, SugarCrepe) में सामान्य कंपोजिशनल प्रदर्शन में व्यापक लाभ होता है।

5. प्रयोगात्मक परिणाम

हाफ-ट्रुथ एक्यूरेसी (COCO)

CS-CLIP समग्र रूप से 69.3% $Acc_{HT}$ प्राप्त करता है, जो ज़ीरो-शॉट CLIP (40.6%) और NegCLIP (56.5%) की तुलना में एक बड़ा सुधार है।
रिलेशन हैंडलिंग: सबसे महत्वपूर्ण लाभ रिलेशन एडिशन्स में है, जहाँ CS-CLIP 65.5% तक पहुँच जाता है (CLIP के 32.9% और NegCLIP के 48.3% के मुकाबले), प्रभावी रूप से उस प्रवृत्ति को उलट देता है जहाँ मॉडल गलत संबंधों को प्राथमिकता देते हैं।
एंटिटी हैंडलिंग: CS-CLIP एंटिटी एडिशन्स पर 75.4% प्राप्त करता है, जो सर्वश्रेष्ठ बेसलाइन (FSC-CLIP) के बराबर है।

कंपोजिशनल बेंचमार्क्स

CS-CLIP 16 कंपोजिशनल बेंचमार्क में सर्वश्रेष्ठ औसत इमेज-टू-टेक्स्ट (I2T) सटीकता (57.8%) प्राप्त करता है, जो CLIP से 5.7 प्रतिशत अंक अधिक है।
यह सर्वश्रेष्ठ ग्रुप एक्यूरेसी (I2T और T2I दोनों दिशाओं में शुद्धता की आवश्यकता) और टेक्स्ट-टू-इमेज (T2I) सटीक भी प्राप्त करता है।
परिणाम हाफ-ट्रुथ मजबूती और सामान्य कंपोजिशनल प्रदर्शन के बीच एक सकारात्मक सहसंबंध दिखाते हैं, जो सुझाव देते हैं कि यह विधि एक विशिष्ट टेस्ट पर ओवरफिट होने के बजाय एक मौलिक कमजोरी को संबोधित करती है।

डाउनस्ट्रीम परफॉरमेंस

ज़ीरो-शॉट क्लासिफिकेशन: इसमें एक मामूली ट्रेड-ऑफ है। CS-CLIP की औसत ज़ीरो-शॉट सटीकता थोड़ी कम हो जाती है (63.6% से 59.9% Acc@1), जो अन्य COCO-फाइन-ट्यून्ड बेसलाइन्स के बराबर है।
रिट्रीवल: CS-CLIP रिट्रीवल प्रदर्शन में सुधार करता है, MS-COCO और Flickr8k पर सर्वश्रेष्ठ औसत Recall@1 प्राप्त करता है।

6. महत्व और प्रभाव

क्वेरी रिफाइनमेंट में विश्वसनीयता: यह कार्य उजागर करता है कि वर्तमान मॉडल तब अविश्वसनीय होते हैं जब उपयोगकर्ता अतिरिक्त विवरणों के साथ क्वेरी को रिफाइन करते हैं। CS-CLIP रिट्रीवल को "हाफ-ट्रुथ" क्वेरीज़ के प्रति अधिक मजबूत बनाता है, जो सर्च इंजन और एक्सेसिबिलिटी टूल्स के लिए महत्वपूर्ण है।
कंपोजिशनल अंडरस्टैंडिंग: यह शोध पत्र सिद्ध करता है कि केवल वाक्य-स्तर के नेगेटिव्स या आर्किटेक्चरल बदलावों पर निर्भर रहने के बजाय, वाक्य के हिस्सों (एंटिटीज और रिलेशन्स) पर मॉडल को स्पष्ट रूप से सुपरवाइज करना कंपोजिशनल रीजनिंग के लिए अधिक प्रभावी है।
सामान्यीकरण (Generalizability): मानक डुअल-एनकोडर इन्फरेंस पाइपलाइन को सुरक्षित रखते हुए, CS-CLIP मौजूदा CLIP-आधारित सिस्टमों के लिए एक 'ड्रॉप-इन' सुधार प्रदान करता है, जो इसे तैनाती के लिए अत्यधिक व्यावहारिक बनाता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि रिट्रीवल-आधारित समानता तब विफल हो जाती है जब यह एक सही विवरण और एक प्रशंसनीय लेकिन गलत विस्तार के बीच अंतर नहीं कर पाती है। ग्लोबल सेंटेंस अलाइनमेंट से कंपोनेंट-लेवल अलाइनमेंट की ओर ध्यान केंद्रित करके, CS-CLIP इस विफलता को काफी हद तक कम करता है, जिससे अधिक मजबूत और कंपोजिशनल रूप से जागरूक विजन-लैंग्वेज मॉडल बनते हैं।