💻 computer science

Birds of a Feather Flock Together: Background-Invariant Representations via Linear Structure in VLMs

यह शोध पत्र एक प्री-ट्रेनिंग पद्धति प्रस्तुत करता है जो विजन-लैंग्वेज मॉडल एम्बेडिंग स्पेस के रैखिक योज्यता (linear additivity) गुण का लाभ उठाकर दृश्य निरूपणों को फोरग्राउंड और बैकग्राउंड घटकों में विभाजित करती है, जिससे बैकग्राउंड-इनवेरिएंट निरूपणों का निर्माण संभव होता है जो वास्तविक दुनिया के डिबायस्ड डेटा की आवश्यकता के बिना वॉटरबर्ड्स डेटासेट पर रिकॉर्ड-तोड़ वर्स्ट-ग्रुप सटीकता प्राप्त करते हैं।

मूल लेखक: Youssef Zaazou, Mark Thomas

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youssef Zaazou, Mark Thomas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Birds of a Feather Flock Together" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "आलसी जासूस" (The Lazy Detective)

कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखा रहे हैं। आप उसे बर्फ पर खड़े एक ध्रुवीय भालू (polar bear) की तस्वीर दिखाते हैं। रोबोट यह सीख जाता है: "सफेद फर + बर्फ = ध्रुवीय भालू।"

अब, आप उसे एक ध्रुवीय भालू की तस्वीर दिखाते हैं जो घास पर खड़ा है (शायद वह चिड़ियाघर या किसी फिल्म के सेट पर है)। रोबोट भ्रमित हो जाता है। वह सोचता है: "रुको, यहाँ बर्फ नहीं है! यह तो कोई अलग जानवर होना चाहिए!"

वर्तमान AI मॉडल (जिन्हें विजन-लैंग्वेज मॉडल्स या VLMs कहा जाता है) के साथ यही होता है। वे आलसी जासूसों की तरह होते हैं जो शॉर्टकट लेते हैं। वस्तु (भालू) का अध्ययन करने के बजाय, वे बैकग्राउंड (बर्फ) का अध्ययन करते हैं क्योंकि उनके ट्रेनिंग डेटा में भालू और बर्फ हमेशा साथ ही दिखाई देते थे। इसे स्पूरियस कोरिलेशन (spurious correlation) कहा जाता है।

पेपर का तर्क है कि ये मॉडल बैकग्राउंड के दृश्यों से बहुत आसानी से धोखा खा जाते हैं, जिससे वे वास्तविक दुनिया की स्थितियों में विफल हो जाते हैं जहाँ दृश्य बदल जाते हैं।

गुप्त सुपरपावर: "गणितीय लेगो" (Mathematical Lego)

शोधकर्ताओं ने कुछ दिलचस्प खोजा कि ये AI मॉडल कैसे "सोचते" हैं। उन्होंने पाया कि AI द्वारा किसी दृश्य का आंतरिक प्रतिनिधित्व (internal representation) पारदर्शी लेगो ब्लॉक्स के ढेर की तरह है।

ब्लॉक A: वस्तु (पक्षी)।
ब्लॉक B: बैकग्राउंड (दलदल या घास)।

अधिकांश AI मॉडल में, ये ब्लॉक्स एक उलझे हुए और बिखरे हुए तरीके से आपस में चिपके होते हैं। लेकिन शोधकर्ताओं ने पाया कि इन विशिष्ट मॉडलों (जैसे CLIP और SigLIP 2) में, ब्लॉक्स पूरी तरह से रैखिक (linear) हैं। इसका मतलब है कि दलदल में पक्षी के बारे में AI का "विचार" केवल "पक्षी" + "दलदल" का गणितीय रूप से सटीक योग है।

चूंकि वे अलग-अलग ब्लॉक्स हैं, शोधकर्ताओं ने महसूस किया कि वे "दलदल" वाले ब्लॉक को बाहर खींच सकते हैं और पीछे केवल "पक्षी" वाले ब्लॉक को छोड़ सकते हैं।

समाधान: "बैकग्राउंड-प्रूफिंग वर्कशॉप" (The Background-Proofing Workshop)

लेखकों ने एक नई ट्रेनिंग विधि बनाई जिसे BAP (Background-invariant Anchor Pre-training) कहा जाता है। इसे एक विशेष वर्कशॉप की तरह समझें जहाँ AI दृश्य (scenery) को अनदेखा करना सीखता है।

यह वर्कशॉप दो चरणों में कैसे काम करती है:

चरण 1: "शुद्ध पक्षी" का ब्लूप्रिंट बनाना
शोधकर्ता एक पक्षी की तस्वीर लेते हैं और उसे सैकड़ों अलग-अलग, यादृच्छिक (random) बैकग्राउंड (एक समुद्र तट, एक जंगल, एक शहर, एक रेगिस्तान) पर पेस्ट करते हैं।

वे AI से पूछते हैं: "यह पक्षी कैसा दिखता है?"
चूंकि पक्षी वही है लेकिन बैकग्राउंड हर बार बदल रहा है, इसलिए बैकग्राउंड के लिए AI का उत्तर "औसत" (average) हो जाता है और खुद को रद्द कर देता है।
जो बचता है वह केवल पक्षी का एक परफेक्ट, शुद्ध ब्लूप्रिंट है, जिसमें बैकग्राउंड का कोई शोर (noise) नहीं है। वे इसे एक एंकर (Anchor) कहते हैं।

चरण 2: "मेनी-टू-वन" ड्रिल (The Many-to-One Drill)
अब, वे AI को फिर से वही पक्षी दिखाते हैं, लेकिन इस बार एक नए रैंडम बैकग्राउंड के साथ।

वे AI को मजबूर करते हैं कि वह अपने उत्तर को चरण 1 में बनाए गए उस "शुद्ध पक्षी ब्लूप्रिंट" से मिलाए।
यह एक ड्रिल सार्जेंट की तरह है जो चिल्ला रहा है: "चाहे बैकग्राउंड कैसा भी हो, तुम्हारा उत्तर इस एक विशिष्ट 'पक्षी' लक्ष्य से मेल खाना चाहिए!"
यदि AI सुराग के रूप में बैकग्राउंड का उपयोग करने की कोशिश करता है, तो उसे "दंडित" किया जाता है क्योंकि वह ब्लूप्रिंट से मेल नहीं खाता।
समय के साथ, AI बैकग्राउंड को पूरी तरह से अनदेखा करना और केवल पक्षी पर ध्यान केंद्रित करना सीख जाता है।

परिणाम: यह क्यों मायने रखता है?

पेपर ने इसे Waterbirds नामक एक प्रसिद्ध कठिन डेटासेट पर परखा (जहाँ पक्षी आमतौर पर जमीन या पानी पर होते हैं और बैकग्राउंड पूरी तरह से मेल खाता है)।

पुराना तरीका: यदि AI को ऐसे डेटा पर प्रशिक्षित किया गया था जहाँ हर वाटरबर्ड पानी पर था और हर लैंडबर्ड जमीन पर था (100% कोरिलेशन), तो वह तब बुरी तरह विफल हो जाएगा जब टेस्ट के दौरान कोई लैंडबर्ड पानी पर दिखेगा। वह लगभग हर बार गलत उत्तर देगा।
BAP तरीका: भले ही AI को 100% भ्रामक संकेतों वाले डेटा के साथ प्रशिक्षित किया गया हो (जहाँ गलत संयोजनों का कोई उदाहरण नहीं था), फिर भी इसने बैकग्राउंड को अनदेखा करना सीख लिया।
स्कोर: इस नए तरीके ने सबसे कठिन टेस्ट मामलों में 90% से अधिक सटीकता हासिल की, जो सभी पिछले तरीकों को पीछे छोड़ देती है।

ट्रेड-ऑफ: "विशेषज्ञ बनाम सामान्यज्ञ" (Specialist vs. Generalist)

पेपर एक नुकसान के बारे में भी ईमानदार है। AI को बैकग्राउंड को इतनी सख्ती से अनदेखा करना सिखाकर, यह एक विशेषज्ञ (specialist) बन जाता है लेकिन अपनी कुछ सामान्य जानकारी (general knowledge) खो देता है।

पहले: AI एक पक्षी को पहचान सकता था और यह भी बता सकता था कि वह एक "जंगल" में है।
बाद में: AI पक्षी को पहचानने में अद्भुत है, लेकिन यदि आप उससे पूछें "यह किस प्रकार का स्थान है?" (बिना पक्षी के), तो वह भ्रमित हो सकता है। उसने दृश्य को पहचानने का तरीका भूल गया है क्योंकि उसे दृश्य को "शोर" (noise) मानकर प्रशिक्षित किया गया था।

लेखक कहते हैं कि यह विशिष्ट कार्यों के लिए एक अच्छा समझौता है। उदाहरण के लिए, यदि आप जंगली जानवरों को खोजने के लिए कैमरा उपयोग कर रहे हैं, तो आप चाहते हैं कि AI जानवर को खोज ले, भले ही वह किसी अजीब जगह पर हो। आपको इसकी आवश्यकता नहीं है कि AI जंगल का वर्णन भी करे।

सारांश

यह पेपर एक चतुर तकनीक पेश करता है: यह महसूस करके कि वस्तुओं और बैकग्राउंड के बारे में AI के "विचार" गणितीय रूप से अलग हैं, वे AI को बैकग्राउंड को औसत (average out) करने और वस्तु पर टिके रहने के लिए प्रशिक्षित कर सकते हैं। यह एक सुपर-रोबस्ट AI बनाता है जो इस बात से धोखा नहीं खाता कि चीजें कहाँ रखी गई हैं, जिससे कठिन प्रशिक्षण डेटा के बावजूद रिकॉर्ड तोड़ सटीकता प्राप्त होती है।

तकनीकी सारांश: बर्ड्स ऑफ अ फ़ेदर फ़्लॉक टुगेदर (Birds of a Feather Flock Together)

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) जैसे कि CLIP और SigLIP 2 को इमेज क्लासिफिकेशन और फीचर एक्सट्रैक्टर के रूप में व्यापक रूप से अपनाया जाता है। हालाँकि, उनके विज़न एनकोडर व्यवस्थित पूर्वाग्रहों (systematic biases), विशेष रूप से बैकग्राउंड स्पूरियस कोरिलेशन (background spurious correlations) के प्रति संवेदनशील रहते हैं। इन परिदृश्यों में, मॉडल ऑब्जेक्ट के वास्तविक फीचर्स सीखने के बजाय फोरग्राउंड ऑब्जेक्ट और उनके बैकग्राउंड के बीच संयोगवश बने संबंधों (जैसे, "वॉटरबर्ड्स" को "पानी" वाले बैकग्राउंड से जोड़ना) पर निर्भर करते हैं। इससे सामान्यीकरण (generalization) में कमी आती है और वर्स्ट-केस ग्रुप्स (worst-case groups) में विनाशकारी विफलता होती है, विशेष रूप से तब जब अल्पसंख्यक-समूह (minority-group) के उदाहरण (जैसे, ज़मीन पर वॉटरबर्ड्स) ट्रेनिंग डेटा में अनुपस्थित हों (100% स्पूरियस कोरिलेशन)। मौजूदा शमन रणनीतियों (mitigation strategies) के लिए या तो वास्तविक दुनिया के डिबायस्ड डेटा की आवश्यकता होती है या हर विशिष्ट डाउनस्ट्रीम टास्क के लिए पुन: अनुकूलन (re-optimization) की आवश्यकता होती है, जो उनकी व्यावहारिकता को सीमित करता है।

कार्यप्रणाली: बैकग्राउंड-इनवेरिएंट एंकर प्री-ट्रेनिंग (BAP)

लेखक बैकग्राउंड-इनवेरिएंट एंकर प्री-ट्रेनिंग (BAP) का प्रस्ताव करते हैं, जो एक दो-चरणीय प्री-ट्रेनिंग दृष्टिकोण है जो VLM एम्बेडिंग स्पेस में देखी गई उच्च लीनियर एडिटिविटी (linear additivity) का लाभ उठाता है। मुख्य परिकल्पना यह है कि VLM सीन रिप्रेजेंटेशन, फोरग्राउंड और बैकग्राउंड घटकों के लीनियर सुपरपोजिशन ( $z \approx v_{fg} + v_{bg}$ ) के रूप में व्यवहार करते हैं।

चरण 1: एंकर वेक्टर निष्कर्षण (Anchor Vector Extraction)

यह विधि एक फ्रोजन, कॉन्ट्रास्टिवली प्री-ट्रेन किए गए टीचर मॉडल ( $f^*_\theta$ ) का उपयोग करके फोरग्राउंड-ओनली एंकर वेक्टर्स का एक डिक्शनरी बनाती है:

कंपोजिटिंग (Compositing): एक विशिष्ट फोरग्राउंड ऑब्जेक्ट इंस्टेंस ( $x_{fg}$ ) को $K$ विविध, रैंडमली चुने गए बैकग्राउंड इमेजेस ( $b_k$ ) पर सुपरइम्पोज़ किया जाता है।
एवरेजिंग (Averaging): इन $K$ कंपोजिट्स के एम्बेडिंग्स का औसत निकालकर एक मीन वेक्टर $\bar{z}$ बनाया जाता है।
नॉर्मलाइजेशन (Normalization): $\bar{z}$ $\overset{z}{ˉ}$ को नॉर्मलाइज़ करके एंकर वेक्टर $a$ $a$ प्राप्त किया जाता है।
- सैद्धांतिक औचित्य (Theoretical Justification): लॉ ऑफ लार्ज नंबर्स के अनुसार, जैसे-जैसे $K$ बढ़ता है, बैकग्राउंड घटक एक क्लास-एग्नोस्टिक ऑफसेट ( $\mu_{bg}$ ) के रूप में औसत होकर समाप्त हो जाता है, जबकि फोरग्राउंड सिग्नल ( $v_{fg}$ ) सुरक्षित रहता है। यह प्रक्रिया प्रभावी रूप से डिस्क्रिमिनेटिव बैकग्राउंड सिग्नल्स को दबाते हुए ऑब्जेक्ट की सिमेंटिक संरचना को बनाए रखती है।

चरण 2: रोबस्ट एलाइनमेंट प्री-ट्रेनिंग (Robust Alignment Pre-Training)

एक स्टूडेंट मॉडल ( $f_\theta$ ) को पूर्व-निर्धारित एंकर्स के साथ अपने रिप्रेजेंटेशन को अलाइन करने के लिए ऑप्टिमाइज़ किया जाता है:

इनपुट जनरेशन: प्रत्येक फोरग्राउंड इंस्टेंस को $M$ नए, रैंडमाइज्ड बैकग्राउंड्स पर कंपोजिट किया जाता है ताकि $M$ विशिष्ट इनपुट्स जेनरेट किए जा सकें।
ऑब्जेक्टिव (Objective): मॉडल प्रत्येक रैंडमाइज्ड इनपुट के एम्बेडिंग और उसके संबंधित इनवेरिएंट एंकर वेक्टर $a$ $a$ के बीच कोसाइन डिस्टेंस को कम करता है।
- मैकेनिज्म: यह एक सख्त मेनी-टू-वन मैपिंग (many-to-one mapping) को लागू करता है, जो एक रिप्रेजेंटेशनल बॉटलनेक (एक $\beta$ -VAE के समान) के रूप में कार्य करता है। एनकोडर को हाई-वेरिएंस, अनशेयर्ड फीचर्स (बैकग्राउंड) को त्यागने और केवल शेयर्ड, सालिएंट फैक्टर्स (फोरग्राउंड ऑब्जेक्ट्स) को एनकोड करने के लिए मजबूर किया जाता है।

मुख्य योगदान (Key Contributions)

नया प्री-ट्रेनिंग दृष्टिकोण: BAP का परिचय, जो टारगेट डाउनस्ट्रीम डिस्ट्रीब्यूशंस के संपर्क में आने से पहले, सिंथेटिक डेटा का उपयोग करके बैकग्राउंड-इनवेरिएंट रिप्रेजेंटेशन को डिस्टिल करने के लिए VLM एम्बेडिंग्स की लीनियर एडिटिविटी का लाभ उठाता है।
स्टेट-ऑफ-द-आर्ट रोबस्टनेस: परफेक्ट (100%) स्पूरियस कोरिलेशन के तहत वॉटरबर्ड्स बेंचमार्क पर 90% से अधिक वर्स्ट-ग्रुप एक्यूरेसी (WGA) हासिल करना, जहाँ ट्रेनिंग या वैलिडेशन सेट्स में कोई भी अल्पसंख्यक-समूह उदाहरण मौजूद नहीं है। यह एक नया स्टेट-ऑफ-द-आर्ट है।
सुपर-क्लास जनरलाइजेशन: यह प्रदर्शन सिद्ध करना कि BAP-प्रेरित रोबस्टनेस सुपर-क्लास स्तर (जैसे, "Vehicles") पर सामान्यीकृत होती है। यह विधि प्रति सुपर-क्लास एक बार लागू की जाती है, और परिणामी फीचर एक्सट्रैक्टर को बिना पुन: अनुकूलन के कई डाउनस्ट्रीम बाइनरी टास्क (जैसे, कार बनाम ट्रक, बाइक बनाम मोटरबाइक) के लिए पुनः उपयोग किया जा सकता है।
व्यावहारिकता और दक्षता:
- यह विधि केवल 50 सेगमेंटेड फोरग्राउंड आइटम्स के साथ भी लगभग पीक रोबस्टनेस प्राप्त कर लेती है।
- यह दोषपूर्ण (imperfect) सेगमेंटेशन मास्क (जैसे, नॉइजी, इरोडेड या कोर्स बाउंडिंग बॉक्स) के प्रति भी लचीली बनी रहती है।
- इसके लिए वास्तविक दुनिया के डिबायस्ड डेटा तक पहुँच की आवश्यकता नहीं है, यह पूरी तरह से सिंथेटिक कंपोजिट्स पर निर्भर है।

परिणाम (Results)

लेखकों ने दोनों CLIP (सॉफ्टमैक्स-आधारित) और SigLIP 2 (सिगमॉइड-आधारित) आर्किटेक्चर पर कई बेंचमार्क के माध्यम से BAP का मूल्यांकन किया:

वॉटरबर्ड्स (सिंथेटिक): BAP ने 100% स्पूरियस कोरिलेशन के तहत 92.1% (CLIP) और 92.7% (SigLIP 2) की WGA प्राप्त की, जो DFR, AFR और ERM जैसे बेसलाइन्स से काफी बेहतर है, जो अक्सर अल्पसंख्यक समूहों की अनुपस्थिति में पूरी तरह विफल हो जाते हैं।
COCO जेंडर क्लासिफिकेशन: BAP ने 95% और 100% स्पूरियस कोरिलेशन रिजीम के तहत स्थिर प्रदर्शन बनाए रखा, जबकि अन्य तरीकों ने 95% से 100% कोरिलेशन की ओर बढ़ने पर महत्वपूर्ण गिरावट दिखाई।
काउंटरएनिमल (रियल-वर्ल्ड सिम-टू-रियल): BAP ने प्राकृतिक छवियों पर रोबस्टनेस को सफलतापूर्वक ट्रांसफर किया, जिससे उन कार्यों में WGA में 10 प्रतिशत अंक से अधिक सुधार हुआ जिनमें काउंटर-कॉन्टेक्स्ट में जानवर शामिल थे।
NICO++ (रियल-वर्ल्ड व्हीकल्स): B-AP ने वाहन वर्गीकरण कार्यों पर दबदबा बनाया, और WGA में दो अंकों का अंतर हासिल किया। विशेष रूप से, इसने "कार बनाम ट्रक" के प्रदर्शन में 30 प्रतिशत अंक का सुधार किया, बावजूद इसके कि "ट्रक" के उदाहरणों को प्री-ट्रेनिंग ऑब्जेक्ट पूल से बाहर रखा गया था, जो सुपर-क्लास स्तर की इनवेरिएंस की पुष्टि करता है।
एब्लेशन स्टडीज (Ablation Studies):
- सेगमेंटेशन क्वालिटी: BAP ने "नॉइजी" (डाइलेटेड) या "बोट्चड" (इरोडेड) मास्क के साथ भी उच्च WGA बनाए रखा, और कोर्स बाउंडिंग बॉक्स के साथ भी लाभ दिखाया।
- डेटा की कमी: यदि रैंडम कॉन्टेक्स्ट्स ( $M$ ) की संख्या पर्याप्त रूप से अधिक हो, तो प्रदर्शन केवल 50 अलग-अलग फोरग्राउंड आइटम्स के साथ भी पीक लेवल के करीब पहुँच गया।
- एंकर की आवश्यकता: सिमेंटिक एंकर निष्कर्षण (चरण 1) को हटाने और रैंडम ऑर्थोगोनल टारगेट्स का उपयोग करने से इन-डिस्ट्रीब्यूशन रोबस्टनेस तो बनी रही लेकिन आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों में विनाशकारी विफलता हुई, जो टीचर-डिस्टिल्ड सिमेंटिक एंकर्स की आवश्यकता को प्रमाणित करती है।

महत्व और सीमाएँ (Significance and Limitations)

पेपर का दावा है कि BAP एक अत्यधिक व्यावहारिक समाधान प्रदान करता है, जो उच्च-जोखिम वाले डोमेन (जैसे, मेडिकल इमेजिंग) में वास्तविक दुनिया के परिनियोजन (deployment) के लिए उपयुक्त है जहाँ बैकग्राउंड आर्टिफ़ैक्ट्स गलत वर्गीकरण का कारण बन सकते हैं। फाइन-ट्यूनिंग से पहले रिप्रेजेंटेशन स्तर पर रोबस्टनेस को सुरक्षित करके, यह ट्रेनिंग के दौरान अल्पसंख्यक-समूह एनोटेशन की आवश्यकता को समाप्त करता है।

हालाँकि, लेखक एक ट्रेड-ऑफ को स्पष्ट रूप से स्वीकार करते हैं: BAP जानबूझकर फोरग्राउंड रोबस्टनेस प्राप्त करने के लिए बैकबोन की ओपन-वर्ल्ड बैकग्राउंड रिकग्निशन क्षमताओं का बलिदान देता है। सीन क्लासिफिकेशन (Places365) पर ज़ीरो-शॉट मूल्यांकन ने उन वस्तुओं या बैकग्राउंड को वर्गीकृत करने की क्षमता में "कैटास्ट्रोफिक कोलैप्स" दिखाया जहाँ संदर्भ (context) महत्वपूर्ण है (जैसे, ऑटोनॉमस ड्राइविंग)। इसलिए, लेखक BAP को एक विशेष उपकरण के रूप में देखते हैं जो उन परिदृश्यों के लिए सबसे उपयुक्त है जहाँ लक्ष्य ऑब्जेक्ट को उसके परिवेश से अलग करना प्राथमिक उद्देश्य है, न कि सभी विज़न कार्यों के लिए एक सामान्य-उद्देश्य वाला समाधान।