🤖 machine learning

Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification

यह शोध पत्र पदानुक्रमित सूक्ष्म-स्तरीय विज़न वर्गीकरण (hierarchical fine-grained vision classification) में वर्गीकरण संबंधी विसंगतियों को हल करने के लिए समूह-संतुलित डिज़ाइन के साथ एक स्तर-प्रतिबंधित कंट्रास्टिव लर्निंग फ्रेमवर्क प्रस्तावित करता है, जो iNaturalist 2021 जैसे बेंचमार्क पर कई स्तरों पर पदानुक्रमित निरंतरता और ज़ीरो-शॉट सटीकता दोनों में महत्वपूर्ण सुधार करता है।

मूल लेखक: Zhiyuan Tao, Srikumar Sastry, Matthew J Thompson, Elizabeth G Campolongo, Net Zhang, Ziheng Zhang, Hilmar Lapp, Yu Su, Tanya Berger-Wolf, Nathan Jacobs, Wei-Lun Chao, Jianyang Gu

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiyuan Tao, Srikumar Sastry, Matthew J Thompson, Elizabeth G Campolongo, Net Zhang, Ziheng Zhang, Hilmar Lapp, Yu Su, Tanya Berger-Wolf, Nathan Jacobs, Wei-Lun Chao, Jianyang Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को फोटो में जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे एक शेर (Lion) की तस्वीर दिखाते हैं।

एक मानक "फ्लैट" लर्निंग सिस्टम में, कंप्यूटर शब्द "शेर" को देखता है और उसे तस्वीर से मिलाने की कोशिश करता है। लेकिन वह "भेड़िया (Wolf)," "बाघ (Tiger)," और "पौधा (Plant)" जैसे शब्दों को भी देखता है। कंप्यूटर के लिए, "भेड़िया" उतना ही गलत है जितना कि "पौधा", क्योंकि दोनों "शेर" नहीं हैं।

समस्या: "गलत नकारात्मक" (Wrong Negative) की गलती
यह शोध पत्र इस तर्क में एक दोष की ओर इशारा करता है। हालाँकि भेड़िया एक शेर नहीं है, लेकिन वे दोनों मांसाहारी (Carnivores) हैं। वे जीव जगत के पारिवारिक पेड़ (family tree) के चचेरे भाई हैं। यदि कंप्यूटर को यह बताया जाता है कि शेर की तस्वीर के लिए "भेड़िया" एक बुरा उत्तर है, तो वह अपने मस्तिष्क में "भेड़िया" और "शेर" को एक-दूसरे से बहुत दूर धकेलने की कोशिश करता है। लेकिन बाद में, यदि आप उससे "मांसाहारी" श्रेणी को पहचानने के लिए कहते हैं, तो वह भ्रमित हो जाता है क्योंकि उसे सिखाया गया था कि शेर और भेड़िये आपस में बिल्कुल अलग दुश्मन हैं, न कि रिश्तेदार।

इससे एक "फैमिली ट्री का कचरा" (family tree mess) बन जाता है। कंप्यूटर शायद सही अनुमान लगा ले कि जानवर एक "शेर" है, लेकिन फिर वह यह पहचानने में विफल हो सकता है कि वह "बिल्ली" परिवार का हिस्सा है, या वह "कुत्ता" होने का अनुमान लगा सकता है क्योंकि उसे लगता है कि बिल्लियाँ और कुत्ते एक-दूसरे के बहुत समान हैं। यह उस छात्र की तरह है जिसने रट लिया है कि "सेब" और "संतरा" अलग हैं, लेकिन फिर वह यह समझने में विफल रहता है कि वे दोनों "फल" हैं।

समाधान: "स्तर-सीमित" कक्षा (The "Level-Restricted" Classroom)
लेखक एक नया तरीका प्रस्तावित करते हैं जिससे आप कंप्यूटर को सिखा सकते हैं, जिसे वे "लेवल-रिस्ट्रिक्टेड कॉन्ट्रास्टिव लर्निंग" (Level-Restricted Contrastive Learning) कहते हैं।

एक कक्षा की कल्पना करें जहाँ शिक्षक पाठ को विस्तार के स्तरों (levels of detail) के अनुसार व्यवस्थित करता है:

बड़ी तस्वीर का स्तर: सभी सीखते हैं कि "स्तनधारी (Mammals)," "पक्षी (Birds)," और "सरीसृप (Reptiles)" के बीच अंतर कैसे किया जाए।
परिवार का स्तर: सभी सीखते हैं कि "बिल्लियों (Cats)," "कुत्तों (Dogs)," और "भेड़ियों (Wolves)" के बीच अंतर कैसे किया जाए।
विशिष्ट स्तर: सभी सीखते हैं कि "शेर (Lions)," "बाघ (Tigers)," और "पालतू बिल्लियों (House Cats)" के बीच अंतर कैसे किया जाए।

इस नई कक्षा में, शिक्षक स्तर को कभी भी मिलाता नहीं है।

जब "परिवार" के स्तर को सिखाया जा रहा होता है, तो कंप्यूटर "शेर" की तुलना केवल "बाघ" और "पालतू बिल्ली" से करता है। उसे "ओक के पेड़" या "चील" के साथ तुलना करने की अनुमति नहीं दी जाती है।
जब "प्रजाति" (Species) के स्तर को सिखाया जा रहा होता है, तो वह अन्य विशिष्ट बिल्लियों के विरुद्ध "शेर" की तुलना करता है।

इन तुलनाओं को "अपने ही लेन (lane) में" रखकर, कंप्यूटर भ्रमित होना बंद कर देता है। वह सीखता है कि शेर और बाघ अलग-अलग प्रजातियाँ हैं, लेकिन वे अभी भी बिल्लियाँ हैं। यह "गलत नकारात्मक" की गलती को रोकता है जहाँ कंप्यूटर सोचता है कि दो रिश्तेदार दुश्मन हैं।

"ग्रुप-बैलेंस्ड" (Group-Balanced) शिक्षक
पेपर एक "ग्रुप-बैलेंस्ड" डिज़ाइन का भी उल्लेख करता है। एक सामान्य कक्षा में, यदि आपके पास शेरों की 100 तस्वीरें हैं और केवल 1 दुर्लभ लोमड़ी की तस्वीर है, तो शिक्षक शेरों पर बहुत अधिक ध्यान दे सकता है और लोमड़ी को अनदेखा कर सकता है।

यह नया तरीका एक सख्त शिक्षक की तरह काम करता है जो सुनिश्चित करता है कि जीव जगत के परिवार के हर स्तर को समान ध्यान मिले। चाहे वह व्यापक "जगत (Kingdom)" स्तर हो या सूक्ष्म "प्रजाति (Species)" स्तर, कंप्यूटर को समान अभ्यास समय मिलता है। यह सुनिश्चित करता है कि वह केवल "जानवर" होने का अनुमान लगाने में ही माहिर न हो जाए बल्कि "शेर" होने का अनुमान लगाने में विफल न हो जाए।

परिणाम: एक बेहतर फैमिली ट्री
शोधकर्ताओं ने पृथ्वी पर जीवन के एक विशाल डेटासेट (TreeOfLife-10M) और कई पशु बेंचमार्क पर इसका परीक्षण किया।

निरंतरता (Consistency): कंप्यूटर अधिक सुसंगत होने में बहुत बेहतर हो गया। यदि उसने "शेर" का अनुमान लगाया, तो यह लगभग निश्चित था कि वह "बिल्ली" और "स्तनधारी" का भी अनुमान लगाएगा। अब कोई विरोधाभास नहीं रहा।
सटीकता (Accuracy): वह केवल सुसंगत ही नहीं हुआ; वह अधिक स्मार्ट भी हो गया। एक प्रमुख परीक्षण (iNaturalist 2021) पर, उनकी विधि ने पिछले मॉडलों की तुलना में औसत सटीकता में 30% से अधिक सुधार किया।
दृश्य प्रमाण (Visual Proof): जब उन्होंने देखा कि कंप्यूटर शब्दों को कैसे "देखता" है, तो नया तरीका उन्हें व्यवस्थित, संरचित समूहों (एक वास्तविक फैमिली ट्री की तरह) में व्यवस्थित करता था, जबकि पुराने तरीके असंबंधित शब्दों के ढेर की तरह दिखते थे।

सारांश में
यह पेपर तर्क देता है कि यदि आप कंप्यूटर को जटिल पदानुक्रमों (जैसे जीव विज्ञान) को समझना सिखाना चाहते हैं, तो आप सभी लेबल को एक बड़े बाल्टी में नहीं डाल सकते। आपको इसे चरण-दर-चरण, स्तर-दर-स्तर सिखाना होगा, यह सुनिश्चित करते हुए कि वह प्रत्येक विशिष्ट गहराई पर संबंधों को समझता है। ऐसा करके, कंप्यूटर प्राकृतिक दुनिया की बहुत स्पष्ट, अधिक सटीक और सुसंगत समझ बनाता है।

तकनीकी सारांश: पदानुक्रमित सूक्ष्म-स्तरीय विज़न वर्गीकरण के लिए स्तर-प्रतिबंधित कंट्रास्टिव लर्निंग (Level-Restricted Contrastive Learning)

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल कंट्रास्टिव लर्निंग मॉडल, जैसे कि CLIP, टेक्स्ट एम्बेडिंग को इमेज और टेक्स्ट के साथ संरेखित करके ज़ीरो-शॉट विज़ुअल वर्गीकरण में मजबूत क्षमताएं प्रदर्शित करते हैं। हालांकि, ये मॉडल आमतौर पर एक फ्लैट-लेबल धारणा (flat-label assumption) के तहत काम करते हैं, जहाँ वे सभी गैर-मिलान वाले टेक्स्ट लेबल को समान 'नेगेटिव उदाहरणों' के रूप में मानते हैं। यह धारणा पदानुक्रमित लेबल स्पेस (जैसे, जैविक वर्गीकरण/taxonomies) पर लागू होने पर विफल हो जाती है।

पदानुक्रमित सेटिंग्स में, मानक कंट्रास्टिव लर्निंग विरोधाभासी पर्यवेक्षण संकेत (conflicting supervision signals) उत्पन्न करती है। उदाहरण के लिए, जबकि एक शेर (Panthera leo) और एक भेड़िया (Canis lupus) प्रजाति और वंश (genus) स्तर पर अलग-अलग हैं, वे उच्च-स्तरीय पूर्वजों (जैसे, गण Carnivora) को साझा करते हैं। एक मानक फ्लैट-लेबल कंट्रास्टिव सेटअप में, "भेड़िया" का टेक्स्ट लेबल "शेर" की इमेज के लिए एक नेगेटिव टारगेट माना जा सकता है, भले ही वे 'ऑर्डर' स्तर पर अर्थपूर्ण रूप से संगत हों। यह विभिन्न टैक्सोनोमिक स्तरों पर फॉल्स नेगेटिव्स (false negatives) पैदा करता है, जिससे पदानुक्रमित असंगतता (hierarchical inconsistency) उत्पन्न होती है, जहाँ मॉडल का अनुमानित सूक्ष्म-स्तरीय लेबल उसके अनुमानित उच्च-स्तरीय श्रेणी का हिस्सा नहीं होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक लेवल-रिस्ट्रिक्टेड कंट्रास्टिव लर्निंग (Level-Restricted Contrastive Learning) फ्रेमवर्क का प्रस्ताव करते हैं, जिसे क्रॉस-लेवल फॉल्स नेगेटिव्स को समाप्त करने और टैक्सोनॉमी में संतुलित अनुकूलन सुनिश्चित करने के लिए डिज़ाइन किया गया है।

2.1. समस्या सूत्रीकरण (Problem Formulation)

टैक्सोनॉमी को $L$ पदानुक्रमित स्तरों (मोटे से सूक्ष्म की ओर) के साथ एक सेट $\mathcal{T} = (C_1, \dots, C_L)$ के रूप में परिभाषित किया गया है।

टेक्स्ट निर्माण: प्रत्येक स्तर $\ell$ के लिए, एक टेक्स्ट लेबल $y_i^\ell$ बनाया जाता है जिसमें उस स्तर तक का टैक्सोनोमिक प्रीफिक्स शामिल होता है: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$ ।
एन्कोडिंग: इमेज और टेक्स्ट लेबल को CLIP-आधारित इमेज ( $f$ ) और टेक्स्ट ( $g$ ) एनकोडर्स का उपयोग करके एम्बेडिंग्स $v_i$ और $z_i^\ell$ बनाने के लिए एनकोड किया जाता है।

2.2. लेवल-रिस्ट्रिक्टेड कंट्रास्टिव लॉस (Level-Restricted Contrastive Loss)

सभी स्तरों पर संयुक्त कंट्रास्टिव लॉस करने के बजाय, उद्देश्य को प्रत्येक टैक्सोनोमिक स्तर के भीतर स्वतंत्र तुलनाओं में विभाजित किया जाता है।

इंट्रा-लेवल तुलना (Intra-Level Comparison): कंट्रास्टिव लॉस प्रत्येक स्तर $\ell$ के लिए अलग से गणना किया जाता है। एक प्रजाति-स्तर के लेबल की तुलना केवल अन्य प्रजाति-स्तर के लेबलों से की जाती है, जिससे प्रजातियों की तुलना ऑर्डर्स या किंगडम से करने की अस्पष्टता से बचा जा सके।
ग्रुप-बैलेंस्ड सुपरविजन (Group-Balanced Supervision): उन मिनी-बैच को संभालने के लिए जहाँ कई इमेज एक ही मोटे-स्तर के लेबल को साझा कर सकती हैं (जैसे, एक ही किंगडम से दो अलग-अलग प्रजातियां), यह विधि लेबल्स को एग्रीगेट करती है। एक विशिष्ट स्तर पर एक ही लेबल साझा करने वाले सभी इमेज-टेक्स्ट पेयर्स को पॉजिटिव पेयर्स माना जाता है।
- इमेज-टू-टेक्स्ट लॉस ( $L_{I \to T}$ ): उस स्तर पर अद्वितीय टेक्स्ट एम्बेडिंग्स के सेट के साथ इमेज एम्बेडिंग की समानता की गणना करता है।
- टेक्स्ट-टू-इमेज लॉस ( $L_{T \to I}$ ): एक टेक्स्ट एंकर और उस लेबल को साझा करने वाली इमेज एम्बेडिंग्स के सेट के बीच समानता की गणना करता है।
अंतिम उद्देश्य (Final Objective): कुल लॉस $L$ स्तरों में लॉस का औसत है:
$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$
यह समान वेटिंग सुनिश्चित करती है कि सूक्ष्म-स्तरीय स्तरों को पर्याप्त पर्यवेक्षण मिले और वे उच्च-कॉन्फिडेंस मोटे-स्तर के संकेतों द्वारा हावी न हों।

.3. कार्यान्वयन विवरण (Implementation Details)

बेस मॉडल: यह फ्रेमवर्क BioCLIP (एक फाउंडेशन मॉडल जो 'ट्री ऑफ लाइफ' पर प्री-ट्रेन किया गया है) को फाइन-ट्यून करता है।
प्रशिक्षण डेटा: मॉडल को TreeOfLife-10M पर प्रशिक्षित किया गया है।
एम्बेडिंग स्पेस: इस पद्धति को यूक्लिडियन (Euclidean) और हाइपरबोलिक (Hyperbolic) दोनों स्पेस में लागू किया गया है, जिसमें हाइपरबोलिक स्पेस पदानुक्रमित संरचनाओं को दर्शाने में संभावित लाभ प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

फॉल्स नेगेटिव्स की पहचान: पेपर ने पहचान की कि पूर्वज-वंशज (ancestor–descendant) लेबल्स को मानक कंट्रास्टिव लर्निंग में नेगेटिव के रूप में मानना ऐसे विरोधाभासी संकेत पैदा करता है जो फ्लैट-लेबल धारणा का उल्लंघन करते हैं।
लेवल-रिस्ट्रिक्टेड फ्रेमवर्क: एक नया ट्रेनिंग रेसिपी जो कंट्रास्टिव तुलनाओं को एक ही टैक्सोनोमिक स्तर के भीतर प्रतिबंधित करता है, जिससे स्पष्ट पॉजिटिव और नेगेटिव पेयर्स सुनिश्चित होते हैं।
ग्रुप-बैलेंस्ड डिज़ाइन: मिनी-बैच में लेबल टकराव को संभालने के लिए एक तंत्र जो एक विशिष्ट स्तर पर समान लेबल वाले सभी नमूनों को पॉजिटिव मानकर बार-बार आने वाली मोटे श्रेणियों के प्रति पूर्वाग्रह को रोकता है।
अनुभवजन्य सत्यापन (Empirical Validation): सभी पदानुक्रमित बेंचमार्क पर व्यापक मूल्यांकन जो बेहतर निरंतरता और सटीकता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन तीन बेंचमार्क पर किया गया: iNaturalist 2021 (iNat21), Rare Species, और CrypticBio।

4.1. सटीकता में सुधार (Accuracy Improvements)

iNat21: प्रस्तावित विधि ने BioCLIP बेसलाइन की तुलना में सभी टैक्सोनोमिक स्तरों पर औसत सटीकता में 30.47% का सुधार किया।
तुलना: विधि ने सभी डेटासेट्स पर OpenCLIP, BioCLIP, और RCME (एक पिछला पदानुक्रम-उन्मुख तरीका) को पीछे छोड़ दिया।
ग्रैनुलैरिटी: मध्यवर्ती स्तरों (ऑर्डर से जेनस तक) पर महत्वपूर्ण लाभ देखे गए, जहाँ मानक कंट्रास्टिव लॉस आमतौर पर क्रॉस-लेवल अस्पष्टता से सबसे अधिक प्रभावित होता है। प्रजाति-स्तर का प्रदर्शन भी सुधरा, बावजूद इसके कि अनुकूलन केवल उसी स्तर पर केंद्रित नहीं था।

4.2. पदानुक्रमित निरंतरता (Hierarchical Consistency)

टॉप-डाउन कंस्ट्रेंड इन्फरेंस (Top-Down Constrained Inference): एक सख्त प्रोटोकॉल के तहत जहाँ भविष्यवाणियां मोटे से सूक्ष्म की ओर बढ़ती हैं (केवल वैध वंशजों को सीमित करते हुए), इस विधि ने बेहतर प्रदर्शन बनाए रखा।
नॉर्मलाइज्ड LCA (nLCA): हाइपरबोलिक वेरिएंट ने 0.71 का nLCA स्कोर प्राप्त किया, जबकि RCME का स्कोर 0.43 था, जो दर्शाता है कि सटीक प्रजाति लेबल गलत होने पर भी, भविष्यवाणी सही टैक्सोनोमिक शाखा के करीब रहती है।
स्पेस तुलना: यूक्लिडियन वेरिएंट ने iNat21 पर सर्वश्रेष्ठ प्रदर्शन किया, जबकि हाइपरबोलिक वेरिएंट ने Rare Species और CrypticBio पर, विशेष रूप से गहरे टैक्सोनोमिक स्तरों पर, मजबूत प्रदर्शन दिखाया।

4.3. विज़ुअलाइज़ेशन (Visualization)

टेक्स्ट एम्बेडिंग्स के t-SNE विज़ुअलाइज़ेशन से पता चला कि प्रस्तावित विधि BioCLIP की तुलना में स्पष्ट पदानुक्रमित संरचना उत्पन्न करती है जिसमें क्रॉस-लेवल मिक्सिंग कम है। सिबलिंग (सहोदर) श्रेणियां अधिक स्पष्ट रूप से अलग हैं, और पास के टैक्सोनोमिक स्तरों के एम्बेडिंग्स सुसंगत समूह बनाते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि प्रस्तावित लेवल-रिस्ट्रिक्टेड कंट्रास्टिव लर्निंग फ्रेमवर्क मल्टीमॉडल मॉडल्स में पदानुक्रमित असंगतता के मुद्दे को प्रभावी ढंग से हल करता है। एक ही टैक्सोनोमिक स्तर के भीतर परस्पर अनन्य (mutually exclusive) लेबल सेट्स के बीच तुलना को प्रतिबंधित करके और स्तरों के बीच पर्यवेक्षण को संतुलित करके, यह विधि:

पदानुक्रमित स्पेस में फॉल्स नेगेटिव्स के कारण होने वाले विरोधाभासी पर्यवेक्षण संकेतों को समाप्त करती है।
साथ ही फ्लैट वर्गीकरण सटीकता और पदानुक्रमित निरंतरता दोनों में सुधार करती है।
कंट्रास्टिव रीफॉर्मुलेशन के अलावा किसी जटिल ज्योमेट्री-विशिष्ट ऑब्जेक्टिव या विशेष आर्किटेक्चर की आवश्यकता के बिना, एम्बेडिंग स्पेस में संरचित पदानुक्रमित संबंधों के उभरने को बढ़ावा देती है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण विशेष रूप से जटिल टैक्सोनॉमी वाले डोमेन (जैसे जैव विविधता) में ज़ीरो-शॉट वर्गीकरण के लिए प्रभावी है, जहाँ वास्तविक दुनिया की प्रयोज्यता के लिए स्तरों के बीच तार्किक निरंतरता बनाए रखना महत्वपूर्ण है।