💻 computer science

Positive-First Most Ambiguous: A Simple Active Learning Criterion for Interactive Retrieval of Rare Categories

यह शोध पत्र पॉजिटिव-फर्स्ट मोस्ट एम्बिग्युअस (PF-MA) को प्रस्तुत करता है, जो एक नवीन सक्रिय शिक्षण मानदंड (active learning criterion) है जिसे असंतुलित, कम-बजट वाले इंटरैक्टिव रिट्रीवल में पारंपरिक विधियों की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है, जो विविध वर्ग कवरेज सुनिश्चित करते हुए दुर्लभ सूक्ष्म श्रेणियों (fine-grained categories) की तेजी से खोज करने के लिए निर्णय सीमा (decision boundary) के पास संभावित सकारात्मक नमूनों को प्राथमिकता देता है।

मूल लेखक: Kawtar Zaher, Olivier Buisson, Alexis Joly

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kawtar Zaher, Olivier Buisson, Alexis Joly

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो लाखों जानवरों की तस्वीरों वाले एक विशाल पुस्तकालय में छिपे हुए एक बहुत ही विशिष्ट, दुर्लभ प्रकार के पक्षी को खोजने की कोशिश कर रहे हैं। आपके पास अभी तक इस पक्षी का कोई नाम नहीं है; आपके पास केवल एक फोटो है जो शुरुआती सुराग के रूप में काम करती है। आपका लक्ष्य कंप्यूटर को तस्वीरें दिखाना है, पूछना है "क्या यह वही पक्षी है?", और कंप्यूटर को हर जवाब के साथ स्मार्ट बनाना है ताकि वह उस पक्षी की अन्य सभी तस्वीरों को ढूंढ सके।

समस्या क्या है? वह पक्षी अत्यधिक दुर्लभ है। आपके पक्षी की एक फोटो के लिए, वहां बिल्लियों, कुत्तों और गिलहरियों की 1,000 तस्वीरें हो सकती हैं। साथ ही, (आप यानी इंसान) के पास प्रत्येक बैच की तस्वीरों को देखने के लिए केवल कुछ सेकंड होते हैं, और आप लगभग 10 तस्वीरें लेबल करने के बाद थक जाते हैं।

यही वह चुनौती है जिसे यह पेपर हल करता है। उन्होंने इसे कैसे हल किया, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: खोजने का "गलत" तरीका

मानक कंप्यूटर प्रोग्राम (जिन्हें एक्टिव लर्निंग कहा जाता है) आमतौर पर "निष्पक्ष" होने की कोशिश करते हैं। वे उन तस्वीरों को देखते हैं जो कंप्यूटर के लिए भ्रमित करने वाली (confusing) होती हैं।

"कन्फ्यूजन" रणनीति (MA): कल्पना करें कि कंप्यूटर पूछता है, "क्या यह एक पक्षी है?" और वह एक गिलहरी की फोटो पर अटक जाता है जो थोड़ी बहुत पक्षी जैसी दिखती है। वह अपना सारा समय आपसे गिलहरियों के बारे में पूछने में बिता देता है क्योंकि वे भ्रमित करने वाली हैं।
- परिणाम: आप ऊब जाते हैं क्योंकि 10 में से 9 तस्वीरें अप्रासंगिक (गिलहरियाँ) हैं, भले ही कंप्यूटर बहुत कुछ सीख रहा हो। आप पक्षी खोजने से पहले ही हार मान सकते हैं।
"कॉन्फिडेंस" रणनीति (MP): कंप्यूटर केवल आपको वे तस्वीरें दिखाता है जिनके बारे में वह 100% सुनिश्चित है कि वे वही पक्षी हैं।
- परिणाम: आप जल्दी खुश हो जाते हैं क्योंकि आप पक्षी देखते हैं! लेकिन, वे सभी बिल्कुल एक जैसे पक्षी हैं, एक ही मुद्रा (pose) में बैठे हुए। आप कुछ भी नया नहीं सीख पाते क्योंकि तस्वीरें बहुत समान हैं। कंप्यूटर कुछ भी नया नहीं सीख पाता क्योंकि तस्वीरें बहुत अधिक एक जैसी हैं।

समाधान: "पॉजिटिव-फर्स्ट मोस्ट एम्बिगअस" (PF-MA)

लेखकों ने एक नई रणनीति बनाई है जिसे PF-MA कहा जाता है। इसे एक स्मार्ट जासूस के रूप में सोचें जो दो बातें जानता है:

आपको पहले पक्षी देखने की जरूरत है (ताकि आप खुश और प्रेरित रहें)।
कंप्यूटर को कठिन (tricky) चीजों को देखने की जरूरत है (ताकि वह पक्षी और गिलहरी के बीच अंतर करना सीख सके)।

PF-MA कैसे काम करता है:

"पॉजिटिव-फर्स्ट" नियम: कंप्यूटर उन तस्वीरों को देखता है जिनके बारे में उसे लगता है कि वे सबसे अधिक संभावना है कि आपका पक्षी हैं। भले ही वह 100% सुनिश्चित न हो, यदि उसका झुकाव "पक्षी" की ओर है, तो वह उसे आपको दिखाएगा। यह आपके "संतुष्टि मीटर" को ऊंचा रखता है क्योंकि आप तुरंत प्रासंगिक परिणाम देखते हैं।
"मोस्ट एम्बिगअस" नियम: उन संभावित पक्षियों के बीच, यह उन तस्वीरों को चुनता है जो सीमा पर (on the edge) हैं। शायद यह एक अजीब कोण वाला पक्षी है, या एक ऐसा पक्षी जो थोड़ा गिलहरी जैसा दिखता है। ये वे "ट्रिकी" चीजें हैं जो कंप्यूटर को बारीक विवरण सीखने में मदद करती हैं।
संतुलन: यह आपके 10 तस्वीरों के छोटे बैच को ज्यादातर पक्षियों (ताकि आप खुश रहें) और कुछ कठिन, भ्रमित करने वाली चीजों (ताकि कंप्यूटर स्मार्ट बने) से भर देता है।

"क्लास कवरेज" मेट्रिक

लेखकों ने यह भी महसूस किया कि केवल अधिक पक्षी खोजना ही काफी नहीं है; आपको अलग-अलग तरह के पक्षी खोजने की आवश्यकता है।

उपमा: कल्पना करें कि आप स्टैम्प (डाक टिकट) इकट्ठा कर रहे हैं। यदि आप 30 स्टैम्प पाते हैं, लेकिन वे सभी बिल्ली की एक ही तस्वीर हैं, तो आपने वास्तव में बहुत कुछ इकट्ठा नहीं किया है। लेकिन यदि आप बिल्लियों को सोते हुए, दौड़ते हुए, खाते हुए और खेलते हुए दिखाने वाले 30 स्टैम्प पाते हैं, तो आपके पास एक शानदार संग्रह है।
उन्होंने एक नया स्कोर बनाया जिसे "क्लास कवरेज" कहा जाता है। यह केवल यह नहीं गिनता कि आपने कितने पक्षी खोजे; यह जाँचता है कि क्या आपने अलग-अलग मुद्राओं, पृष्ठभूमि और स्थितियों में पक्षी खोजे हैं। PF-MA इसमें बहुत अच्छा है क्योंकि यह केवल "सुरक्षित" पक्षी नहीं चुनता; यह दिलचस्प पक्षियों को चुनता है।

यह क्यों मायने रखता है

वास्तविक दुनिया में, यह बहुत बड़ा है, जैसे कि:

जैव विविधता (Biodiversity): आम खरपतवारों से भरे जंगल में एक दुर्लभ, लुप्तप्राय पौधे को खोजना।
मेडिकल इमेजिंग: स्वस्थ ऊतकों के समुद्र में एक दुर्लभ ट्यूमर को खोजना।
कला इतिहास (Art History): एक विशाल संग्रहालय संग्रह में पेंटिंग की एक विशिष्ट शैली को खोजना।

मुख्य बात:
पुराने तरीके एक ऐसे शिक्षक की तरह थे जो केवल वे प्रश्न पूछते थे जिनके उत्तर आप गलत देंगे (उबाऊ और निराशाजनक)। नया तरीका (PF-MA) एक सहायक मार्गदर्शक की तरह है जो आपको वे चीजें दिखाता है जिन्हें आप पहचानने की सबसे अधिक संभावना रखते हैं (आपको व्यस्त रखने के लिए) जबकि आपको तेजी से सीखने में मदद करने के लिए धीरे से चुनौतीपूर्ण चीजों के साथ चुनौती देता है। यह तेजी से "भूसे के ढेर में सुई" को ढूंढ निकालता है, आपको खुश रखता है, और यह सुनिश्चित करता है कि आप सभी आकारों और प्रकारों की सुइयां खोजें।

यहाँ शोध पत्र "Positive-First Most Ambiguous: A Simple Active Learning Criterion for Interactive Retrieval of Rare Categories" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वास्तविक दुनिया के उन परिदृश्यों में गंभीर क्लास इम्बैलेंस (class imbalance) और कठोर परिचालन बाधाओं (operational constraints) द्वारा चिह्नित इंटरेक्टिव फाइन-ग्रेंड विजुअल रिट्रीवल (interactive fine-grained visual retrieval) की चुनौती को संबोधित करता है।

संदर्भ: उपयोगकर्ता विशाल अनलेबल संग्रहों के भीतर एक विशिष्ट, दुर्लभ, या दृश्य रूप से सूक्ष्म अवधारणा (जैसे कि एक दुर्लभ प्रजाति) की खोज करना चाहते हैं, जहाँ लक्षित वर्ग (target class) डेटा के 0.1% से भी कम हो सकता है।
बाधाएं:
- कम एनोटेशन बजट (Low Annotation Budget): उपयोगकर्ता प्रति पुनरावृत्ति (iteration) केवल बहुत कम संख्या में नमूने लेबल कर सकते हैं (जैसे, $b=10$ )।
- कम विलंबता (Low Latency): सिस्टम को सेकंडों के भीतर फीडबैक प्रदान करना चाहिए, जो भारी रिट्रेनिंग या जटिल स्टोकेस्टिक प्रक्रियाओं को रोकता है।
- असममित उपयोगिता (Asymmetric Utility): इस सेटिंग में, एक "संभावित सकारात्मक" (likely positive) नमूने को क्वेरी करने से काफी उच्च मूल्य (उपयोगकर्ता संतुष्टि) मिलता है, जो मानक एक्टिव लर्निंग (AL) धारणाओं के विपरीत है जो वर्गों को सममित (symmetric) मानती हैं।
मौजूदा विधियों की सीमाएं:
- अनिश्चितता-आधारित (जैसे, Most Ambiguous - MA): निर्णय सीमा (decision boundary) के पास के नमूनों का चयन करता है। असंतुलित सेटिंग्स में, ये मुख्य रूप रूप से नेगेटिव होते हैं, जिससे खराब उपयोगकर्ता संतुष्टि और दुर्लभ वर्ग की खोज में देरी होती है।
- कॉन्फिडेंस-आधारित (जैसे, Most Positive - MP): उच्च-कॉन्फिडेंस वाले पॉजिटिव नमूनों का चयन करता है। हालांकि यह उपयोगकर्ता को संतुष्ट करता है, लेकिन ये नमूने अक्सर रेडंडेंट (redundant) होते हैं और निर्णय सीमा को परिष्कृत करने या दृश्य विविधता (visual diversity) को कैप्चर करने में विफल रहते हैं।
- प्रतिनिधित्व-आधारित (जैसे, CoreSet, DAL): इनका लक्ष्य अनलेबल डेटा वितरण से मेल खाना होता है, जिसके कारण वे लॉन्ग-टेल्ड डेटासेट में बहुसंख्यक (अप्रासंगिक) वर्गों का ओवरसैंपलिंग करते हैं।

2. कार्यप्रणाली (Methodology)

A. Positive-First Most Ambiguous (PF-MA)

मुख्य योगदान एक नया AL चयन मानदंड है जिसे उपयोगकर्ता संतुष्टि (प्रासंगिक पॉजिटिव प्राप्त करना) और क्लासिफायर सूचनात्मकता (सीमा को परिष्कृत करना) के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है।

तर्क (Logic): PF-MA स्पष्ट रूप से मानक अनसर्टेन्टी सैंपलिंग की समरूपता को तोड़ता है। यह उन नमूनों को प्राथमिकता देता है जो हैं:
1. संभावित सकारात्मक (Likely Positive): मॉडल एक संभाव्यता $f(x_i) \geq 0.5$ की भविष्यवाणी करता है।
2. अस्पष्ट (Ambiguous): संभावित पॉजिटिव्स के बीच, यह उन नमूनों को पसंद करता है जो निर्णय सीमा के करीब हैं (जहाँ $f(x_i) \approx 0.5$ ) ताकि सीखने को अधिकतम किया जा सके।
3. फ़ालबैक (Fallback): केवल यदि एनोटेशन बजट को पॉजिटिव्स द्वारा नहीं भरा जाता है, तो यह अस्पष्ट नेगेटिव्स को शामिल करता है।
गणितीय सूत्रीकरण (Mathematical Formulation):
एक नमूना $x_i$ के लिए स्कोर की गणना इस प्रकार की जाती है:
$PF\text{-}MA(x_i) = (1 - |0.5 - f(x_i)|) \times \mathbb{1}(f(x_i) \geq 0.5) + f(x_i) \times \mathbb{1}(f(x_i) < 0.5)$
- व्याख्या: यदि $f(x_i) \geq 0.5$ , तो स्कोर "अस्पष्टता" (0.5 से दूरी) है। यदि $f(x_i) < 0.5$ , तो स्कोर केवल संभाव्यता स्वयं है (नेगेटिव्स को इस आधार पर रैंक करना कि वे कितने सकारात्मक होने के करीब हैं, लेकिन उन्हें स्पष्ट रूप से कम प्राथमिकता देना)।

B. क्लास कवरेज मेट्रिक (Class Coverage Metric)

रिट्रीवल क्वालिटी का मूल्यांकन करने के लिए, जो साधारण सटीकता से परे है, लेखक एक क्लास कवरेज मेट्रिक ( $cov^C_t$ ) प्रस्तावित करते हैं जो दृश्य विविधता (visual diversity) को मापता है।

तंत्र (Mechanism):
1. विजुअल मोड्स (क्लस्टर्स) को परिभाषित करने के लिए ग्राउंड ट्रुथ क्लास पर ऑफलाइन K-means क्लस्टरिंग ( $K=32$ ) करें।
2. प्राप्त सकारात्मक नमूरों को इन क्लस्टर्स में असाइन करें।
3. कम से कम एक प्राप्त सकारात्मक द्वारा कवर किए गए क्लस्टर्स के अंश (fraction) की गणना करें।
महत्व: यह मेट्रिक उन सिस्टम्स को दंडित करता है जो एक ही विजुअल मोड (जैसे, केवल एक ही प्रकार की टहनी पर पक्षी) से कई रेडंडेंट नमूने प्राप्त करते हैं और उन सिस्टम्स को पुरस्कृत करता है जो क्लास के पूर्ण विजुअल मैनिफोल्ड (visual manifold) को कवर करते हैं।

C. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट्स: CIFAR100-LT, ImageNet-LT, और PlantNet300K (फाइन-ग्रेंड बॉटैनिकल डेटा) जैसे लॉन्ग-टेल्ड डेटासेट्स।
डिस्क्रिप्टर्स (Descriptors): CLIP (लैंग्वेज-सुपरवाइज्ड) और DINOv2 (सेल्फ-सुपरवाइज्ड) के माध्यम से प्री-ट्रेन्ड ViT-L14 मॉडल्स।
क्लासिफायर: लो-लेटेंसी बाधाओं को पूरा करने के लिए लाइटवेट लीनियर SVM।
बजट: $T=25$ इटरेशन पर $b=10$ नमूने प्रति इटरेशन।
बेसलाइन्स (Baselines): Random, MA (Most Ambiguous), MP (Most Positive), DAL, CoreSet, ALAMP, और विविधता-वर्धित वेरिएंट (जैसे, MA-S, MP-D, आदि)।

3. मुख्य परिणाम (Key Results)

श्रेष्ठ कवरेज (Superior Coverage): PF-MA सभी डेटासेट्स और डिस्क्रिप्टर्स पर सभी बेसलाइन्स की तुलना में Class Coverage में लगातार बेहतर प्रदर्शन करता है। उदाहरण के लिए, DINOv2 के साथ ImageNet-LT पर, PF-MA ने 0.954 कवरेज प्राप्त किया जबकि MA के लिए यह 0.899 और MP के लिए 0.877 था।
प्रारंभिक रिट्रीवल प्रदर्शन (Early Retrieval Performance): PF-MA पहले कुछ इटरेशन में एक स्पष्ट लाभ दिखाता है। यह तेजी से प्रासंगिक नमूनों की खोज करता है, जिससे उपयोगकर्ताओं को गुणवत्ता से समझौता किए बिना प्रक्रिया को जल्दी रोकने की अनुमति मिलती है।
क्लास साइज के प्रति मजबूती (Robustness to Class Size):
- MP बहुत छोटी क्लासेज के लिए अच्छा काम करता है लेकिन जैसे-जैसे क्लास का आकार बढ़ता है, यह विफल हो जाता है (रेडंडेंसी के कारण)।
- MA बड़ी क्लासेज के लिए बेहतर काम करता है लेकिन उपयोगकर्ताओं को संतुष्ट करने में विफल रहता है।
- PF-MA सभी क्लास साइज़ में निरंतर प्रदर्शन बनाए रखता है, जिससे लक्षित क्लास की फ्रीक्वेंसी के बारे में पूर्व ज्ञान की आवश्यकता समाप्त हो जाती है।
पॉजिटिव रेश्यो (Positive Ratio): PF-MA चयनित बैचों में उच्च अनुपात के पॉजिटिव नमूनों को बनाए रखता है (अक्सर CIFAR/ImageNet पर >80%), जबकि MA मुख्य रूप से नेगेटिव्स लौटाता है। यह सीधे तौर पर उच्च उपयोगकर्ता संतुष्टि से संबंधित है।
क्लासिफायर प्रदर्शन: पॉजिटिव्स को प्राथमिकता देने के बावजूद, PF-MA उच्च F1-स्कोर प्राप्त करता है, जो यह सिद्ध करता है कि एक प्रभावी क्लासिफायर को प्रशिक्षित करने के लिए अत्यधिक नेगेटिव नमूनों की आवश्यकता के बिना केवल बाउंड्री-एडजसेंट पॉजिटिव्स का चयन करना पर्याप्त है।

4. मुख्य योगदान (Key Contributions)

PF-MA मानदंड: एक सरल, गणनात्मक रूप से कुशल AL रणनीति जो अस्पष्ट नेगेटिव्स के बजाय अस्पष्ट पॉजिटिव्स को प्राथमिकता देकर इंटरैक्टिव रिट्रीवल की असममित उपयोगिता को स्पष्ट रूप से संबोधित करती है।
क्लास कवरेज मेट्रिक: एक नया मूल्यांकन मेट्रिक जो अंडरलाइंग विजुअल मैनिफोल्ड के सापेक्ष प्राप्त नमूनों की विविधता को मात्रात्मक रूप से मापता है, जो mAP या F1-स्कोर जैसे मानक मेट्रिक्स की सीमाओं को दूर करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि PF-MA लॉन्ग-टेल्ड, लो-बजट और लो-लेटेंसी सेटिंग्स में स्टेट-ऑफ-द-आर्ट AL विधियों (डीप AL और विविधता-आधारित विधियों सहित) से बेहतर प्रदर्शन करता है।

5. महत्व (Significance)

यह कार्य सैद्धांतिक एक्टिव लर्निंग और व्यावहारिक ह्यूमन-इन-द-लूप (HITL) सिस्टम के बीच के अंतर को पाटता है।

उपयोगकर्ता-केंद्रित डिज़ाइन: यह अनुकूलन लक्ष्य को "ग्लोबल मॉडल सटीकता" से बदलकर "उपयोगकर्ता की विशिष्ट अवधारणा की तीव्र खोज" में स्थानांतरित करता है, यह स्वीकार करते हुए कि इंटरैक्टिव सेटिंग्स में, उपयोगकर्ता थकान और संतुष्टि महत्वपूर्ण बाधाएं हैं।
व्यावहारिक प्रयोज्यता: यह विधि हल्की (linear SVM, simple scoring) और मजबूत है, जो इसे जैव विविधता निगरानी (biodiversity monitoring) जैसे वास्तविक अनुप्रयोगों के लिए उपयुक्त बनाती है, जहाँ उपयोगकर्ताओं को डेटासेट के वितरण के बारे में व्यापक पूर्व ज्ञान के बिना दुर्लभ प्रजातियों को जल्दी से खोजने की आवश्यकता होती है।
पैराडाइम शिफ्ट (Paradigm Shift): यह पारंपरिक धारणा को चुनौती देता है कि अनसर्टेन्टी सै 싶लिंग (क्लास की परवाह किए बिना सबसे अस्पष्ट नमूनों का चयन करना) इष्टतम है, यह प्रदर्शित करते हुए कि असंतुलित रिट्रीवल में, सफलता के लिए लक्षित क्लास की ओर बायस्ड सैंपलिंग आवश्यक है।