💻 computer science

ProCal: Probability Calibration for Neighborhood-Guided Source-Free Domain Adaptation

ProCal एक दोहरी-मॉडल सहयोगात्मक तंत्र (dual-model collaborative mechanism) को पेश करके सोर्स-फ्री डोमेन अडैप्टेशन में प्रेडिक्शन समानता पर अत्यधिक निर्भरता की सीमाओं को संबोधित करता है जो स्रोत ज्ञान प्रतिधारण (source knowledge retention) और लक्ष्य डोमेन अनुकूलन के बीच संतुलन बनाने के लिए पड़ोस-आधारित भविष्यवाणियों को गतिशील रूप से कैलिब्रेट करता है, जिससे ज्ञान विस्मृति (knowledge forgetting) और शोर ओवरफिटिंग (noise overfitting) को कम किया जा सके।

मूल लेखक: Ying Zheng, Yiyi Zhang, Yi Wang, Lap-Pui Chau

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ying Zheng, Yiyi Zhang, Yi Wang, Lap-Pui Chau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (सोर्स मॉडल) हैं, जिन्होंने पेरिस के एक उच्च-स्तरीय किचन में फ्रांसीसी व्यंजन बनाने की एक बेहतरीन रेसिपी को सिद्ध करने में वर्षों बिताए हैं। आप जानते हैं कि एक परफेक्ट सूफ़ले (soufflé) कैसे बनाया जाता है।

अब, आपको एक पूरी तरह से अलग देश में एक नया रेस्तरां खोलने के लिए काम पर रखा गया है (टारगेट डोमेन)। वहाँ की सामग्रियाँ थोड़ी अलग हैं, नमी अलग है, और स्थानीय स्वाद की प्राथमिकताएँ भी अनूठी हैं। हालाँकि, आपका एक सख्त नियम है: आप अपनी मूल रेसिपी बुक या अपनी पुरानी सामग्रियाँ साथ नहीं ला सकते (यह "सोर्स-फ्री" प्रतिबंध है)। आपके पास केवल अपनी फ्रांसीसी तकनीकों की यादें और अपने सामने रखी नई, बिना लेबल वाली सामग्रियाँ हैं।

यही सोर्स-फ्री डोमेन अडैप्टेशन (SFDA) की चुनौती है। लक्ष्य अपने मूल फ्रांसीसी कौशल के सार को खोए बिना अपनी खाना पकाने की शैली को नए स्थान के अनुकूल बनाना है, और साथ ही यह समझना है कि स्थानीय ग्राहक वास्तव में क्या चाहते हैं।

समस्या: दो बुरी आदतें

पिछले तरीकों ने इसे दो तरह से हल करने की कोशिश की, लेकिन दोनों में खामियां थीं:

"अनुमान और जाँच" विधि (Pseudo-labeling): शेफ यह अनुमान लगाने की कोशिश करता है कि स्थानीय व्यंजन का नाम क्या है, फिर वह उसे फिर से बनाता है।
- खामी: यदि शेफ शुरुआत में गलत अनुमान लगा लेता है, तो वह गलत व्यंजन ही बनाता रहता है, जिससे उसकी गलती और पुख्ता होती जाती है। वह मूल फ्रांसीसी तकनीक को पूरी तरह भूल जाता है।
"पड़ोसी की नकल" विधि (Neighborhood-based): शेफ अपने पड़ोसियों (अन्य समान सामग्रियों) द्वारा बनाए गए व्यंजनों को देखता है और कोशिश करता है कि उनका व्यंजन बिल्कुल उनके जैसा ही बने।
- खामी: यदि पड़ोसी भी भ्रमित हैं या खराब सामग्री का उपयोग कर रहे हैं, तो शेफ उनकी गलतियों की नकल करता है। इसे लोकल नॉइज़ (local noise) के प्रति ओवरफिटिंग कहा जाता है। साथ भी, अपने पड़ोसियों पर इतना ध्यान केंद्रित करने के कारण, शेफ उन मूल फ्रांसीसी कौशलों को भूल जाता है जिनके लिए उन्हें काम पर रखा गया था। यह सोर्स नॉलेज फॉरगेटिंग (source knowledge forgetting) है।

समाधान: ProCal (द "स्मार्ट टेस्ट-टेस्टर")

लेखकों ने ProCal नामक एक नया तरीका प्रस्तावित किया है। Pro-Cal को एक स्मार्ट टेस्ट-टेस्टर के रूप में सोचें जो शेफ को अपना मानसिक संतुलन खोए बिना अनुकूलन करने में मदद करता है।

ProCal यहाँ इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. डुअल-मॉडल टीम ("याददाश्त" और "वर्तमान वास्तविकता")

केवल शेफ के वर्तमान अनुमान पर निर्भर रहने के बजाय, ProCal दो आवाजों का उपयोग करता है:

आवाज़ A (सोर्स मेमोरी): "याद करो कि हम पेरिस में इसे कैसे बनाते थे? इसका स्वाद ऐसा होना चाहिए।" (यह मूल ज्ञान को सुरक्षित रखता है)।
आवाज़ B (वर्तमान वास्तविकता): "लेकिन देखो, हमारे पास अभी जो सामग्रियाँ हैं, वे इस तरह से प्रतिक्रिया कर रही हैं।" (यह नए वातावरण के अनुकूल होता है)।

ProCal इन दोनों आवाजों को कैलिब्रेट (calibrate) (मिश्रित) करता है। यह शेफ को नई वास्तविकता को अनदेखा करने नहीं देता, लेकिन यह उसे भ्रमित पड़ोसियों की अंधाधुंध नकल करने से भी रोकता है। यह एक "गोल्डिलॉक्स" (Goldilocks) भविष्यवाणी बनाता है: न तो बहुत पुराना ज़माना, न ही बहुत अराजक।

2. नेबरहुड चेक ("कम्युनिटी डिनर")

पुराने "पड़ोसी की नकल" वाले तरीके में, यदि एक पड़ोसी ने गलती की, तो सबने उसकी नकल की।
ProCal नियमों को बदल देता है। यह पड़ोस (समान सामग्रियाँ) को देखता है लेकिन सलाह को फ़िल्टर (filter) करता है।

उपमा: कल्पना करें कि आप एक पॉटलक (potluck) में हैं। यदि मेज पर मौजूद हर कोई कहता है, "इस सूप में नमक की जरूरत है," तो आप नमक डालते हैं। लेकिन यदि आपके बगल वाला व्यक्ति स्पष्ट रूप से भ्रमित है और कहता है, "इस सूप में गैसोलीन की जरूरत है," तो ProCal कहता है, "उस व्यक्ति को अनदेखा करो। पेरिस की रेसिपी और मेज के सामान्य माहौल पर टिके रहो।"
यह स्थानीय शोर (बुरे पड़ोसियों) को व्यंजन को खराब करने से रोकने के लिए पड़ोस की सलाह को गतिशील रूप से समायोजित करता है।

3. दो-भागों वाला प्रशिक्षण ("टाइटरोप वॉक")

यह सुनिश्चित करने के लिए कि शेफ आलसी या बहुत कठोर न हो जाए, ProCal दो लक्ष्यों (लॉस फंक्शन्स) का उपयोग करता है:

सॉफ्ट सुपरविज़न (द गाइड): "अपने व्यंजन को पेरिस और नई सामग्रियों के कैलिब्रेटेड मिश्रण जैसा बनाने की कोशिश करें।" यह शेफ को सही रास्ते पर रखता है।
डाइवर्सिटी लॉस (द वैरायटी चेक): "हर व्यंजन का स्वाद बिल्कुल एक जैसा न बनाएं!" यह शेफ को हार मानकर सभी को केवल सादा पानी परोस देने (एक सामान्य समस्या जिसे "मॉडल कोलैप्स" कहा जाता है) से रोकता है। यह शेफ को विभिन्न व्यंजनों के विशिष्ट स्वाद बनाए रखने के लिए मजबूर करता है।

यह क्यों काम करता है (परिणाम)

पेपर ने इस पद्धति का परीक्षण चार अलग-अलग "किचन" (डेटासेट्स) और 31 अलग-अलग "मेन्यू बदलावों" (टास्क) पर किया।

कम भूलना (Less Forgetting): शेफ फ्रांसीसी भोजन बनाना नहीं भूला।
कम शोर (Less Noise): शेफ पड़ोसियों की गलत सलाह से भ्रमित नहीं हुआ।
बेहतर स्वाद (Better Taste): अंतिम व्यंजन (भविष्यवाणियाँ) पिछले तरीकों की तुलना में बहुत अधिक सटीक थे।

सारांश

ProCal एक स्मार्ट नेविगेशन सिस्टम की तरह है, जैसे कोई ड्राइवर एक परिचित शहर से एक अजीब नए शहर में जा रहा हो।

पुराने तरीके या तो पुराने मैप को पूरी तरह से अनदेखा कर देते थे (भूल जाना) या पास की कार के भ्रमित GPS सिग्नल का अंधाधुंध पालन करते थे (शोर)।
ProCal पुराने मैप (सोर्स नॉलेज) को वर्तमान GPS (टारगेट डेटा) के साथ जोड़ता है और खराब ट्रैफिक रिपोर्ट को फ़िल्टर (नॉइज़) करता है। यह ड्राइवर को ऐसे गंतव्य तक ले जाता है जहाँ वह इलाके को जानता है लेकिन सफलतापूर्वक नए रास्तों के अनुकूल भी हो गया है।

परिणाम? एक मॉडल जो तेजी से सीखता है, कम गलतियाँ करता है, और जहाँ से वह आया है उसे याद रखते हुए नई दुनिया में सफलतापूर्वक नेविगेट करता है।

यहाँ शोध पत्र "ProCal: Probability Calibration for Neighborhood-Guided Source-Free Domain Adaptation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र सोर्स-फ्री डोमेन अडैप्टेशन (SFDA) पर आधारित है, जो एक ऐसी स्थिति है जहाँ एक मॉडल, जिसे लेबल वाले सोर्स डोमेन पर प्री-ट्रेन किया गया है, उसे बिना मूल सोर्स डेटा तक पहुँच के अनलेबल टारगेट डोमेन के अनुकूल बनाना होता है। यह गोपनीयता-संवेदनशील अनुप्रयोगों (जैसे, मेडिकल डायग्नोस्टिक्स) के लिए अत्यंत महत्वपूर्ण है जहाँ सोर्स डेटा साझा नहीं किया जा सकता है।

पहचाने गए मुख्य चुनौतियाँ:
मौजूदा SFDA विधियाँ, विशेष रूप से जो नेबरहुड-आधारित बाधाओं (जैसे, NRC, AaD) पर निर्भर करती हैं, दो गंभीर सीमाओं से ग्रस्त हैं:

सोर्स नॉलेज फॉरगेटिंग (Source Knowledge Forgetting): टारगेट-डोमेन प्रेडिक्शन सिमिलरिटी पर अत्यधिक निर्भरता के कारण मॉडल सोर्स मॉडल से सीखे गए डिस्क्रिमिनेटिव ज्ञान को तेजी से भूल जाता है।
लोकल नॉइज़ ओवरफिटिंग (Local Noise Overfitting): नेबरहुड निर्माण अक्सर शोर वाले छद्म-लेबल (pseudo-labels) या टारगेट डोमेन में गलत स्थानीय मैनिफोल्ड्स पर निर्भर करता है। इससे एरर प्रोपेगेशन (त्रुटि प्रसार) होता है, जहाँ मॉडल रोबस्ट डोमेन-इनवेरिएंट फीचर्स सीखने के बजाय स्थानीय शोर (local noise) पर ओवरफिट हो जाता है।

2. कार्यप्रणाली: ProCal

लेखकों ने ProCal प्रस्तावित किया है, जो एक प्रोबेबिलिटी कैलिब्रेशन फ्रेमवर्क है जिसे ज्ञान प्रतिधारण (knowledge retention) और डोमेन अडैप्टेशन के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है। यह विधि तीन मुख्य घटकों के माध्यम से कार्य करती है:

A. डुअल-मॉडल कोलबोरेटिव प्रेडिक्शन (प्रोबेबिलिटी कैलिब्रेशन)

केवल वर्तमान टारगेट मॉडल के प्रेडिक्शन या सोर्स मॉडल के स्टैटिक प्रायर्स (priors) पर निर्भर रहने के बजाय, ProCal दोनों को फ्यूज करके डायनामिक रूप से नेबरहुड प्रोबेबिलिटी को कैलिब्रेट करता है:

सोर्स प्रायर ( $p^s_i$ ): प्री-ट्रेन किए गए सोर्स मॉडल से प्रारंभिक प्रेडिक्शन्स, जो सोर्स नॉलेज को बनाए रखने के लिए एक एंकर के रूप में कार्य करते हैं।
ऑनलाइन टारगेट प्रेडिक्शन ( $p^t_i$ ): वर्तमान मॉडल का डायनामिक आउटपुट, जो विकसित होते टारगेट डोमेन स्ट्रक्चर को दर्शाता है।
नेबरहुड एग्रीगेशन ( $p^N_i$ ): फीचर स्पेस में $k$ -निकटतम पड़ोसियों (k-nearest neighbors) की एकत्रित प्रोबेबिलिटी।

कैलिब्रेटेड प्रोबेबिलिटी $p^{cal}_i$ की गणना इस प्रकार की जाती है:
$p^{cal}_i = p^N_i + \gamma(p^t_i + p^s_i)$
जहाँ $\gamma$ एक मॉड्यूलेशन फैक्टर है। यह तंत्र सुनिश्चित करता है कि सुपरविजन सिग्नल केवल संभावित रूप से शोर वाले टारगेट नेबर्स द्वारा संचालित नहीं है, बल्कि इसे स्थिर सोर्स प्रायर और वर्तमान मॉडल की स्थिति द्वारा सुधारा गया है।

B. जॉइंट ऑप्टिमाइजेशन ऑब्जेक्टिव

इन कैलिब्रेटेड प्रोबेबिलिटीज का उपयोग करने के लिए, ProCal एक डुअल-कंपोनेंट लॉस फंक्शन का उपयोग करता है:

सॉफ्ट सुपरविजन लॉस ( $L_{soft}$ ): टारगेट मॉडल के प्रेडिक्टेड डिस्ट्रीब्यूशन को कैलिब्रेटेड नेबरहुड प्रोबेबिलिटी ( $p^{cal}_i$ ) के साथ संरेखित (align) करता है। यह निरंतरता (consistency) लागू करता है जबकि मॉडल को सोर्स नॉलेज से बहुत दूर जाने से रोकता है।
डाइवर्सिटी लॉस ( $L_{div}$ ): टारगेट सैंपल के प्रेडिक्शन और ग्लोबल एवरेज क्लास डिस्ट्रीब्यूशन के बीच समानता को कम करता है। यह "मॉडल कोलैप्स" (जहाँ सभी सैंपल्स को एक ही क्लास के रूप में प्रेडिक्ट किया जाता है) को रोकता है और मॉडल को सभी क्लासेस के लिए डिस्क्रिमिनेटिव पावर बनाए रखने के लिए प्रोत्साहित करता है।

कुल लॉस (Total loss) है:
$L_{cal} = -E_{x_i} [p^{cal}_i \cdot p_i] + \beta \sum_{x_i} \sum_{k} p_{i,k} \hat{p}_k$

C. सैद्धांतिक विश्लेषण

लेखक ग्रेडिएंट और फिक्स्ड-पॉइंट विश्लेषण का उपयोग करके एक सैद्धांतिक प्रमाण प्रदान करते हैं। वे प्रदर्शित करते हैं कि प्रस्तावित कैलिब्रेशन तंत्र के तहत, मॉडल एक स्थिर इक्विलिब्रियम पॉइंट (equilibrium point) की ओर अभिसरित (converge) होता है। यह इक्विलिब्रियम प्रभावी रूप से सोर्स नॉलेज और टारगेट इंफॉर्मेशन को फ्यूज करता है, जो गणितीय रूप से सोर्स फॉरगेटिंग और लोकल नॉइज़ ओवरफिटिंग दोनों में कमी की गारंटी देता है।

3. मुख्य योगदान

सीमाओं का आलोचनात्मक विश्लेषण: शोध पत्र मौजूदा नेबरहुड-आधारित SFDA विधियों में "सोर्स नॉलेज फॉरगेटिंग" और "लोकल नॉइज़ ओवरफिटिंग" के दोहरे संकट की पहचान और मात्रा निर्धारण करता है, जो यह नया दृष्टिकोण प्रदान करता है कि वर्तमान विधियाँ क्यों विफल होती हैं।
ProCal फ्रेमवर्क: एक नवीन प्रोबेबिलिटी कैलिब्रेशन तंत्र का परिचय जो सोर्स प्रायर्स को ऑनलाइन टारगेट फीडबैक के साथ एकीकृत करता है। यह एक रोबस्ट सॉफ्ट सुपरविजन सिग्नल बनाता है जो अनकैलिब्रेटेड लोकल नेबरहुड्स पर निर्भरता के जोखिमों को कम करता है।
डुअल-ऑब्जेक्टिव ऑप्टिमाइजेशन: एक जॉइंट लॉस फंक्शन का डिज़ाइन जो महत्वपूर्ण डिस्ट्रीब्यूशन शिफ्ट के तहत रोबस्ट लर्निंग सुनिश्चित करने के लिए सॉफ्ट सुपरविजन को डाइवर्सिटी कंस्ट्रेंट्स के साथ जोड़ता है।
सैद्धांतिक गारंटी: यह प्रमाण कि विधि एक फिक्स्ड पॉइंट की ओर अभिसरित होती है जो सोर्स और टारगेट जानकारी को सामंजस्यपूर्ण बनाती है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार सार्वजनिक डेटासेट्स (Office-31, Office-Home, VisDA-C, DomainNet-126) पर 31 क्रॉस-डोमेन टास्क के लिए ProCal का मूल्यांकन किया।

प्रदर्शन: ProCal ने सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए।
- Office-Home: 73.8% औसत सटीकता (AaD के 72.7% के मुकाबले)।
- DomainNet-126: 72.8% औसत सटीकता (AaD के 70.5% के मुकाबले)।
- VisDA-C: 88.6% औसत सटीकता।
रोबस्टनेस (Robustness):
- नॉइज़ रेजिलिएंस (Noise Resilience): सोर्स प्रायर्स में शोर इंजेक्ट करने वाले प्रयोगों ने दिखाया कि ProCal स्थिर रहता है (सटीकता में गिरावट < 1%) भले ही सोर्स प्रेडिक्शन्स अत्यधिक दूषित हों, जबकि बेसलाइन विधियाँ काफी खराब प्रदर्शन करती हैं।
- फॉरगेटिंग रेट: ProCal ने SHOT (10.2%) और AaD (10.5%) की तुलना में काफी कम "सोर्स नॉलेज फॉरगेटिंग रेट" (6.9%) प्रदर्शित किया।
- इनकरेक्ट सुपरविजन: पूरी तरह से त्रुटिपूर्ण सुपरविजन की दर घटकर 34.3% रह गई (SHOT के 42.9% के मुकाबले)।
एब्लेशन स्टडीज: कैलिब्रेशन स्टेप में सोर्स प्रायर या टारगेट ऑनलाइन फीडबैक में से किसी एक को हटाने से प्रदर्शन गिर गया, जो डुअल-मॉडल कोलाबोरेशन की आवश्यकता की पुष्टि करता है।
बैकबोन इंडिपेंडेंस: विधि विभिन्न आर्किटेक्चर (ResNet-50, ViT, ConvNeXt) में लगातार अच्छा प्रदर्शन करती है।

5. महत्व

प्राइवेसी-प्रिजर्विंग AI: ProCal, SFDA के क्षेत्र को आगे बढ़ाता है, जिससे उन परिदृश्यों में प्रभावी मॉडल अडैप्टेशन संभव होता है जहाँ गोपनीयता नियमों के कारण सोर्स डेटा तक पहुँच नहीं होती है।
ट्रेड-ऑफ का समाधान: यह SFDA में सोर्स नॉलेज को बनाए रखने और टारगेट डोमेन के अनुकूल होने के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को सफलतापूर्वक हल करता है, एक ऐसी समस्या जिसे पिछली नेबरहुड-आधारित विधियाँ पर्याप्त रूप से हल करने में विफल रही थीं।
जनरलाइजेबिलिटी (Generalizability): विविध डेटासेट्स (छोटे पैमाने के Office-31 से लेकर बड़े पैमाने के DomainNet तक) और विभिन्न सेटिंग्स (Closed-set, Partial-set, Open-set) में इसकी प्रभावशीलता इसकी मजबूती और ऑटोनॉमस ड्राइविंग और मेडिकल इमेजिंग जैसे गतिशील वातावरणों में वास्तविक दुनिया में तैनाती की क्षमता को प्रदर्शित करती है।

निष्कर्षतः, ProCal डायनामिक रूप से नेबरहुड प्रेडिक्शन्स को कैलिब्रेट करके सोर्स-फ्री डोमेन अडैप्टेशन के लिए एक गणितीय रूप से ठोस और अनुभवजन्य रूप से श्रेष्ठ दृष्टिकोण प्रदान करता है, जिससे विनाशकारी विस्मृति (catastrophic forgetting) और नॉइज़ ओवरफिटिंग को रोका जा सकता है।