💻 computer science

Information Maximization for Long-Tailed Semi-Supervised Domain Generalization

यह शोध पत्र IMaX का प्रस्ताव करता है, जो InfoMax सिद्धांत पर आधारित एक सरल लेकिन प्रभावी उद्देश्य है जो एक $\alpha$ -एन्ट्रोपिक पद के माध्यम से क्लास-बैलेंस बायस को कम करते हुए सीखे गए फीचर्स और लेटेंट लेबल्स के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करता है, जिससे लॉन्ग-टेल्ड डिस्ट्रीब्यूशन परिदृश्यों में स्टेट-ऑफ-द-आर्ट सेमी-सुपरवाइज्ड डोमेन जनरलाइजेशन विधियों के प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Leo Fillioux, Omprakash Chakraborty, Quentin Gopée, Pierre Marza, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Ismail Ben Ayed, Jose Dolz

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leo Fillioux, Omprakash Chakraborty, Quentin Gopée, Pierre Marza, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Ismail Ben Ayed, Jose Dolz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप डॉक्टरों की एक टीम को बीमारियों का निदान करने के लिए प्रशिक्षित कर रहे हैं। एक आदर्श दुनिया में, आप उन्हें हर एक बीमारी के हजारों उदाहरणों वाली पाठ्यपुस्तकें देंगे, और वे उन सभी को पूरी तरह से पहचानना सीख जाएंगे।

लेकिन वास्तविक दुनिया में, दो चीजें गलत होती हैं:

"नया अस्पताल" समस्या: आप उन्हें अस्पताल A में प्रशिक्षित करते हैं, लेकिन उन्हें अस्पताल B में काम करना पड़ता है, जहाँ रोशनी अलग है, कैमरे अलग हैं, और मरीज थोड़े अलग दिखते हैं। इसे डोमेन जनरलाइजेशन (Domain Generalization) कहा जाता है।
"दुर्लभ बीमारी" समस्या: आपके पास हर एक मरीज के रिकॉर्ड को लेबल करने के लिए पर्याप्त समय या पैसा नहीं है। इसलिए, आपके पास कुछ लेबल किए गए उदाहरण हैं और बिना लेबल वाले उदाहरणों का एक पहाड़ है। इससे भी बुरा यह है कि कुछ बीमारियाँ बहुत आम होती हैं (जैसे फ्लू), जबकि कुछ अविश्वसनीय रूप से दुर्लभ होती हैं (जैसे कोई विशिष्ट आनुवंशिक उत्परिवर्तन)। इसे लॉन्ग-टेल्ड डिस्ट्रीब्यूशन (Long-Tailed Distribution) कहा जाता है।

वर्तमान AI के अधिकांश तरीके उन छात्रों की तरह हैं जो केवल उस परीक्षा के लिए पढ़ाई करते हैं जहाँ हर प्रश्न समान संख्या में दिखाई देता है। यदि अचानक टेस्ट में फ्लू के बारे में 100 प्रश्न और दुर्लभ बीमारी के बारे में केवल 1 प्रश्न आता है, तो ये छात्र भ्रमित हो जाते हैं और असफल हो जाते हैं। वे मान लेते हैं कि टेस्ट "निष्पक्ष" (संतुलित) होगा, लेकिन वास्तविक जीवन निष्पक्ष नहीं है।

समाधान: IMaX (द "इन्फॉर्मेशन मैक्सिमाइज़र")

इस शोध पत्र के लेखकों, लियो फिलियू और उनकी टीम ने एक नई प्रशिक्षण विधि बनाई है जिसे IMaX कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. पुराना तरीका: "सख्त लाइब्रेरियन"

एक सख्त लाइब्रेरियन (पुराना AI) की कल्पना करें जो छात्र को बताता है: "आपको फ्लू पर ठीक 10 किताबें, कैंसर पर 10 किताबें और हृदय रोग पर 10 किताबें पढ़नी होंगी। यदि आप फ्लू की अधिक किताबें पढ़ते हैं, तो आप गलत कर रहे हैं।"

यह तब बहुत अच्छा काम करता है जब आपके पास किताबों की संख्या बराबर हो। लेकिन वास्तविक दुनिया में, आपके पास 1,000 फ्लू की किताबें और केवल 5 दुर्लभ बीमारी की किताबें हो सकती हैं। सख्त लाइब्रेरियन छात्र को 5 दुर्लभ बीमारियों को खोजने के प्रयास में उन 1,000 फ्लू की किताबों को अनदेखा करने के लिए मजबूर करता है, या वे असंतुलन से इतने भ्रमित हो जाते हैं कि वे सीखना ही बंद कर देते हैं। वे टूट जाते हैं जब डेटा "लॉन्ग-टेल्ड" (तिरछा/असमान) होता है।

2. नया तरीका: "जिज्ञासु जासूस" (IMaX)

IMaX एक जिज्ञासु जासूस की तरह है जो एक अलग रणनीति का उपयोग करता है। किताबों को गिनने के लिए छात्र को मजबूर करने के बजाय, जासूस कहता है: "आपका लक्ष्य जो कुछ भी आप देखते हैं, चाहे वह एक आम फ्लू हो या एक दुर्लभ बीमारी, उससे अधिक से अधिक सीखना है। संख्याओं की चिंता न करें; बस यह सुनिश्चित करें कि आप प्रत्येक सुराग से अधिकतम उपयोगी जानकारी निकाल रहे हैं।"

यह इन्फोमैक्स (InfoMax - Information Maximization) की एक अवधारणा पर आधारित है। यह AI को बताता है: "जो आप देखते हैं (छवि) और जो आप जानते हैं (लेबल) के बीच के संबंध को अधिकतम करें।"

3. गुप्त नुस्खा: "लचीला पैमाना"

IMaX का असली जादू यह है कि यह असंतुलन को कैसे संभालता है।

पुराना तरीका: एक कठोर पैमाने का उपयोग करता है जो एक पूरी तरह से सीधी रेखा (समान वितरण) की मांग करता है। यदि डेटा टेढ़ा है, तो पैमाना टूट जाता है।
IMaX तरीका: एक लचीले, खिंचने वाले पैमाने (जिसे त्सालिस डायवर्जेंस/Tsallis divergence कहा जाता है) का उपयोग करता है।

यदि डेटा अत्यधिक विषम है (100 फ्लू मामले, 1 दुर्लभ मामला), तो लचीला पैमाना डेटा के आकार में ढलने के लिए खिंच जाता है। यह कहता है, "ठीक है, हमारे पास बहुत अधिक फ्लू के मामले हैं। यह ठीक है। हम उन सभी से सीखेंगे बिना दुर्लभ मामले को फ्लू जितना सामान्य बनाने के दबाव के।"

यह क्यों मायने रखता है?

इस शोध पत्र ने दो बहुत अलग चिकित्सा कार्यों पर इसका परीक्षण किया:

आंखों का स्कैन (रेटिना): डायबिटिक रेटिनोपैथी का निदान करना।
ऊतक के नमूने (हिस्टोलॉजी): कैंसर कोशिकाओं के विभिन्न प्रकारों की पहचान करना।

परिणाम:

जब डेटा संतुलित था, तो IMaX मौजूदा सर्वोत्तम तरीकों के समान ही प्रभावी था।
जब डेटा असंतुलित था (वह "लॉन्ग-टेल" परिदृश्य), तो पुराने तरीके विफल हो गए। उनकी सटीकता काफी कम हो गई।
IMaX मजबूत बना रहा। इसने कठिन परिदृश्यों में सटीकता में 7.3% तक सुधार किया।

निष्कर्ष

IMaX को एक यूनिवर्सल अडैप्टर के रूप में समझें। आप इसे लगभग किसी भी मौजूदा AI प्रशिक्षण प्रणाली में प्लग कर सकते है (जैसे कि एक "प्लग-एंड-प्ले" वीडियो गेम एक्सेसरी)। इसे इस बात से फर्क नहीं पड़ता कि डेटा निष्पक्ष है या अनुचित, आम है या दुर्लभ। यह बस स्थिति की वास्तविकता के अनुकूल हो जाता है, यह सुनिश्चित करता है कि AI प्रभावी ढंग से सीखे, भले ही दुनिया अव्यवस्थित, असंतुलित और दुर्लभ आश्चर्यों से भरी हो।

संक्षेप में: पुराना AI दुनिया को निष्पक्ष बनाने की कोशिश करता है। IMaX एक अनुचित दुनिया में फलना-फूलना सीखता है।

यहाँ शोध पत्र "Information Maximization for Long-Tailed Semi-Supervised Domain Generalization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र सेमी-सुपरवाइज्ड डोमेन जनरलाइजेशन (SSDG) में एक महत्वपूर्ण कमी को संबोधित करता है।

संदर्भ: SSDG का लक्ष्य ऐसे मॉडल को प्रशिक्षित करना है जो कई सोर्स डोमेन का उपयोग करके अनदेखे टारगेट डोमेन पर सामान्यीकरण (generalize) कर सकें, जहाँ डेटा का केवल एक छोटा हिस्सा लेबल किया हुआ होता है, जबकि बड़ी मात्रा में डेटा अनलेबल होता है।
सीमा: मौजूदा स्टेट-ऑफ-द-आर्ट (SoTA) SSDG विधियाँ (जैसे FBCSA, DGWM) यह मानती हैं कि सभी सोर्स डोमेन में क्लास डिस्ट्रीब्यूशन समान (uniform) है।
चुनौती: वास्तविक दुनिया के परिदृश्यों (विशेष रूप से स्वास्थ्य सेवा/हेल्थकेयर) में, डेटा अक्सर लॉन्ग-टेल्ड (long-tailed) (अत्यधिक असंतुलित) होता है, जहाँ कुछ क्लास (जैसे दुर्लभ बीमारियाँ) काफी कम प्रतिनिधित्व वाली होती हैं। लेखक प्रदर्शित करते हैं कि वर्तमान SoTA विधियाँ इन असंतुलित वितरणों का सामना करने पर गंभीर प्रदर्शन गिरावट का शिकार होती हैं।
लक्ष्य: एक ऐसी विधि विकसित करना जो क्लास बैलेंस की अवास्तविक धारणाओं पर निर्भर रहे बिना, लॉन्ग-टेल्ड क्लास डिस्ट्रीब्यूशन के तहत SSDG प्रदर्शन में सुधार करे।

2. कार्यप्रणाली: IMaX (Methodology: IMaX)

लेखक IMaX (इन्फॉर्मेशन मैक्सिमाइजेशन) प्रस्तावित करते हैं, जो InfoMax सिद्धांत (इनपुट और आउटपुट के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करना) पर आधारित एक प्लग-एंड-प्ले ऑब्जेक्टिव फंक्शन है, जिसे सेमी-सुपरवाइज्ड और इम्बैलेंस्ड सेटिंग्स के लिए अनुकूलित किया गया है।

A. सेमी-सुपरवाइज्ड म्यूचुअल इंफॉर्मेशन फॉर्मूलेशन (Semi-Supervised Mutual Information Formulation)

लेबल्स $Y$ और इनपुट्स $X$ के बीच मानक म्यूचुअल इंफॉर्मेशन (MI) को $I(Y;X) = H(Y) - H(Y|X)$ के रूप में परिभाषित किया गया है।

कन्स्ट्रेंट इंटीग्रेशन: अनसुपरवाइज्ड MI मैक्सिमाइजेशन के विपरीत, IMaX लेबल किए गए डेटा के लिए स्पष्ट सुपरविजन कन्स्ट्रेंट्स ( $y_i = p_i$ ) को शामिल करता है।
डिकम्पोजिशन: इस ऑब्जेक्टिव को तीन टर्म्स में विभाजित किया गया है:
1. मार्जिनल एंट्रॉपी ( $H(Y)$ ): मॉडल को सभी क्लासेस का उपयोग करने के लिए प्रोत्साहित करता है (एकल क्लास में कोलैप्स होने से रोकता है)।
2. लेबल किए गए डेटा पर कंडिशनल एंट्रॉपी ( $H(Y|X_L)$ ): मानक क्रॉस-एंट्रॉपी जो लेबल किए गए सैंपल्स के लिए प्रेडिक्शन को ग्राउंड ट्रुथ के साथ सुनिश्चित करती है।
3. अनलेबल डेटा पर सूडो क्रॉस-एंट्रॉपी ( $H(\hat{Y}|X_U)$ ): अनलेबल सैंपल्स को गाइड करने के लिए कंसिस्टेंसी रेगुलराइजेशन (वीक बनाम स्ट्रोंग ऑग्मेंटेशन) और सूडो-लेबलिंग का उपयोग करता है।

B. क्लास इम्बैलेंस को संबोधित करना (Addressing Class Imbalance - The $\alpha$ -Entropic Objective)

मुख्य नवाचार मार्जिनल एंट्रॉपी टर्म ( $H(Y)$ ) को संशोधित करने में निहित है।

मानक एंट्रॉपी के साथ समस्या: मानक शैनन एंट्रॉपी ( $H(Y)$ ) अंतर्निहित रूप से एक यूनिफॉर्म डिस्ट्रीब्यूशन मानती है। इसे मैक्सिमाइज करना मॉडल को सभी क्लासेस को समान रूप से प्रेडिक्ट करने के लिए मजबूर करता है, जो लॉन्ग-टेल्ड परिदृश्यों में हानिकारक है जहाँ वास्तविक डिस्ट्रीब्यूशन विषम (skewed) होता है।
समाधान (Tsallis Divergence): लेखक मानक मार्जिनल एंट्रॉपी को Tsallis डायवर्जेंस से प्राप्त $\alpha$ -एंट्रॉपी ऑब्जेक्टिव से बदलते हैं।
- नया टर्म है $H_\alpha(Y) = \frac{1}{\alpha -1} (1 - \sum p_k^\alpha)$ ।
- मैकेनिज्म: $\alpha$ $α$ पैरामीटर को ट्यून करके, मॉडल यूनिफॉर्म डिस्ट्रीब्यूशन से विचलन (deviation) को सहन कर सकता है।
  - जब $\alpha = 1$ होता है, तो यह मानक शैनन एंट्रॉपी (यूनिफॉर्म बायस) में बदल जाता है।
  - जब $\alpha > 1$ होता है, तो यह यूनिफॉर्मिटी कन्स्ट्रेंट को शिथिल (relax) कर देता है, जिससे मॉडल बिना कोलैप्स हुए असंतुलित क्लास डिस्ट्रीब्यूशन के अनुकूल हो पाता है।

C. फाइनल ऑब्जेक्टिव फंक्शन (Final Objective Function)

फाइनल लॉस फंक्शन जिसे मिनिमाइज किया जाना है, वह है:
$\min_\theta \left[ -H_\alpha(Y) + H(Y|X_L) + H(\hat{Y}|X_U) \right]$
जहाँ:

$-H_\alpha(Y)$ : लेबल मार्जिनल डिस्ट्रीब्यूशन को फ्लेक्सिबल (न कि सख्ती से यूनिफॉर्म) बनाने के लिए रेगुलराइज करता है।
$H(Y|X_L)$ : लेबल किए गए डेटा के लिए मानक क्रॉस-एंट्रॉपी।
$H(\hat{Y}|X_U)$ : अनलेबल डेटा के लिए सूडो क्रॉस-एंट्रॉपी (कॉन्फिडेंस थ्रेशोल्ड का उपयोग करके)।

3. मुख्य योगदान (Key Contributions)

यथार्थवादी SSDG सेटिंग: यह पेपर लॉन्ग-टेल्ड SSDG परिदृश्य को पहचानता और औपचारिक रूप देता है, यह उजागर करते हुए कि वर्तमान विधियाँ तब विफल हो जाती हैं जब क्लास डिस्ट्रीब्यूशन असंतुलित होता है, जो कि एक सामान्य वास्तविक दुनिया की घटना है।
IMaX फ्रेमवर्क: एक नया इन्फॉर्मेशन-थ्योरेटिक ऑब्जेक्टिव पेश करता है जो सेमी-सुपरवाइज्ड लर्निंग को म्यूचुअल इंफॉर्मेशन मैक्सिमाइजेशन के साथ एकीकृत करता है।
$\alpha$ -एंट्रॉपी रेगुलराइजेशन: मानक MI की कठोर यूनिफॉर्मिटी बायस को एक लचीले Tsallis-आधारित एंट्रॉपी टर्म ( $H_\alpha$ ) से बदलने का प्रस्ताव देता है, जिससे मॉडल प्रभावी ढंग से किसी भी प्रकार के क्लास डिस्ट्रीब्यूशन को संभाल पाता है।
मॉडल एग्नोस्टिसिज्म (Model Agnosticism): IMaX को एक "प्लग-एंड-प्ले" मॉड्यूल के रूप में डिज़ाइन किया गया है जिसे मौजूदा SSL-आधारित SSDG फ्रेमवर्क्स (जैसे FixMatch, FreeMatch, StyleMatch, FBCSA, DGWM) में आसानी से एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो मेडिकल इमेजिंग डेटासेट्स पर IMaX का मूल्यांकन किया:

ESCA: हिस्टोपैथोलॉजी पैच-लेवल क्लासिफिकेशन (11 क्लासेस, 4 हॉस्पिटल डोमेन)।
Retina: डायबिटिक रेटिनोपैथी ग्रेडिंग (5 क्लासेस, 4 डेटासेट्स)।

मुख्य निष्कर्ष:

निरंतर सुधार: IMaX ने लगभग सभी सेटिंग्स में बेसलाइन मेथड्स (FBCSA, DGWM, और डायरेक्ट SSL एप्लीकेशन) को लगातार पछाड़ दिया।
लो-लेबल रिजीम (Low-Label Regime): सुधार सबसे महत्वपूर्ण थे जब लेबल किया गया डेटा कम था ( $m_L=5$ प्रति क्लास)। उदाहरण के लिए, ESCA डेटासेट पर FBCSA के साथ, जब केवल 5 लेबल किए गए सैंपल प्रति क्लास उपलब्ध थे, तो IMaX ने सटीकता में +7.3% (61.0% से 68.3% तक) का सुधार किया।
इम्बैलेंस के प्रति मजबूती: जैसे-जैसे इम्बैलेंस फैक्टर ( $\gamma$ ) बढ़ा, मानक विधियों का प्रदर्शन तेजी से गिरा। IMaX ने काफी अधिक सटीकता बनाए रखी, जो लॉन्ग-टेल्ड डिस्ट्रीब्यूशन के प्रति बेहतर मजबूती (robustness) प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- मानक सेमी-सुपरवाइज्ड MI टर्म (Eq. 6) जोड़ने से बेसलाइन्स में ~3-5% का सुधार हुआ।
- मानक एंट्रॉपी को $\alpha$ -एंट्रॉपी टर्म (Eq. 8) से बदलने से और अधिक लाभ मिला, जो यूनिफॉर्मिटी धारणा को शिथिल करने की आवश्यकता की पुष्टि करता है।
- $\alpha$ पैरामीटर (ESCA के लिए 1.5 और Retina के लिए 2.0 पर टेस्ट किया गया) ने वैलिडेशन और टेस्ट सेट्स के बीच स्थिर रुझान दिखाया, जिससे विश्वसनीय ट्यूनिंग संभव हुई।

5. महत्व (Significance)

सिद्धांत और व्यवहार के बीच की दूरी को पाटना: यह कार्य SSDG अनुसंधान को आदर्श, संतुलित धारणाओं से हटाकर वास्तविक, असंतुलित परिदृश्यों की ओर ले जाता है जो मेडिकल इमेजिंग जैसे क्षेत्रों में प्रचलित हैं।
दक्षता (Efficiency): यह प्रदर्शित करता है कि सूचना मैक्सिमाइजेशन के माध्यम से अनलेबल डेटा का लाभ उठाकर डोमेन शिफ्ट और क्लास इम्बैलेंस के विरुद्ध मजबूती बनाए रखते हुए लेबलिंग के बोझ को काफी कम किया जा सकता है।
सामान्य प्रयोज्यता (General Applicability): IMaX की "प्लग-एंड-प्ले" प्रकृति का अर्थ है कि इसे पूरे आर्किटेक्चर को फिर से डिजाइन किए बिना मौजूदा SSL-आधारित डोमेन जनरलाइजेशन पाइपलाइन्स को अपग्रेड करने के लिए अपनाया जा सकता है।