🤖 machine learning

Fair Dataset Distillation via Cross-Group Barycenter Alignment

यह शोध पत्र विभिन्न जनसांख्यिकीय समूहों के बीच विशिष्ट भविष्य कहने वाले पैटर्न (predictive patterns) के कारण डेटासेट डिस्टिलेशन में होने वाले निष्पक्षता अंतराल (fairness gaps) को संबोधित करता है, जिसके लिए एक ऐसी विधि प्रस्तावित की गई है जो सभी उपसमूहों में समान प्रदर्शन सुनिश्चित करने हेतु भविष्य कहने वाली सूचना के समूह-असंतुलन-अज्ञेय (group-imbalance-agnostic) बेरसेंटर को संरेखित करती है।

मूल लेखक: Mohammad Hossein Moslemi, Nima Hosseini Dashtbayaz, Zhimin Mei, Boyu Wang, Bissan Ghaddar

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Hossein Moslemi, Nima Hosseini Dashtbayaz, Zhimin Mei, Boyu Wang, Bissan Ghaddar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Fair Dataset Distillation via Cross-Group Barycenter Alignment" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक पूरी लाइब्रेरी को एक अकेली किताब में समेटना

कल्पना कीजिए कि आपके पास एक विशाल लाइब्रेरी (एक बड़ा डेटासेट) है जिसमें अलग-अलग पृष्ठभूमि, संस्कृति और उम्र के लोगों द्वारा लिखी गई लाखों किताबें हैं। आप इस पूरी लाइब्रेरी को एक छोटी सी "सुपर-बुक" (एक सिंथेटिक डेटासेट) में सिकोड़ना चाहते हैं, जो इतनी छोटी हो कि आपकी जेब में आ जाए।

डेटासेट डिस्टिलेशन (Dataset Distillation) का लक्ष्य इस छोटी किताब को इतनी पूर्णता से बनाना है कि यदि आप इसे पढ़ें, तो आप उतना ही सीख सकें जितना कि पूरी लाइब्रेरी पढ़ने से मिलता।

समस्या:
लेखकों ने पाया कि जब आप इस लाइब्रेरी को कंप्रेस (छोटा) करने की कोशिश करते हैं, तो "सुपर-बुक" अल्पसंख्यक समूहों (कम प्रतिनिधित्व वाले लोगों) की कहानियों को भूल जाती है। यह अंततः एक ऐसी कहानी सुनाती है जो मुख्य रूप से बहुसंख्यक समूह (majority group) को दर्शाती है। यदि आप भविष्य के AI को प्रशिक्षित करने के लिए इस छोटी किताब का उपयोग करते हैं, तो वह AI बहुसंख्यकों को समझने में तो बहुत अच्छा होगा, लेकिन अल्पसंख्यकों को समझने में बहुत खराब। यह अन्याय (unfairness) पैदा करता है।

ऐसा क्यों होता है? (दो अपराधी)

पेपर बताता है कि यह अन्याय केवल इसलिए नहीं है क्योंकि लाइब्रेरी में अल्पसंख्यक किताबें कम हैं। यह दो चीजों का एक साथ मिलकर काम करना है:

भीड़ का आकार (Imbalance): यदि 90% किताबें समूह A की हैं और केवल 10% समूह B की हैं, तो "सुपर-बुक" स्वाभाविक रूप से समूह A की शैली की ओर झुक जाएगी।
अलग-अलग आवाजें (Representation Separation): भले ही आपके पास समान संख्या में किताबें हों, समूह A और समूह B कहानियाँ बताने के बिल्कुल अलग तरीके अपना सकते हैं (अलग बोलियाँ, रूपक या संरचनाएँ)।

"औसत" आवाज़ की उपमा:
कल्पना कीजिए कि एक टाउन मीटिंग चल रही है जहाँ आप सभी की राय को एक एकल वाक्य में सारांशित करना चाहते हैं।

यदि टाउन में एक तरफ के बहुत शोर मचाने वाले लोग हैं, तो सारांश केवल उनकी राय होगा।
यदि दोनों पक्ष बहुत अलग भाषाएं बोलते हैं, तो एक "मध्य मार्ग" वाक्य खोजने की कोशिश में, अक्सर ऐसा वाक्य निकलता है जो बहुमत के लिए तो समझ में आता है लेकिन शांत अल्पसंख्यक के लिए निरर्थक (gibberish) लगता है।

पेपर दिखाता है कि मानक तरीके सब कुछ एक साथ औसत (average) निकालकर इस "मध्य मार्ग" को खोजने की कोशिश करते हैं। क्योंकि बहुमत अधिक मुखर (अधिक डेटा) है और अलग तरह से बोलता है, इसलिए "औसत" अंततः अल्पसंख्यक को पूरी तरह से अनदेखा कर देता है।

समाधान: COBRA (एक निष्पक्ष मध्यस्थ)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे COBRA (Cross-group Barycenter Alignment) कहा जाता है।

रूपक: "फेयर सेंटर" बनाम "मेजोरिटी ड्रिफ्ट"

पुराना तरीका (Vanilla DD): कल्पना कीजिए कि आप लोगों के एक समूह का केंद्र खोजने की कोशिश कर रहे हैं जहाँ कुछ लोग एक बड़ी भीड़ में खड़े हैं और कुछ अकेले खड़े हैं। यदि आप केवल "औसत" स्थान की ओर एक रेखा खींचते हैं, तो वह रेखा भारी भीड़ की ओर बहुत अधिक खिंच जाएगी। अकेले खड़े लोग बहुत पीछे छूट जाएंगे।
COBRA का तरीका: "सबका औसत कहाँ है?" पूछने के बजाय, COBRA पूछता है, "वह निष्पक्ष केंद्र (fair center) क्या है जो प्रत्येक समूह से समान दूरी पर है?"

यह प्रत्येक जनसांख्यिकीय समूह (demographic group) को, इस बात की परवाह किए बिना कि उस समूह में कितने लोग हैं, एक समान भागीदार मानता है। यह एक "बैरिसेंटर" (Barycenter - एक संतुलित केंद्र बिंदु के लिए एक फैंसी शब्द) की गणना करता है जो सभी अलग-अलग समूहों की "आवाजों" के ठीक बीच में स्थित होता है।

यह कैसे काम करता है:

यह समूह A, समूह B, समूह C आदि की "आवाज़" (डेटा पैटर्न) को देखता है।
यह एक "फेयर सेंटर" (निष्पक्ष केंद्र) पाता है जो सभी से समान दूरी पर है, इस बात को नजरअंदाज करते हुए कि किसके पास अधिक लोग हैं।
यह छोटी "सुपर-बुक" को इस फेयर सेंटर के अनुरूप बनाने के लिए बनाता है, न कि मेजोरिटी ड्रिफ्ट के अनुरूप।

जब आप COBRA का उपयोग करते हैं तो क्या होता है?

लेखकों ने इसका परीक्षण विभिन्न डेटासेट्स (जैसे चेहरों, अंकों या वस्तुओं की छवियां) पर किया जहाँ AI कुछ समूहों (जैसे वृद्ध लोग, विशिष्ट नस्लें या लिंग) के प्रति पक्षपाती था।

COBRA के बिना: छोटी किताब एक ऐसा AI बनाती है जो बहुमत के लिए सटीक है लेकिन अल्पसंख्यकों के लिए बुरी तरह विफल रहता है। "फेयरनेस गैप" (निष्पक्षता का अंतर) बहुत बड़ा है।
COBRA के साथ: छोटी किताब एक निष्पक्ष AI बनाती है। यह सभी के लिए अच्छा प्रदर्शन करती है।
- चौंकाने वाला निष्कर्ष: न केवल इसने अन्याय को ठीक किया, बल्कि कई मामलों में, इसने वास्तव में AI को अधिक स्मार्ट भी बना दिया। एक संतुलित दृष्टिकोण सीखने के लिए मजबूर करके, इसने AI को उन "चीटिंग्स" (जैसे यह मान लेना कि एक विशिष्ट बैकग्राउंड कलर का मतलब एक विशिष्ट वस्तु है) पर निर्भर होने से रोक दिया जो केवल बहुमत के लिए काम करती थीं।

निष्पक्षता की "कीमत"

लेखकों ने जांचा कि क्या यह निष्पक्षता किसी भारी कीमत के साथ आती है।

समय: "फेयर सेंटर" की गणना करने में थोड़ा अधिक समय लगता है क्योंकि कंप्यूटर को औसत निकालने से पहले प्रत्येक समूह को अलग से देखना पड़ता है। हालांकि, पेपर नोट करता है कि यह धीमापन प्रबंधनीय है (जैसे कॉफी के लिए एक अतिरिक्त मिनट इंतजार करना)।
मेमोरी: इसके लिए बहुत अधिक कंप्यूटर मेमोरी की आवश्यकता नहीं होती है।

सारांश

डेटासेट डिस्टिलेशन को एक जटिल, विविध दुनिया को एक छोटी निर्देश पुस्तिका (instruction manual) में सारांशित करने के प्रयास के रूप में सोचें।

पुराना तरीका: मैनुअल मुख्य रूप से सबसे आम लोगों के लिए लिखा जाता है, जिससे अन्य लोग बाहर रह जाते हैं।
COBRA: मैनुअल को यह सुनिश्चित करने के लिए फिर से लिखा जाता है कि हर समूह को मेज पर एक निष्पक्ष सीट मिले। यह एक "गोल्डन मीन" (स्वर्ण मध्य मार्ग) खोजता है जो हर किसी के अनूठे दृष्टिकोण का सम्मान करता है, जिसके परिणामस्वरूप एक स्मार्ट, निष्पक्ष AI मिलता है जो हम सभी के लिए काम करता है, न कि केवल बहुमत के लिए।

यहाँ पेपर "Fair Dataset Distillation via Cross-Group Barycenter Alignment" (COBRA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डेटासेट डिस्टिलेशन (Dataset Distillation - DD) का लक्ष्य एक बड़े वास्तविक डेटासेट को एक छोटे सिंथेटिक डेटासेट में संकुचित करना है, जबकि मूल डेटा पर प्रशिक्षित मॉडलों के भविष्य कहनेवाला प्रदर्शन (predictive performance) को बनाए रखना है। हालाँकि, जब इन्हें उच्च-जोखिम वाले अनुप्रयोगों (जैसे स्वास्थ्य सेवा, वित्त) में तैनात किया जाता है, तो मानक DD विधियाँ अक्सर ग्रुप फेयरनेस (समूह निष्पक्षता) बनाए रखने में विफल रहती हैं।

पेपर दो महत्वपूर्ण समस्याओं की पहचान करता है:

बायस एम्प्लीफिकेशन (Bias Amplification): डिस्टिलेशन प्रक्रियाएँ मूल डेटा में मौजूद पूर्वाग्रहों (biases) को बढ़ा देती हैं। डिस्टिल्ड डेटा पर प्रशिक्षित मॉडल अक्सर अल्पसंख्यक उपसमूहों (minority subgroups) के लिए प्रदर्शन में भारी गिरावट का सामना करते हैं, जिससे बड़े फेयरनेस गैप (जिसे Equalized Odds Difference, EOD द्वारा मापा जाता है) उत्पन्न होते हैं।
मूल कारण की गलत धारणा (Root Cause Misconception): पिछला कार्य अक्सर इन अंतरालों को केवल ग्रुप इम्बैलेंस (नमूना आकार में असमानता) के कारण मानता था। लेखक प्रदर्शित करते हैं कि समस्या अधिक जटिल है: यह ग्रुप इम्बैलेंस और रिप्रेजेंटेशनल सेपरेशन (जहाँ विभिन्न जनसांख्यिकीय समूह फीचर स्पेस में विशिष्ट भविष्य कहनेवाला पैटर्न प्रदर्शित करते हैं) के बीच परस्पर क्रिया (interaction) से उत्पन्न होती है।
- मानक DD एक एकल समग्र लक्ष्य (aggregate target) के साथ संरेखित होता है (जो नमूनों की संख्या द्वारा भारित होता है)।
- यदि समूह असंतुलित हैं, तो लक्ष्य बहुमत (majority) द्वारा हावी हो जाता है।
- यदि समूहों के प्रतिनिधित्व अलग-अलग हैं, तो एकल लक्ष्य सभी उपसमूहों की दूरी को एक साथ कम नहीं कर सकता, जिससे सिंथेटिक डेटा को एक पक्ष को "चुनने" के लिए मजबूर होना पड़ता है, जिससे दूसरों के लिए प्रदर्शन गिर जाता है।

2. कार्यप्रणाली: COBRA

लेखक COBRA (Cross-grOup BaRycenter Alignment) प्रस्तावित करते हैं, जो एक ढांचा (framework) है जो डिस्टिलेशन ऑब्जेक्टिव को ग्रुप इम्बैलेंस के प्रति उदासीन (agnostic) बनाने के लिए संशोधित करता है।

मुख्य अवधारणा: ग्रुप-एग्नोस्टिक बैरीसेंटर (Group-Agnostic Barycenter)

सभी वास्तविक नमूनों के भारित औसत (जो बहुमत का पक्ष लेता है) से मेल खाने के लिए सिंथेटिक डेटासेट को अनुकूलित करने के बजाय, COBRA उपसमूह-विशिष्ट प्रस्तुतियों (subgroup-specific representations) का एक बैरीसेंटर (barycenter) की गणना करता है।

इनपुट: प्रत्येक क्लास $y$ के लिए, विधि प्रत्येक जनसांख्यिकीय उपसमूह $a$ के लिए सांख्यिकी (जैसे, ग्रेडिएंट्स, एम्बेडिंग्स, या ट्रेनिंग ट्रेजेक्टरीज) की पहचान करती है।
लक्ष्य गणना (Target Calculation): यह एक ऐसा बैरीसेंटर $m^*_y$ की गणना करता है जो उपसमूह के आकार ( $\pi_{a|y}$ ) की परवाह किए बिना, समान भार ( $w_a = 1/|A|$ ) के साथ सभी उपसमूह सांख्यिकी के कुल अंतर को कम करता है।
$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$
जहाँ $\Phi$ क्लास-कंडीशनल उपसमूह सांख्यिकी को दर्शाता है और $d$ एक विसंगति माप (discrepancy measure) है (जैसे, स्क्वेयर्ड यूक्लिडियन डिस्टेंस)।
डिस्टिलेशन ऑब्जेक्टिव: सिंथेटिक डेटासेट को इस बैरीसेंटर लक्ष्य $m^*_y$ से मेल खाने के लिए अनुकूलित किया जाता है, न कि वैनिला भारित मिश्रण (weighted mixture) से।

सैद्धांतिक गारंटी (Theoretical Guarantee)

पेपर वर्स्ट-केस रेसिडुअल (एक उपसमूह के वास्तविक प्रतिनिधित्व और डिस्टिलेशन लक्ष्य के बीच की दूरी) पर एक ऊपरी सीमा (upper bound) व्युत्पन्न करता है।

Theorem 4.1: विशिष्ट स्थितियों के तहत, COBRA गारंटी देता है कि सभी उपसमूहों में अधिकतम रेसिडुअल, वैनिला (भारित) लक्ष्य की तुलना में कम या उसके बराबर है।
वर्स्ट-केस रेसिडुअल को कम करके, COBRA यह सुनिश्चित करता है कि कोई भी एकल उपसमूह सिंथेटिक प्रतिनिधित्व से असमान रूप से "दूर" न धकेला जाए, जिससे उपसमूह-विशिष्ट त्रुटि पैटर्न कम होते हैं और Equalized Odds में सुधार होता है।

3. प्रमुख योगदान (Key Contributions)

बायस का सैद्धांतिक विश्लेषण: लेखक DD में बायस एम्प्लीफिकेशन को ग्रुप इम्बैलेंस और रिप्रेजेंटेशनल सेपरेशन के बीच की परस्पर क्रिया के परिणाम के रूप में औपचारिक रूप से वर्णित करते हैं। वे सिद्ध करते हैं कि यदि अंतर्निहित प्रस्तुतियाँ भिन्न हैं, तो केवल असंतुलन को ठीक करना अपर्याप्त है।
COBRA फ्रेमवर्क: एक सिद्धांत-आधारित, मॉडल-एग्नोस्टिक रणनीति का परिचय जो मानक डिस्टिलेशन लक्ष्य को ग्रुप-एग्नोस्टिक बैरीसेंटर से बदल देती है। यह विधि मौजूदा डिस्टिलेशन तकनीकों (Gradient Matching, Distribution Matching, Feature Alignment, Trajectory Matching) के साथ संगत है।
व्यापक अनुभवजन्य सत्यापन (Empensive Validation): विविध डेटासेट्स (सिंथेटिक स्प्यूरियस कोरिलेशन और UTKFace तथा BFFHQ जैसे वास्तविक दुनिया के बायस्ड डेटासेट्स) और डिस्टिलेशन बैकबोन (DC, DM, CAFE, IDC, MTT) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर Equalized Odds Difference (EOD) और Accuracy का उपयोग करके Vanilla DD और एक फेयरनेस-अवेयर बेसलाइन (FairDD) के विरुद्ध COBRA का मूल्यांकन करता है।

फेयरनेस लाभ: COBRA सभी बेंचमार्क में लगातार सबसे कम EOD प्राप्त करता है।
- उदाहरण: C-MNIST (Background) पर Distribution Matching (DM) के साथ IPC=50 पर, Vanilla DD का EOD 100.0 था, जबकि COBRA ने इसे 7.46 तक कम कर दिया, और साथ ही सटीकता को 48.8% से बढ़ाकर 96.8% कर दिया।
- BFFHQ (वास्तविक चेहरे का डेटासेट) पर, COBRA ने सटीकता में सुधार के साथ EOD को 63.47 से घटाकर 7.87 कर दिया।
असमानता और सेपरेशन के प्रति मजबूती:
- जैसे-जैसे ग्रुप इम्बैलेंस (SKEW) बढ़ता है, Vanilla DD का EOD निरंतर बढ़ता है। COBRA स्थिर रहता है।
- जैसे-जैसे रिप्रेजेंटेशनल सेपरेशन (GAP) बढ़ता है, Vanilla DD के फेयरनेस में भारी गिरावट आती है। COBRA इस प्रभाव को प्रभावी ढंग से कम करता है।
सामान्यीकरण (Generalization):
- क्रॉस-आर्किटेक्चर: COBRA द्वारा उत्पन्न डिस्टिल्ड डेटासेट्स फेयरनेस और सटीकता बनाए रखते हैं जब उन पर अलग आर्किटेक्चर (AlexNet, VGG, ResNet) को प्रशिक्षित किया जाता है जिनका उपयोग डिस्टिलेशन के दौरान नहीं किया गया था।
- लो-IPC रिजीम (Low-IPC Regime): COBRA बहुत कम छवियों (IPC=1, 3, 5) के साथ भी प्रभावी रहता है, एक ऐसा क्षेत्र जहाँ मानक DD आमतौर पर अल्पसंख्यक जानकारी को संरक्षित करने में विफल रहता है।
एब्लेशन स्टडीज (Ablation Studies):
- नॉइज़ रोबस्टनेस: COBRA तब भी प्रभावी रहता है जब ग्रुप लेबल शोर युक्त (50% तक भ्रष्टाचार) हों या आंशिक रूप से गायब हों (pseudo-labeling का उपयोग करके)।
- ट्रेजेक्टरी मैचिंग: विधि सफलतापूर्वक ट्रेजेक्टरी-आधारित डिस्टिलेशन (MTT) तक विस्तारित होती है, जो स्टैटिक रिप्रेजेंटेशन मैचिंग से परे इसकी प्रयोज्यता को सिद्ध करती है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: यह पेपर डेटासेट डिस्टिलेशन में फेयरनेस के फोकस को "लॉस रीवेटिंग" (पोस्ट-हॉक या ऑप्टिमाइजेशन के दौरान) से बदलकर "लक्ष्य प्रतिनिधित्व को पुनर्परिभाषित करने" की ओर ले जाता है। यह तर्क देता है कि फेयरनेस को एग्रीगेशन ऑब्जेक्टिव में ही शामिल किया जाना चाहिए।
व्यावहारिक प्रयोज्यता: COBRA मौजूदा DD पाइपलाइनों में टारगेट कंप्यूटेशन के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' है। इसके लिए डाउनस्ट्रीम ट्रेनिंग प्रक्रिया या डिस्टिलेशन एल्गोरिदम के मूल मैकेनिक्स को बदलने की आवश्यकता नहीं है, केवल "आदर्श" सिंथेटिक डेटा की परिभाषा बदलने की आवश्यकता है।
वास्तविक दुनिया के बायस को संबोधित करना: जटिल, गैर-सिंथेटिक बायस वाले वास्तविक डेटासेट्स (UTKFace, BFFHQ) पर सफलता प्रदर्शित करके, यह कार्य संवेदनशील डोमेन में इक्विटी से समझौता किए बिना संकुचित मॉडलों को तैनात करने के लिए एक व्यवहार्य समाधान प्रदान करता है।
सैद्धांतिक अंतर्दृष्टि: बायस एम्प्लीफिकेशन पर अपर बाउंड का व्युत्पत्ति यह समझने के लिए एक नया सैद्धांतिक दृष्टिकोण प्रदान करता है कि मानक कंप्रेशन तकनीकें फेयर लर्निंग परिदृश्यों में क्यों विफल होती हैं।

निष्कर्षतः, COBRA यह प्रदर्शित करता है कि सिंथेटिक डेटा को एक साझा, ग्रुप-बैलेंस्ड बैरीसेंटर के साथ संरेखित करके, हम उच्च भविष्य कहनेवाला सटीकता और मजबूत ग्रुप फेयरनेस दोनों एक साथ प्राप्त कर सकते है, जिससे डेटासेट डिस्टिलेशन में देखे जाने वाले ट्रेड-ऑफ को प्रभावी ढंग से कम किया जा सकता है।