🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

यह शोध पत्र तर्क देता है कि प्रेडिक्टिव मल्टीप्लिसिटी—समान सटीकता वाले लेकिन परस्पर विरोधी व्यक्तिगत भविष्यवाणियों वाले कई मॉडलों का अस्तित्व—उच्च-जोखिम वाली प्रणालियों के लिए यूरोपीय संघ एआई अधिनियम (EU AI Act) की आवश्यकताओं का उल्लंघन करता है, और अनुपालन एवं विश्वसनीयता सुनिश्चित करने के लिए ऐसे मतभेदों को मापने और प्रकट करने हेतु विशिष्ट मेट्रिक्स और रिपोर्टिंग दिशानिर्देश प्रस्तावित करता है।

मूल लेखक: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऋण (loan), नौकरी या चिकित्सा उपचार के लिए आवेदन कर रहे हैं। आप आशा करते हैं कि आपका भाग्य तय करने वाला कंप्यूटर सिस्टम एक ऐसा क्रिस्टल बॉल (स्फटिक गोला) है जो सत्य को पूरी तरह से देख सकता है। लेकिन क्या होगा अगर वह क्रिस्टल बॉल एक एकल वस्तु नहीं है? क्या होगा अगर वह वास्तव में अलग-अलग क्रिस्टल बॉल्स का एक पूरा बॉक्स है, जो सभी एक ही कंपनी द्वारा बनाए गए हैं, और सभी 95% सटीक होने का दावा करते हैं, फिर भी वे आपकी विशिष्ट स्थिति के बारे में आपको कुछ अलग बताते हैं?

यह वह मुख्य समस्या है जिसे शोध पत्र "Using predictive multiplicity to measure individual performance within the AI Act" हल करता है। यहाँ उनके तर्क का रोजमर्रा के उपमाओं (analogies) का उपयोग करके एक सरल विवरण दिया गया है।

1. समस्या: "राशोमोन" प्रभाव (The "Rashomons" Effect)

AI की दुनिया में, एक घटना llamada है जिसे प्रेडिक्टिव मल्टीप्लिसिटी (Predictive Multiplicity) कहा जाता है। इसे एक विशेषज्ञ जजों के समूह के रूप में सोचें जो एक ही केस फाइल को देख रहे हैं।

परिदृश्य: आपके पास 100 विशेषज्ञ जज हैं। वे 90% मामलों पर सहमत हैं। वे सभी कुल मिलाकर "सटीक" हैं।
ट्विस्ट: जब वे आपके विशिष्ट मामले को देखते हैं, तो 50 जज कहते हैं "हाँ", और 50 जज कहते हैं "नहीं"।
वास्तविकता: क्योंकि कोई एक एकल "सर्वश्रेष्ठ" मॉडल नहीं है, इसलिए AI प्रदाता अपने टूलबॉक्स से आसानी से एक अलग मॉडल चुन सकता था जो आपको विपरीत परिणाम देता, भले ही वह मॉडल भी कुल मिलाकर उतना ही सटीक होता।

लेखकों का तर्क है कि यह मनमानापन (arbitrariness) खतरनाक है। यदि आपका जीवन निर्णय पर निर्भर है, तो यह मायने नहीं रखना चाहिए कि कंप्यूटर ने उनके "समान रूप से अच्छे" मॉडलों में से किसे चुना। यदि मॉडल आपसे असहमत हैं, तो सिस्टम वास्तव में आपके विशिष्ट मामले के लिए सिक्का उछाल रहा है।

2. कानून: EU AI Act

यह शोध पत्र इस समस्या को EU AI Act के नजरिए से देखता है, जो एक नया यूरोपीय कानून है जो उच्च-जोखिम वाले AI (जैसे भर्ती, स्वास्थ्य सेवा, या ऋण) को विनियमित करता है।

आवश्यकता: कानून कहता है कि इन AI सिस्टमों को बनाने वाली कंपनियों को यह साबित करना होगा कि वे सटीक हैं।
अंतराल (Gap): आमतौर पर, कंपनियाँ केवल यह कहती हैं, "हमारा सिस्टम पूरे डेटासेट पर 90% सटीक है।"
शोध पत्र का अंतर्दृष्टि: कानून वास्तव में विशिष्ट लोगों पर रिपोर्ट करने की आवश्यकता रखता है, न कि केवल समूह के औसत पर। लेखक तर्क देते हैं कि यदि विभिन्न "अच्छे" मॉडल एक विशिष्ट व्यक्ति के बारे में असहमत हैं, तो सिस्टम उस व्यक्ति के लिए विश्वसनीय नहीं है, भले ही समग्र स्कोर बहुत अच्छा दिखता हो।

3. समाधान: "असहमति" को मापना

इसे ठीक करने के लिए, लेखक प्रदर्शन को मापने का एक नया तरीका प्रस्तावित करते हैं। केवल यह पूछने के बजाय कि "क्या मॉडल सही है?", वे पूछते हैं, "अन्य अच्छे मॉडल इस एक से कितने असहमत हैं?"

वे इस असहमति को मापने के लिए दो सरल उपकरण (मेट्रिक्स) पेश करते हैं:

कॉन्फ्लिक्ट रेशियो (The "Tug-of-War" Meter - खींचतान मीटर):
कल्पना कीजिए कि आपके विशिष्ट मामले के लिए एक रस्साकशी (tug-of-war) चल रही है। यदि 100 मॉडल रस्सी खींच रहे हैं, तो कितने "हाँ" की ओर खींच रहे हैं बनाम "नहीं" की ओर?
- यदि 99 "हाँ" खींचते हैं और 1 "नहीं" खींचता है, तो संघर्ष कम है। आप "हाँ" पर भरोसा कर सकते हैं।
- यदि 50 "हाँ" खींचते हैं और 50 "नहीं" खींचते हैं, तो संघर्ष अपने अधिकतम स्तर पर है। सिस्टम आपके बारे में भ्रमित है।
- लक्ष्य: यदि कॉन्फ्लिक्ट रेशियो अधिक है, तो सिस्टम को यह संकेत देना चाहिए कि उस व्यक्ति के मामले में मानव समीक्षा की आवश्यकता है, न कि कंप्यूटर को निर्णय लेने देना चाहिए।
$\delta$ -एम्बिग्युटी (The "Confusion Count" - भ्रम की गिनती):
यह इस बात को गिनने का एक तरीका है कि पूरे समूह में कितने लोग इस "भ्रमित" अवस्था में हैं। यह कंपनी को यह देखने में मदद करता है कि क्या उनका सिस्टम आम तौर पर विश्वसनीय है या क्या यह बड़ी संख्या में लोगों के लिए एक गड़बड़ी है।

4. कैसे करें: "एड-हॉक" दृष्टिकोण (The "Ad-Hoc" Approach)

आप सोच सकते हैं, "इन सभी अलग-अलग मॉडलों को खोजने के लिए, मुझे लाखों का परीक्षण करना होगा!" इसमें बहुत समय लगेगा।
लेखकों ने एक चतुर शॉर्टकट खोजा है। आपको हर संभव मॉडल का परीक्षण करने की आवश्यकता नहीं है। आपको बस प्रक्रिया में मामूली, यादृच्छिक (random) बदलाव करके मॉडलों का एक छोटा समूह प्रशिक्षित करने की आवश्यकता है, जैसे:

डेटा के क्रम को थोड़ा बदलना।
संख्याओं में थोड़ा सा "शोर" (noise/यादृच्छिकता) जोड़ना।
थोड़े अलग सेटिंग्स का उपयोग करना (जैसे चूल्हे पर तापमान बदलना)।

उन्होंने इसका परीक्षण किया और पाया कि इस तरह प्रशिक्षित मॉडलों का एक छोटा समूह भी यह प्रकट करने के लिए पर्याप्त है कि सिस्टम कहाँ भ्रमित है। यह कई अलग-अलग शेफ को एक ही व्यंजन पकाने के लिए कहने जैसा है जिसमें थोड़े अलग मसालों का उपयोग किया गया है; यदि वे स्वाद पर सहमत हैं, तो आप ठीक हैं। यदि वे बहस करते हैं, तो आप जानते हैं कि कुछ गड़बड़ है।

5. सिफारिश: निर्माता और उपयोगकर्ता के बीच एक हाथ मिलाना (Handshake)

शोध पत्र एक व्यावहारिक सुझाव के साथ समाप्त होता है कि AI Act को वास्तविक जीवन में कैसे काम करना चाहिए:

AI निर्माताओं (Providers) के लिए: केवल एक "ब्लैक बॉक्स" मॉडल न दें। उन लोगों को (जो सिस्टम का उपयोग करते हैं - Deployers) कई समान रूप से अच्छे मॉडलों का एक "टूलकिट" दें।
AI उपयोगकर्ताओं (Deployers) के लिए: किसी व्यक्ति पर अंतिम निर्णय लेने से पहले, "कॉन्फ्लिक्ट रेशियो" की जाँच करें।
- कम संघर्ष (Low Conflict): मॉडल सहमत हैं। स्वचालित निर्णय के साथ आगे बढ़ें।
- उच्च संघर्ष (High Conflict): मॉडल आपस में लड़ रहे हैं। रुकें। अंतिम निर्णय लेने के लिए एक मानव को बुलाएं।

सारांश

शोध पत्र का तर्क है कि सटीकता केवल एक संख्या नहीं है; यह निरंतरता की एक कहानी है। यदि एक AI सिस्टम आपके बारे में खुद से सहमत नहीं हो सकता है, तो उसे बिना किसी मानव की निगरानी के आपके बारे में जीवन बदलने वाला निर्णय लेने की अनुमति नहीं दी जानी चाहिए। विभिन्न "अच्छे" मॉडलों के बीच कितनी असहमति है, इसे मापकर, हम नए यूरोपीय कानूनों के तहत AI को सुरक्षित और अधिक भरोसेमंद बना सकते हैं।

तकनीकी सारांश: AI अधिनियम के भीतर व्यक्तिगत प्रदर्शन को मापने के लिए प्रेडिक्टिव मल्टीप्लिसिटी का उपयोग करना

समस्या विवरण
यह शोध पत्र प्रेडिक्टिव मल्टीप्लिसिटी (जिसे रशोमोन प्रभाव/Rashomon effect भी कहा जाता है) की घटना को संबोधित करता है, जहाँ कई अलग-अलग मशीन लर्निंग मॉडल समान समग्र सांख्यिकीय सटीकता प्राप्त करते हैं, लेकिन विशिष्ट व्यक्तिगत मामलों के लिए परस्पर विरोधी भविष्यवाणियां देते हैं। जबकि उच्च समग्र सटीकता सामान्य विश्वसनीयता का संकेत देती है, यह विशिष्ट व्यक्तियों के लिए भरोसेमंद परिणामों की गारंटी नहीं देती है। यह अनिश्चितता विशेष रूप से उच्च-जोखिम वाले क्षेत्रों (जैसे, रोजगार, स्वास्थ्य सेवा, शिक्षा) में समस्याग्रस्त है जहाँ निर्णय सीधे मानव अधिकारों और कल्याण को प्रभावित करते हैं।

लेखकों का तर्क है कि यह मुद्दा यूरोपीय संघ के AI अधिनियम (EU AI Act) के तहत एक नियामक चुनौती पैदा करता है। अधिनियम यह अनिवार्य करता है कि उच्च-जोखिम वाले AI सिस्टम एक "उचित स्तर की सटीकता" (अनुच्छेद 15) प्राप्त करें और प्रदाताओं के लिए यह आवश्यक है कि वे प्रदर्शन मेट्रिक्स की रिपोर्ट न केवल डेटासेट स्तर पर, बल्कि विशिष्ट व्यक्तियों के लिए भी दें (अनुच्छेद 11 और 13, अनुबंध IV)। शोध पत्र का तर्क है कि यदि समान सटीकता वाले कई मॉडल किसी व्यक्ति के मामले पर असहमत होते हैं, तो सिस्टम उस व्यक्ति के लिए विश्वसनीय नहीं माना जा सकता है, जो संभावित रूप से AIA के सटीकता और पारदर्शिता प्रावधानों का उल्लंघन करता है।

कार्यप्रणाली
शोध पत्र एक दोहरी पद्धति का उपयोग करता है: EU AI Act का एक सैद्धांतिक कानूनी विश्लेषण और प्रेडिक्टिव मल्टीप्लिसिटी को मापने के लिए एक कम्प्यूटेशनल ढांचा।

कानूनी विश्लेषण:
- लेखक टेक्स्टुअल, सिस्टमैटिक और टेलीलॉजिकल व्याख्या का उपयोग करके AI अधिनियम के अनुच्छेद 11, 13 और 15 का विश्लेषण करते हैं।
- वे स्थापित करते हैं कि अधिनियम में "सटीकता" (accuracy) का तात्पर्य सिस्टम के इच्छित उद्देश्य के सापेक्ष प्रदर्शन (performance) की व्यापक अवधारणा से है, जो मानक सांख्यिकीय मेट्रिक्स से परे है।
- महत्वपूर्ण रूप से, वे पारदर्शिता आवश्यकताओं की व्याख्या इस प्रकार करते हैं कि इसमें केवल समग्र डेटासेट सांख्यिकी ही नहीं, बल्कि विशिष्ट व्यक्तियों के लिए प्रदर्शन का आकलन करना भी अनिवार्य है।
तकनीकी ढांचा:
व्यक्तिगत प्रदर्शन मूल्यांकन की कानूनी आवश्यकता को संचालित करने के लिए, लेखक एक रशोमोन सेट (सर्वश्रेष्ठ मॉडल के सटीकता थ्रेशोल्ड $\epsilon$ के भीतर सभी मॉडलों का सेट) के भीतर मॉडलों के बीच असहमति को मापने का प्रस्ताव देते हैं।
- कॉन्फ्लिक्ट रेशियो ( $c_R(x)$ ): व्यक्तिगत डेटा बिंदुओं $x$ के लिए एक मीट्रिक। यह रशोमोन सेट में उन मॉडलों के अंश को मापता है जो बहुमत से भिन्न लेबल की भविष्यवाणी करते हैं। 0.5 का मान अधिकतम संघर्ष (आधे 0 की भविष्यवाणी करते हैं, आधे 1 की) को दर्शाता है; 0 सर्वसम्मति को दर्शाता है।
- $\delta$ -एम्बिग्युटी ( $A_\delta(R, D)$ ): एक डेटासेट-स्तरीय मीट्रिक जो उन व्यक्तियों के अंश का प्रतिनिधित्व करता जिनका कॉन्फ्लिक्ट रेशियो $\delta$ थ्रेशोल्ड से अधिक है। यह केवल संघर्ष की उपस्थिति के बजाय, संघर्ष की डिग्री को ध्यान में रखते हुए मानक अस्पष्टता (ambiguity) का सामान्यीकरण करता है।
- एड-हॉक एप्रोच (Ad-hoc Approximation): चूंकि जटिल मॉडलों के लिए पूर्ण रशोमोन सेट की गणना करना कम्प्यूटेशनल रूप से अव्यवहार्य है, इसलिए लेखक एक एड-हॉक दृष्टिकोण प्रस्तावित करते हैं। इसमें निम्नलिखित को बदलकर कई मॉडल प्रशिक्षित करना शामिल है:
  - पैरामीट्रिक मल्टीप्लिसिटी: हाइपरपैरामीटर्स, रैंडम सीड्स और मॉडल आर्किटेक्चर।
  - डेटासेट मल्टीप्लिसिटी: बूटस्ट्रैपिंग, फीचर नॉइज़ और फीचर सबसैंपलिंग।
    उच्च प्रदर्शन करने वाले मॉडलों का यह परिणामी सेट संघर्ष अनुपात (conflict ratios) की गणना करने के लिए रशोमोन सेट के एक अनुमान के रूप में कार्य करता है।

प्रमुख परिणाम
लेखक सिंथेटिक डेटा, अमेरिकन कम्युनिटी सर्वे (ACS) एम्प्लॉयमेंट डेटासेट और कई वास्तविक दुनिया के डेटासेट्स (COMPAS, स्टूडेंट ड्रॉपआउट, यूरोपियन सोशल सर्वे) पर प्रयोगों के माध्यम से अपने दृष्टिकोण को मान्य करते हैं।

डेटासेट मल्टीप्लिसिटी का महत्व: प्रयोगों से पता चलता है कि डेटासेट मल्टीप्लिसिटी (सभी मॉडलों को एक ही डेटा सैंपल पर प्रशिक्षित करना) को अनदेखा करने से प्रेडिक्टिव मल्टीप्लिसिटी का काफी कम अनुमान मिलता है। संघर्ष करने वाले मामलों की खोज करने के लिए डेटासेट विविधताओं (जैसे, बूटस्ट्रैपिंग) को शामिल करना महत्वपूर्ण है।
एड-हॉक दृष्टिकोण की प्रभावशीलता: एड-हॉक दृष्टिकोण, अपेक्षाकृत कम संख्या में मॉडलों (उदाहरण के लिए, 200-500) के साथ भी, व्यापक विधियों (जैसे निर्णय वृक्षों के लिए TreeFarms एल्गोरिदम) के कॉन्फ्लिक्ट रेशियो और $\delta$ -एम्बिग्युटी का बारीकी से अनुमान लगाता है।
अभिसरण (Convergence): मेट्रिक्स जैसे कि स्टैंडर्ड एम्बिग्युटी और $\delta$ -एम्बिग्युटी, रशोमोन सेट के आकार के बढ़ने के साथ तेजी से अभिसरित होते हैं, जिससे पता चलता है कि प्रासंगिक मल्टीप्लिसिटी को पकड़ने के लिए मॉडलों का एक छोटा, विविध सेट पर्याप्त है।
वास्तविक दुनिया का अनुप्रयोग: ACS एम्प्लॉयमेंट डेटासेट पर, डेटासेट मल्टीप्लिसिटी (विशेष रूप से बूटस्ट्रैपिंग) को शामिल करने वाले दृष्टिकोणों ने निश्चित डेटा का उपयोग करने वाले दृष्टिकोणों की तुलना में उच्च कॉन्फ्लिक्ट रेशियो वाले व्यक्तियों के उच्च अनुपात की सफलतापूर्वक पहचान की।

महत्व और दावे
शोध पत्र का दावा है कि वह प्रेडिक्टिव मल्टीप्लिसिटी को सीधे यूरोपीय संघ के AI अधिनियम की अनुपालन आवश्यकताओं से जोड़ने वाला पहला पेपर है। इसके प्राथमिक योगदान हैं:

कानूनी व्याख्या: यह तर्क देता है कि "विशिष्ट व्यक्तियों" के लिए सटीकता रिपोर्ट करने की AI अधिनियम की आवश्यकता के लिए व्यक्तिगत विश्वसनीयता का आकलन करने की आवश्यकता है, जिसे प्रेडिक्टिव मल्टीप्लिसिटी मापने के लिए एक ढांचा प्रदान करती है।
व्यावहारिक अनुपालन उपकरण: यह व्यक्तिगत प्रदर्शन का मूल्यांकन करने के लिए प्रदाताओं को और उच्च-जोखिम वाले मामलों की पहचान करने के लिए तैनातकर्ताओं (deployers) को कॉन्फ्लिक्ट रेशियो और $\delta$ -एम्बिग्युटी जैसे ठोस, कम्प्यूटेशनल रूप से व्यवहार्य उपकरण पेश करता है।
कार्रवाई योग्य सिफारिशें:
- प्रदाताओं के लिए: उन्हें समान सटीकता वाले मॉडलों को जानबूझकर खोजना चाहिए (एड-हॉक दृष्टिकोण का उपयोग करके) और तैनातकर्ताओं को संघर्षपूर्ण भविष्यवाणियों के बारे में जानकारी प्रदान करनी चाहिए।
- तैनातकर्ताओं के लिए: उन्हें उच्च अस्पष्टता वाले व्यक्तियों की पहचान करने के लिए कॉन्फ्लिक्ट रेशियो का उपयोग करना चाहिए। इन मामलों के लिए, शोध पत्र केवल स्वचालित निर्णयों पर भरोसा करने के बजाय मानवीय निरीक्षण (human oversight) को शामिल करने की सिफारिश करता है, जिससे यह सुनिश्चित होता है कि निर्णय सुदृढ़ हैं।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि उनका एड-हॉक दृष्टिकोण एक अनुमान है, और "उचित सटीकता" की सटीक परिभाषा भविष्य के सामंजस्यपूर्ण मानकों पर निर्भर करेगी। हालांकि, वे जोर देते हैं कि यह सुनिश्चित करने के लिए कि AI-समर्थित निर्णय विश्वसनीय हैं और उच्च-जोखिम वाले AI सिस्टम में विश्वास पैदा करने के लिए प्रेडिक्टिव मल्टीप्लिसिटी पर विचार करना आवश्यक है।