⚡ electrical engineering

Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification

यह शोध पत्र तर्क देता है कि सख्त फॉल्स मैच बजट के तहत तैनात बायोमेट्रिक सत्यापन प्रणालियों के लिए, पूर्ण ROC-AUC और इक्वल एरर रेट (EER) भ्रामक सारांश मेट्रिक्स हैं जो महत्वपूर्ण लो-FMR प्रदर्शन को छिपा सकते हैं, और इसलिए DET कर्व्स और विशिष्ट ऑपरेटिंग पॉइंट्स पर फॉल्स नॉन-मैच रेट्स को प्राथमिक मानक के रूप में रिपोर्ट करने की वकालत करता है, जिसे इस अनुभवजन्य साक्ष्य द्वारा समर्थित किया गया है जो दिखाता है कि उच्च AUC वाली प्रणालियाँ कम फॉल्स मैच दरों पर काफी खराब प्रदर्शन कर सकती हैं।

मूल लेखक: Ajan Ahmed, Masudul H. Imtiaz

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ajan Ahmed, Masudul H. Imtiaz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-जोखिम वाली बैंक तिजोरी के लिए एक सुरक्षा गार्ड को काम पर रख रहे हैं। आपको इस बात की परवाह नहीं है कि गार्ड कैसा प्रदर्शन करता है जब बैंक खाली होता है या जब कोई भी अंदर आ सकता है; आपको केवल इस बात की परवाह है कि वह कैसा प्रदर्शन करता है जब एक चतुर चोर घुसने की कोशिश कर रहा हो। आपको एक ऐसे गार्ड की आवश्यकता है जो लगभग हर किसी को "ना" कहे, लेकिन असली चोर को कभी न चूकने पाए।

यह शोध पत्र इस बात पर तर्क देता है कि जिस तरह से हम वर्तमान में बायोमेट्रिक सुरक्षा प्रणालियों (जैसे चेहरा, आवाज या फिंगरप्रिंट स्कैनर) को ग्रेड देते हैं, वह एक भीड़भाड़ वाली, अराजक पार्टी में उस गार्ड के प्रदर्शन को आंकने जैसा है जहाँ हर किसी को दरवाजे से अंदर आने की अनुमति है। यह एक भ्रामक ग्रेड है जो उनकी तिजोरी को सुरक्षित रखने की वास्तविक क्षमता को छिपा देता है।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के तर्क का विवरण दिया गया है:

1. "Full AUC" का जाल: मछली को पेड़ पर चढ़ने की क्षमता से आंकना

यह पत्र उद्योग के पसंदीदा मीट्रिक: ROC-AUC (Area Under the Curve) की आलोचना करता है।

उपमा: कल्पना कीजिए कि आप एक छात्र के गणित कौशल को ग्रेड दे रहे हैं। वर्तमान मानक (Full AUC) उन्हें एक एकल स्कोर देता है जो "1+1" से लेकर "क्वांटम फिजिक्स" तक के हर गणित के सवाल पर उनके प्रदर्शन पर आधारित है।
समस्या: वास्तविक दुनिया की सुरक्षा (जैसे आपका फोन अनलॉक करना या सीमा पार करना) में, हमें केवल "क्वांटम फिजिक्स" के स्तर की कठिनाई की परवाह होती है—विशेष रूप से, वे अत्यंत दुर्लभ क्षण जब कोई अजनबी सिस्टम को धोखा देने की कोशिश करता है।
परिणाम: एक सिस्टम एक "परफेक्ट फुल AUC" स्कोर प्राप्त कर सकता है क्योंकि वह आसान कार्यों (दोस्तों को अंदर आने देना) में बहुत अच्छा है, लेकिन वह कठिन कार्यों (हैकर को रोकने) में बहुत बुरा हो सकता है। शोध पत्र दिखाता है कि क्योंकि "आसान" हिस्से का टेस्ट में 99% योगदान है, इसलिए एक सिस्टम "A+" छात्र की तरह दिख सकता है जबकि वास्तव में वह उस विशिष्ट परीक्षण में विफल हो सकता है जो वास्तव में मायने रखता है।

2. "रैंकिंग फ्लिप": जब नियम बदलने पर विजेता बदल जाता है

लेखकों ने सात अलग-अलग सुरक्षा प्रणालियों (चेहरा, आवाज, आइरिस और फिंगरप्रिंट का उपयोग करके) का परीक्षण किया। उन्होंने एक चौंकाने वाला परिणाम पाया: प्रणालियों की रैंकिंग बदल गई, यह इस बात पर निर्भर था कि कौन सा मीट्रिक उपयोग किया जा रहा था।

चेहरे का उदाहरण:
- सिस्टम A (FaceNet): जब इसे "Full AUC" (एक सामान्य, सर्व-उद्देश्यीय स्कोर) पर ग्रेड दिया गया, तो यह स्पष्ट विजेता के रूप में दिखा।
- सिस्टम B (ArcFace): जब इसे "Strict Threshold" (वास्तविक जीवन में उपयोग किए जाने वाले विशिष्ट सुरक्षा स्तर पर यह घुसपैठियों को कितनी अच्छी तरह रोकता है) पर ग्रेड दिया गया, तो यह स्पष्ट विजेता के रूप में दिखा।
सीख: यदि आप केवल सामान्य स्कोर देखते हैं, तो आप गलत सिस्टम चुन सकते हैं। यह एक मैराथन धावक को इसलिए चुनने जैसा है क्योंकि वह तेज चल सकता है, केवल यह महसूस करने के लिए कि वह एक मील दौड़ नहीं सकता।

3. "DET कर्व": डेटा को देखने का सही तरीका

पत्र सुझाव देता है कि हम "Full AUC" को मुख्य संख्या के रूप में उपयोग करना बंद करें और DET कर्व और Fixed-Point Error Rates का उपयोग करना शुरू करें।

उपमा: एक पर्वत श्रृंखला की धुंधली, वाइड-एंगल फोटो देखने के बजाय, हमें एक ज़ूम-इन, हाई-डेफिनिशन माइक्रोस्कोप का उपयोग करना चाहिए जो केवल उस छोटे, खतरनाक ढलान वाले किनारे पर केंद्रित हो जहाँ सिस्टम वास्तव में काम करता है।
वे क्या प्रस्तावित करते हैं:
- "False Non-Match Rate" (FNMR) रिपोर्ट करें: कितनी बार सिस्टम एक वैध उपयोगकर्ता को पहचानने में विफल रहता है जब "False Match Rate" (FMR) को एक सख्त स्तर (जैसे 1,000 में से 1) पर सेट किया जाता है?
- अनिश्चितता दिखाएं: ठीक वैसे ही जैसे मौसम का पूर्वानुमान कहता है "बारिश की 70% संभावना है," पत्र कहता है कि हमें एक "कॉन्फिडेंस इंटरवल" (विश्वास अंतराल) रिपोर्ट करना चाहिए। हमें पता होना चाहिए कि परिणाम एक ठोस तथ्य है या कुछ परीक्षणों के आधार पर केवल एक तुक्का।

4. "इम्बैलेंस" का भ्रम

पत्र यह भी नोट करता है कि परीक्षणों में लाखों "बुरे लोग" (non-matches) और बहुत कम "अच्छे लोग" (matches) होने के कारण, एक सिस्टम सामान्य स्कोर पर बहुत अच्छा दिख सकता है जबकि व्यवहार में वह बेकार हो सकता है।

उपमा: एक स्पैम फिल्टर की कल्पना करें जो 99.9% ईमेल को ब्लॉक करता है। यदि 99.9% ईमेल वास्तव में स्पैम हैं, तो फिल्टर एकदम सही दिखता है। लेकिन यदि वह गलती से आपके 50% महत्वपूर्ण कार्य ईमेल डिलीट कर देता है, तो यह एक आपदा है। शोध पत्र का तर्क है कि मानक स्कोर अक्सर इस "आपके महत्वपूर्ण ईमेल डिलीट करने" वाली समस्या को छिपा देते हैं।

बेहतर रिपोर्टिंग के लिए शोध पत्र की "चेकलिस्ट"

लेखक निष्कर्ष निकालते हैं कि इन गलतियों को रोकने के लिए, शोधकर्ताओं और कंपनियों को एक नई रिपोर्टिंग शैली (जो एक अंतर्राष्ट्रीय मानक ISO/IEC 19795-1 के अनुरूप है) का पालन करना चाहिए:

"Full AUC" के साथ शुरुआत न करें। यह पूरक है, जैसे मुख्य भोजन के बाद मिठाई।
"Strict Threshold" के साथ शुरुआत करें। बिल्कुल बताएं कि सिस्टम उस विशिष्ट सुरक्षा स्तर पर कैसा प्रदर्शन करता है जिसे आप वास्तव में उपयोग करेंगे (उदाहरण के लिए, "1,000 प्रयासों में से 1 गलत अलार्म पर, यह कितनी बार एक वास्तविक उपयोगकर्ता को अंदर आने देता है?")।
"ज़ूम-इन" ग्राफ दिखाएं। DET कर्व का उपयोग करें ताकि आप वास्तव में खतरनाक, कम-त्रुटि वाले क्षेत्र में प्रदर्शन देख सकें।
"त्रुटि की सीमा" (Margin of Error) दिखाएं। हमेशा एक कॉन्फिडेंस इंटरवल शामिल करें ताकि लोगों को पता चले कि संख्या कितनी विश्वसनीय है।

संक्षेप में: पत्र का दावा है कि बायोमेट्रिक सिस्टम को ग्रेड देने का वर्तमान तरीका एक रेस कार को सीधे ट्रैक पर उसकी टॉप स्पीड के आधार पर आंकने जैसा है, जबकि यह अनदेखा कर दिया जाता है कि वह तीखे मोड़ों को कैसे संभालती है। वास्तविक दुनिया में, सुरक्षा प्रणालियाँ लगभग हमेशा उन तीखे मोड़ों पर ही होती हैं (सख्त सुरक्षा सेटिंग्स)। लेखक हमें अपने ग्रेडिंग सिस्टम को यह दिखाने के लिए बदलने का आग्रह करते हैं कि कार मोड़ों को कितनी अच्छी तरह संभालती है, न कि केवल यह कि वह सीधी रेखा में कितनी तेज चलती है।

तकनीकी सारांश: ROC-AUC से परे: बायोमेट्रिक सत्यापन के लिए ऑपरेटिंग-पॉइंट प्रदर्शन रिपोर्टिंग

समस्या विवरण
बायोमेट्रिक सत्यापन प्रणालियों को अक्सर सख्त फॉल्स मैच रेट (FMR) बाधाओं (जैसे, $10^{-2}$ , $10^{-3}$ , या उससे कम) के तहत तैनात किया जाता है, जहाँ परिचालन क्षेत्र (operational region) कुल स्कोर रेंज के एक संकीर्ण हिस्से का प्रतिनिधित्व करता है। हालाँकि, शोध में वर्तमान रिपोर्टिंग प्रथाएँ थ्रेशोल्ड-स्वतंत्र स्केलर सारांशों, विशेष रूप से पूर्ण रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक एरिया अंडर द कर्व (ROC-AUC) या इक्वल एरर रेट (EER) पर निर्भर करती हैं। पूर्ण ROC-AUC पूरे FMR रेंज (0 से 1) में समान भार के साथ ट्रू मैच रेट (TMR) का औसत निकालता है। फलस्वरूप, यह उन उच्च-FMR क्षेत्रों द्वारा हावी हो जाता है जहाँ सिस्टम का उपयोग शायद ही कभी किया जाता है, जिससे सख्त ऑपरेटिंग पॉइंट्स पर खराब प्रदर्शन छिप सकता है। यह विसंगति भ्रामक निष्कर्षों की ओर ले जा सकती है जहाँ एक सिस्टम पूर्ण AUC के आधार पर श्रेष्ठ दिखाई देता है लेकिन तैनाती थ्रेशोल्ड पर काफी खराब प्रदर्शन करता है। इसके अलावा, मौजूदा रिपोर्टों में अक्सर स्पष्ट अनिश्चितता अंतराल (uncertainty intervals) की कमी होती है, जिससे यह निर्धारित करना कठिन हो जाता है कि प्रदर्शन में अंतर सांख्यिकीय रूप से महत्वपूर्ण है या नहीं।

कार्यप्रणाली
लेखक ISO/IEC 19795-1 मानक का पुनरावलोकन करते हैं, जो घोषित ऑपरेटिंग पॉइंट्स, DET कर्व्स और अनिश्चितता अंतरालों पर त्रुटि दरों को रिपोर्ट करने की वकालत करता है। इस मानक और सामान्य अभ्यास के बीच के अंतर का परीक्षण करने के लिए, अध्ययन ने चार बायोमेट्रिक मोडैलिटीज में सात प्रीट्रेन मैचर्स का मूल्यांकन किया:

चेहरा (Face): ArcFace और FaceNet (Labeled Faces in the Wild पर परीक्षण किया गया)।
आवाज़ (Voice): ECAPA-TDDR और x-vector (VoxCeleb1 पर परीक्षण किया गया)।
आइरिस (Iris): एक ओपन-सोर्स पाइपलाइन और एक क्लासिकल लॉग-गैबोर एनकोडर (CASIA-Iris-Thousand पर परीक्षण किया गया)।
फिंगरप्रिंट (Fingerprint): SourceAFIS मिन्यूटी मैचर (FVC2002 Set B पर परीक्षण किया गया)।

मूल्यांकन प्रोटोकॉल में मेटेड (mated) और नॉन-मेटेड (non-mated) जोड़े उत्पन्न करना शामिल था, जिसमें मोडैलिटी के आधार पर नॉन-मेटेड सेट ~14,000 से 2,000,000 जोड़ों तक थे। अध्ययन ने कई मेट्रिक्स की तुलना की:

पूर्ण ROC-AUC: मानक वैश्विक सारांश।
स्ट्रिक्ट-थ्रेशोल्ड मेट्रिक्स: निश्चित FMRs ( $10^{-1}$ से $10^{-4}$ ) पर TMR और FNMR, लो-FMR अंतरालों पर नॉर्मलाइज्ड पार्शियल AUC (pAUC), और लॉग-FMR AUC।
अन्य सारांश: EER, डिसाइडेबिलिटी इंडेक्स ( $d'$ ), और minDCF।

महत्वपूर्ण रूप से, लेखकों ने प्रत्येक रिपोर्ट किए गए मान के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल (200 रिसैंपल्स) लागू किए और विशिष्ट ऑपरेटिंग पॉइंट्स पर सिस्टम की तुलना करने के लिए पेयर्ड बूटस्ट्रैप टेस्ट का उपयोग किया, जिससे ट्रायल-स्तरीय सहसंबंध सुरक्षित रहे।

मुख्य परिणाम

प्रदर्शन का अतिरंजित होना: पूर्ण ROC-AUC ने सख्त ऑपरेटिंग क्षेत्र में प्रदर्शन को लगातार बढ़ा-चढ़ाकर दिखाया। उदाहरण के लिए, वॉयस वेरिफिकेशन में, x-vector सिस्टम ने 0.975 का पूर्ण AUC प्राप्त किया लेकिन FMR = $10^{-3}$ पर केवल 0.453 का TMR प्राप्त किया। इसके विपरीत, ECAPA-TDND ने उसी थ्रेशोल्ड पर 0.949 का TMR बनाए रखा। इन दोनों प्रणालियों के बीच पूर्ण AUC का अंतर केवल 0.024 था, जबकि स्ट्रिक्ट-थ्रेशोल्ड अंतर 0.495 था, जो दर्शाता है कि पूर्ण AUC ने परिचालन अंतर को लगभग बीस गुना कम करके दिखाया।
रैंकिंग रिवर्सल (चेहरा मोडैलिटी): फेस वेरिफिकेशन में एक सांख्यिकीय रूप से महत्वपूर्ण "रैंकिंग फ्लिप" देखा गया। FaceNet ने उच्च पूर्ण ROC-AUC (ArcFace के 0.979 के मुकाबले 0.985) प्राप्त किया, जिससे सुझाव मिलता है कि वह बेहतर सिस्टम था। हालाँकि, FMR = $10^{-3}$ के सख्त ऑपरेटिंग पॉइंट पर, ArcFace ने काफी उच्च TMR (0.922 बनाम 0.914) प्रदर्शित किया। पेयर्ड बूटस्ट्रैप टेस्ट ने पुष्टि की कि पूर्ण AUC या स्ट्रिक्ट-थ्रेशोल्ड TMR के आधार पर पसंदीदा सिस्टम बदल गया।
इम्बैलेंस संवेदनशीलता: अध्ययन ने नोट किया कि PR-AUC (प्रिसिजन-रिकॉल AUC) लगातार ROC-AUC से कम था, और जैसे-जैसे सिस्टम का प्रदर्शन कमजोर हुआ, यह अंतर बढ़ता गया। यह रेखांकित करता है कि बायोमेट्रिक्स में विशिष्ट असंतुलित सेटिंग्स में उच्च ROC-AUC, खराब प्रिसिजन के साथ सह-अस्तित्व में हो सकता है।
अनिश्चितता और रिज़ॉल्यूशन: बूटस्ट्रैप अंतरालों ने खुलासा किया कि प्रदर्शन के अंतर का परिमाण अक्सर कॉन्फिडेंस इंटरवल द्वारा सुझाए गए अंतर से अधिक होता है, जो रैंकिंग फ्लिप को प्रमाणित करता है। अध्ययन ने एक व्यावहारिक रिज़ॉल्यूशन सीमा को भी उजागर किया: बहुत कम FMR (जैसे, $10^{-4}$ ) पर दावों के लिए नॉन-मेटेड ट्रायल्स की संख्या FMR के व्युत्क्रम (inverse) के समान होनी चाहिए; कम ट्रायल्स वाले डेटासेट (जैसे फिंगरप्रिंट सेट) इतने सख्त थ्रेशोल्ड पर प्रदर्शन को विश्वसनीय रूप से हल नहीं कर सकते।

महत्व और योगदान
यह शोध पत्र तीन प्राथमिक योगदान देता है:

मानकों का पुनरावलोकन: यह वैश्विक स्केलर के व्यापक उपयोग के विपरीत ISO/IEC 19795-1 के ऑपरेटिंग-पॉइंट फोकस को प्रस्तुत करता है, और यह प्रदर्शित करता है कि कैसे बाद वाला महत्वपूर्ण तैनाती व्यवहार को छिपा सकता है।
अनुभवजन्य मूल्यांकन: यह सात प्रणालियों का क्रॉस-मोडल मूल्यांकन प्रदान करता है, जो दर्शाता है कि पूर्ण AUC सिस्टम चयन को गुमराह कर सकता है, विशेष रूप से फेस वेरिफिकेशन में जहाँ रैंकिंग फ्लिप होता है।
रिपोर्टिंग फ्रेमवर्क: यह ISO/IEC 19795-1 के अनुरूप एक रिपोर्टिंग चेकलिस्ट (तालिका VIII) प्रस्तावित करता है। लेखक तर्क देते हैं कि DET कर्व और निश्चित FMR पर FNMR को प्राथमिक रिपोर्ट के रूप में उपयोग किया जाना चाहिए, जिसे लो-FMR पार्शियल AUC या लॉग-FMR AUC द्वारा समर्थित किया जाए। पूर्ण ROC-AUC और EER को केवल पूरक संदर्भ के रूप में रखा जाना चाहिए। माप रिज़ॉल्यूशन को पारदर्शी बनाने के लिए प्रत्येक रिपोर्ट किए गए मान में कॉन्फिडेंस इंटरवल और प्रासंगिक ट्रायल काउंट शामिल होना चाहिए।

लेखक निष्कर्ष निकालते हैं कि हालांकि पूर्ण ROC-AUC एक उपयोगी वैश्विक रैंकिंग टूल बना हुआ है, यह तैनाती निर्णयों के लिए अपर्याप्त है। एक निष्पक्ष तुलना के लिए केवल AUC ऑर्डरिंग पर निर्भर रहने के बजाय, रुचि के विशिष्ट थ्रेशोल्ड पर पेयर्ड टेस्टिंग आवश्यक है।

1. "Full AUC" का जाल: मछली को पेड़ पर चढ़ने की क्षमता से आंकना

2. "रैंकिंग फ्लिप": जब नियम बदलने पर विजेता बदल जाता है

3. "DET कर्व": डेटा को देखने का सही तरीका

4. "इम्बैलेंस" का भ्रम

बेहतर रिपोर्टिंग के लिए शोध पत्र की "चेकलिस्ट"

इसी तरह के और पेपर