💻 computer science

QBK-ProtoNet: Quality-Calibrated Bio-Kinematic Covariance Prototype Learning for Deepfake Video Detection

यह शोध पत्र QBK-ProtoNet का प्रस्ताव करता है, जो एक व्याख्यात्मक डीपफेक डिटेक्शन फ्रेमवर्क है जो डिग्रेड की गई स्थितियों और अनदेखे डोमेन में हेरफेर किए गए वीडियो की मजबूती से पहचान करने के लिए सीखे गए प्रामाणिक और हेरफेर किए गए साक्ष्यों के विरुद्ध शारीरिक और टेम्पोरल विसंगतियों को मापने हेतु क्वालिटी-कैलिब्रेटेड बायो-काइनेटिक कोवेरिएंस प्रोटोटाइप का लाभ उठाता है।

मूल लेखक: Sharon Philip, Shyamala Devi N

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharon Philip, Shyamala Devi N

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ QBK-ProtoNet पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "बहुत अच्छा जो सच न लगे" वाला वीडियो

कल्पना कीजिए कि आप किसी सेलिब्रिटी का भाषण देते हुए एक वीडियो देख रहे हैं। यह असली लग रहा है, लेकिन हो सकता है कि यह वास्तव में एक Deepfake हो—एक कंप्यूटर-जनरेटेड वीडियो जहाँ किसी का चेहरा बदल दिया गया हो या उनकी बातें नकली बनाई गई हों।

समस्या यह है कि वर्तमान "नकली पहचान करने वाले" (fake detectors) उन सुरक्षा गार्डों की तरह हैं जिन्हें केवल एक विशिष्ट प्रकार के नकली आईडी को पहचानने का पता है। यदि नकली वीडियो धुंधला है, अंधेरे में रिकॉर्ड किया गया है, या सोशल मीडिया के लिए कंप्रेस (compressed) किया गया है, तो गार्ड भ्रमित हो जाता है और नकली वीडियो को अंदर जाने देता है। वे विजुअल ग्लिच (visual glitches) पर निर्भर करते हैं जो वीडियो की गुणवत्ता बदलने पर गायब हो जाते हैं।

समाधान: QBK-ProtoNet

लेखकों ने QBK-ProtoNet नामक एक नया सिस्टम प्रस्तावित किया है। केवल विजुअल ग्लिच को देखने के बजाय, यह सिस्टम एक फोरेंसिक डिटेक्टिव (जांचकर्ता) की तरह काम करता है जो यह जाँचता है कि वीडियो में मौजूद व्यक्ति वास्तव में एक वास्तविक इंसान की तरह व्यवहार कर रहा है या नहीं।

इसे "Bio-Kinematic Consistency" की जाँच के रूप में समझें।

Bio (जैविक): क्या उस व्यक्ति की धड़कन है? (असली लोगों की त्वचा में रक्त प्रवाह के कारण सूक्ष्म रंग परिवर्तन होते हैं; नकली वीडियो में अक्सर ऐसा नहीं होता)।
Kinematic (गतिज): क्या उनका मुँह और चेहरा स्वाभाविक रूप से एक साथ चलते हैं? (असली लोग अपने होंठों और जबड़े को तालमेल में रखते हैं; नकली वीडियो में अक्सर थोड़ा अंतराल या अस्वाभाविक जकड़न होती है)।
Quality (गुणवत्ता): क्या वीडियो निर्णय लेने के लिए पर्याप्त स्पष्ट है?

यह कैसे काम करता है: "प्रोटोटाइप" (Prototype) का उदाहरण

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक असली सेब और एक प्लास्टिक के नकली सेब के बीच अंतर कैसे किया जाए।

"प्रोटोटाइप्स" (संदर्भ मानक - The Reference Standards):
रोबोट को हजारों रैंडम सेब दिखाने के बजाय, सिस्टम दो आदर्श "मानसिक मॉडल" (प्रोटोटाइप) बनाता है:
- असली सेब का मॉडल: एक असली सेब कैसा दिखता है (रंग, बनावट, वजन) उसका एक आदर्श औसत।
- नकली सेब का मॉडल: एक प्लास्टिक के सेब जैसा दिखता है उसका एक आदर्श औसत।
"कोवेरिएंस" (स्मार्ट रूलर - The Smart Ruler):
यही इस पेपर का मुख्य नवाचार है।
- पुराना तरीका (यूक्लिडियन डिस्टेंस - Euclidean Distance): कल्पना कीजिए कि आप एक साधारण स्केल (रूलर) का उपयोग करके अपने सेब और मॉडल्स के बीच की दूरी माप रहे हैं। यह हर विशेषता (रंग, वजन, आकार) को समान महत्व देता है। लेकिन क्या होगा यदि "रंग" धुंधला है? स्केल फिर भी उसे उतना ही महत्वपूर्ण मानेगा।
- नया तरीका (माहालेनोबिस डिस्टेंस / कोवेरिएंस - Mahalanobis Distance / Covariance): कल्पना कीजिए कि आप एक स्मार्ट, लचीले स्केल का उपयोग कर रहे हैं जो खेल के नियमों को जानता है। यदि वीडियो धुंधला है, तो स्केल जानता है कि "रंग" अविश्वसनीय है और वह माप को इस तरह खींच देता है ताकि उस पर ज्यादा ध्यान न दिया जाए। यदि "धड़कन" का संकेत स्पष्ट है, तो स्केल उस सबूत को अधिक महत्व देने के लिए सिकुड़ जाता है।
- परिणाम: सिस्टम केवल यह नहीं पूछता है, "यह असली मॉडल से कितना दूर है?" बल्कि यह पूछता है, "यह असली मॉडल से कितना दूर है, यह देखते हुए कि वीडियो के कुछ हिस्से धुंधले और अविश्वसनीय हैं?"
"क्वालिटी कैलिब्रेशन" (कॉन्फिडेंस मीटर - The Confidence Meter):
कभी-कभी, वीडियो इतना खराब होता है (बहुत अंधेरा, बहुत पिक्सेलेटेड) कि डिटेक्टिव सुनिश्चित नहीं हो पाता।
- QBK-ProtoNet में एक अंतर्निहित कॉन्फिडेंस मीटर होता है। यदि वीडियो की गुणवत्ता खराब है, तो सिस्टम कहता है, "मैं अभी अपने उत्तर पर भरोसा नहीं कर सकता।"
- "असली" या "नकली" का अनुमान लगाने के बजाय, यह वीडियो को "अनिश्चित" (Uncertain) के रूप में चिह्नित करता है। फोरेंसिक के लिए यह महत्वपूर्ण है क्योंकि गलती करने से बेहतर है यह कहना कि "मुझे नहीं पता।"

डिटेक्टिव के दो प्रकार

शोधकर्ताओं ने अपने सिस्टम के दो संस्करणों का परीक्षण किया:

"स्पेशलिस्ट" (विशेषज्ञ - Class-Specific): यह डिटेक्टिव ट्रेनिंग वीडियो के विशिष्ट नियमों को बहुत अच्छी तरह से सीख लेता है। यह उन नकली वीडियो को पकड़ने में माहिर है जो प्रशिक्षण डेटा के बिल्कुल समान दिखते हैं। हालाँकि, यदि आप इसे किसी अलग स्रोत (जैसे अलग कैमरा या कंप्रेशन) से आया वीडियो दिखाते हैं, तो यह भ्रमित हो जाता है और विफल हो जाता है।
"जनरलिस्ट" (सामान्यज्ञ - Shared-Covariance): यह डिटेक्टिव सामान्य नियमों को सीखता है कि असली और नकली वीडियो कैसे भिन्न होते हैं, बिना प्रशिक्षण डेटा के विशिष्ट विवरणों में बहुत अधिक उलझे। यह प्रशिक्षण वीडियो पर थोड़ा कम सटीक हो सकता है, लेकिन यह नए, अनदेखे या खराब गुणवत्ता वाले वीडियो को संभालने में बहुत बेहतर है।

परिणाम: उन्होंने क्या पाया?

बुनियादी चीजों से बेहतर: नया "स्मार्ट रूलर" (कोवेरिएंस) विधि पुराने "साधारण रूलर" (यूक्लिडियन) की तुलना में काफी बेहतर था, विशेष रूप से कम गुणवत्ता वाले वीडियो में।
ट्रेड-ऑफ (समझौता): "स्पेशलिस्ट" संस्करण ने विशिष्ट टेस्ट सेट पर उच्चतम स्कोर (80% सटीकता) प्राप्त किया, लेकिन बाहरी डेटा पर परीक्षण करने पर यह बुरी तरह विफल रहा (सटीकता गिरकर 51% हो गई)। "जनरलिस्ट" संस्करण अधिक सुसंगत था, बाहरी डेटा पर लगभग 66% स्कोर किया, जो वास्तविक दुनिया के उपयोग के लिए बहुत अधिक विश्वसनीय है।
"अनिश्चितता" की जीत: जब सिस्टम को "मुझे यकीन नहीं है" कहने और सबसे खराब गुणवत्ता वाले वीडियो को खारिज करने की अनुमति दी गई, तो शेष वीडियो पर इसकी सटीकता काफी बढ़ गई।

निचोड़ (The Bottom Line)

लेखक यह दावा नहीं कर रहे हैं कि यह एक अंतिम, अजेय Deepfake डिटेक्टर है जो इस समस्या को हमेशा के लिए हल कर देगा। इसके बजाय, वे एक विश्वसनीय फ्रेमवर्क प्रस्तुत कर रहे हैं।

सोचिए कि QBK-ProtoNet एक जादू की छड़ी नहीं, बल्कि एक स्मार्ट, सतर्क फोरेंसिक टूल है। यह समझता है कि वीडियो की गुणवत्ता मायने रखती है, यह जानता है कि कब यह अनिश्चित है, और यह सबूतों को निष्पक्ष रूप से तौलने के लिए "स्मार्ट रूलर" का उपयोग करता है। इसे एक व्याख्या योग्य (interpretable) लेयर के रूप में डिज़ाइन किया गया है जो मानव विशेषज्ञों को यह तय करने में मदद करती है कि किन वीडियो की आगे जांच करने की आवश्यकता है, बजाय इसके कि केवल एक "असली/नकली" लेबल थोंप दे जो गलत भी हो सकता है।

QBK-ProtoNet का तकनीकी सारांश: डीपफेक वीडियो डिटेक्शन के लिए क्वालिटी-कैलिब्रेटेड बायो-काइनेमैटिक कोवेरिएंस प्रोटोटाइप लर्निंग

समस्या विवरण (Problem Statement)
डीपफेक वीडियो डिटेक्टर अक्सर उन वीडियो पर लागू होने पर प्रदर्शन में गिरावट का सामना करते हैं जो सोशल मीडिया प्रोसेसिंग, निम्न-गुणवत्ता वाले कैप्चर, या अनदेखे मैनिपुलेशन डोमेन से गुजरे होते हैं। कई मौजूदा मॉडल सामान्यीकरण योग्य फोरेंसिक संकेतों के बजाय विशिष्ट डेटासेट-आधारित विजुअल आर्टिफैक्ट्स (जैसे कि ब्लेंडिंग बाउंड्रीज़ या टेक्सचर इनकंसिस्टेंसी) पर अत्यधिक निर्भर करते हैं। फलस्वरूप, ये मॉडल अक्सर तब विफल हो जाते हैं जब वीडियो को रीकंप्रेस, डाउनसैंपल, कम रोशनी में कैप्चर, या अनदेखी पाइपलाइनों द्वारा जेनरेट किया जाता है। इसके अलावा, मानक डिटेक्टर आमतौर पर देखे गए वीडियो की गुणवत्ता के तहत फोरेंसिक साक्ष्य की विश्वसनीयता का संकेत दिए बिना केवल एक बाइनरी निर्णय आउटपुट करते हैं, जिससे व्यावहारिक फोरेंसिक वर्कफ़्लो में उनकी उपयोगिता सीमित हो जाती है।

कार्यप्रणाली (Methodology): QBK-ProtoNet
लेखक QBK-ProtoNet का प्रस्ताव करते हैं, जो एक हल्का, व्याख्यात्मक (interpretable) फ्रेमवर्क है जिसे क्वालिटी-कैलिब्रेटेड डीपफेक डिटेक्शन के लिए डिज़ाइन किया गया है। एक भारी एंड-टू-एंड डीप लर्निंग बैकबोन पर निर्भर रहने के बजाय, यह विधि एक फीचर-लेवल रिप्रजेंटेशन पर कार्य करती है जो फिजियोलॉजिकल (physiological), काइनेमैटिक (kinematic), और क्वालिटी डिस्क्रिप्टर्स को जोड़ती है।

बायो-काइनेमैटिक साक्ष्य प्रतिनिधित्व (Bio-Kinematic Evidence Representation):
प्रत्येक वीडियो को एक नॉर्मलाइज्ड एविडेंस वेक्टर ( $x \in \mathbb{R}^d$ ) में परिवर्तित किया जाता है जिसमें चार मुख्य घटक शामिल हैं:

फिजियोलॉजिकल कंसिस्टेंसी (Physiological Consistency): रिमोट फोटोप्लेथिस्मोग्राफी (rPPG) सिग्नल्स से जुड़े क्रॉस-रीजन कलर वेरिएशन को कैप्चर करता है।
काइनेमैटिक कंसिस्टेंसी (Kinematic Consistency): रीजनल फेशियल माइक्रो-मोशन्स और माउथ-फेस कपलिंग (सिंक्रोनाइज़ेशन) को मापता है।
टेम्पोरल इनस्टेबिलिटी (Temporal Instability): फेज और शफल परटर्बेशन के तहत अस्थिरता का मूल्यांकन करता है।
क्वालिटी रिलायबिलिटी (Quality Reliability): एक अलग वेक्टर ( $q \in \mathbb{R}^r$ ) जिसमें फ्रेम काउंट, फ्रेम रेट, फेस-डिटेक्शन रिलायबिलिटी, और ल्युमिनेंस स्टैटिस्टिक्स शामिल हैं।

कोवेरिएंस प्रोटोटाइप लर्निंग (Covariance Prototype Learning):
फ्रेमवर्क ट्रेनिंग सेट के माध्य (means) के आधार पर ऑथेंटिक ( $\mu_0$ ) और मैनिपुलेटेड ( $\mu_1$ ) एविडेंस के लिए "प्रोटोटाइप्स" को परिभाषित करता है। साधारण यूक्लिडियन डिस्टेंस का उपयोग करने के बजाय, QBK-ProtoNet फोरेंसिक डिस्क्रिप्टर्स के स्केल और कोरिलेशन को ध्यान में रखने के लिए महालानोबिस डिस्टेंस (Mahalanobis distance) का उपयोग करता है।

डिस्टेंस मेट्रिक: $d_c(x) = \sqrt{(x - \mu_c)^T \Sigma^{-1} (x - \mu_c)}$ , जहाँ $\Sigma$ एक कोवेरिएंस मैट्रिक्स है।
कोवेरिएंस वेरिएंट्स: पेपर दो दृष्टिकोणों का मूल्यांकन करता है:
- शेयर्ड कोवेरिएंस (Shared Covariance): सभी ट्रेनिंग डेटा पर अनुमानित एक सिंगल मैट्रिक्स।
- क्लास-स्पेसिफिक कोवेरिएंस (Class-Specific Covariance): रियल और फेक क्लासेज के लिए अलग-अलग अनुमानित मैट्रिसेस।
स्टेबिलिटी: संख्यात्मक स्थिरता सुनिश्चित करने के लिए, कोवेरिएंस श्रिंकेज लागू किया जाता है: $\hat{\Sigma} = (1 - \lambda)\Sigma + \lambda \text{diag}(\Sigma) + \epsilon I$ , जहाँ $\lambda = 0.25$ है।

स्कोरिंग और अनसर्टेन्टी (Scoring and Uncertainty):

मार्जिन स्कोरिंग: वीडियो को मार्जिन $m = d_0(x) - d_1(x)$ के आधार पर स्कोर किया जाता है। एक पॉजिटिव मार्जिन यह सुझाव देता है कि वीडियो मैनिपुलेटेड प्रोटोटाइप के करीब है।
क्वालिटी रिलायबिलिटी: एक रिलायबिलिटी स्कोर ( $r_q$ ) वीडियो के क्वालिटी प्रोफाइल की ट्रेनिंग-सेट क्वालिटी सेंटर से दूरी के आधार पर कंप्यूट किया जाता है।
अनसर्टेन्टी (Uncertainty): डिसीजन बाउंड्री के पास या ट्रेनिंग क्वालिटी प्रोफाइल से दूर स्थित वीडियो उच्च अनसर्टेन्टी स्कोर प्राप्त करते हैं, जो एक "रिटेन्ड-सेट" प्रोटोकॉल को सक्षम बनाता है जहाँ अनसर्टेन वीडियो को रिजेक्ट किया जा सकता है या मानव समीक्षा के लिए छोड़ा जा सकता है।

प्रमुख योगदान (Key Contributions)

क्वालिटी-कैलिब्रेटेड रिप्रजेंटेशन: एक नवीन एविडेंस रिप्रजेंटेशन जो फिजियोलॉजिकल, काइनेमैटिक, और टेम्पोरल क्यूज़ को स्पष्ट वीडियो क्वालिटी डिस्क्रिप्टर्स के साथ जोड़ता है।
कोवेरिएंस-अवेयर प्रोटोटाइप डिटेक्टर: प्रोटोटाइप लर्निंग में महालानोबिस डिस्टेंस (शेयर्ड और क्लास-स्पेसिफिक दोनों) का परिचय, जो यूक्लिडियन बेसलाइन्स की तुलना में रेडंडेंट या अनस्टेबल फीचर डायरेक्शंस को डाउन-वेट करता है।
अनसर्टेन्टी-अवेयर इवैल्यूएशन: एक मूल्यांकन प्रोटोकॉल जो केवल बाइनरी क्लासिफिकेशन एक्यूरेसी के बजाय प्रोटोटाइप डिस्टेंस, क्वालिटी रिलायबिलिटी, और रिटेन्ड-सेट परफॉरमेंस (अनसर्टेन सैंपल्स को रिजेक्ट करने के बाद) को रिपोर्ट करता है।
रोबस्टनेस एनालिसिस: क्रॉस-डेटासेट और डिग्रेडेड-वीडियो प्रयोगों का व्यापक विश्लेषण जो इन-डोमेन स्पेशलाइजेशन और क्रॉस-डेटासेट जनरलाइजेशन के बीच ट्रेड-ऑफ को प्रदर्शित करता है।

प्रायोगिक परिणाम (Experimental Results)
मेथड का मूल्यांकन एक बैलेंस्ड सेलेब-आधारित मैनिफेस्ट (इन-डोमेन) और फेसफोरेंस++ (FF++) डेटासेट (क्रॉस-डेटासेट) पर, विभिन्न डिग्रेडेशन स्थितियों (लो रेजोल्यूशन, 15-fps रिडक्शन, लो लाइट) के तहत किया गया।

इन-डोमेन परफॉरमेंस: क्लास-स्पेसिफिक महालानोबिस प्रोटोटाइप ने सेलेब टेस्ट स्प्लिट पर 80.09% AUC के साथ उच्चतम इन-डोमेन परफॉरमेंस हासिल की।
क्रॉस-डेटासेट जनरलाइजेशन: शेयर्ड-कोवेरिएंस महालानोबिस प्रोटोटाइप ने बाहरी FF++ डेटासेट पर बेहतर जनरलाइजेशन प्रदर्शित किया, जिसने क्लास-स्पेसिफिक वेरिएंट के 51.46% की तुलना में 66.49% AUC प्राप्त किया। क्लास-स्पेसिफिक वेरिएंट ने सेलेब-विशिष्ट मैनिपुलेशन स्टैटिस्टिक्स के प्रति ओवरफिटिंग के संकेत दिखाए।
डिग्रेडेशन रोबस्टनेस: दोनों महालानोबिस वेरिएंट्स ने सभी डिग्रेडेड सेटिंग्स में यूक्लिडियन बेसलाइन को काफी पीछे छोड़ दिया (जैसे, शेयर्ड महालानोबिस ने लो-रेजोल्यूशन वीडियो पर 63.49% यूक्लिडियन की तुलना में 77.02% AUC प्राप्त किया)।
अनसर्टेन्टी रिजेक्शन: सबसे अनसर्टेन 30% वीडियो को रिजेक्ट करने से शेयर्ड-कोवेरिएंस वेरिएंट के लिए FF++ AUC 66.49% से बढ़कर 68.52% हो गया, और 15-fps AUC 74.41% से बढ़कर 80.76% हो गया।
एफिशिएंसी: प्रोटोटाइप स्कोरिंग कंप्यूटेशनल रूप से बहुत हल्का है, जिसमें फीचर एक्सट्रैक्शन के बाद प्रति वीडियो लगभग 0.143 ms का समय लगता है।

महत्व और दावे (Significance and Claims)
लेखक स्पष्ट रूप से QBK-ProtoNet को एक यूनिवर्सल स्टेट-ऑफ-द-आर्ट डिटेक्टर के रूप में नहीं, बल्कि एक व्याख्यात्मक, रिलायबिलिटी-ओरिएंटेड फ्रेमवर्क के रूप में प्रस्तुत करते हैं।

व्याख्यात्मकता (Interpretability): ब्लैक-बॉक्स क्लासिफायर के विपरीत, QBK-ProtoNet विशिष्ट बायो-काइनेमैटिक इनकंसिस्टेंसी और क्वालिटी रिलायबिलिटी मेट्रिक्स को उजागर करता है, जिससे फोरेंसिक एनालिस्ट यह समझ सकते हैं कि किसी वीडियो को क्यों फ्लैग किया गया है।
एक्यूरेसी के ऊपर रिलायबिलिटी: पेपर का तर्क है कि फोरेंसिक वर्कफ़्लो में, यह जानना कि एक डिटेक्टर कब अनसर्टेन है (कम गुणवत्ता या डोमेन शिफ्ट के कारण), डिटेक्शन स्कोर जितना ही महत्वपूर्ण है। यह फ्रेमवर्क अनसर्टेन मामलों को स्थगित करने के लिए एक तंत्र प्रदान करता है।
कोवेरिएंस डिज़ाइन ट्रेड-ऑफ: एक प्रमुख निष्कर्ष इन-डोमेन स्पेशलाइजेशन और क्रॉस-डोमेन रिलायबिलिटी के बीच का ट्रेड-ऑफ है। क्लास-स्पेसिफिक कोवेरिएंस समृद्ध इन-डोमेन ज्योमेट्री कैप्चर करता है लेकिन ओवरफिटिंग का जोखिम उठाता है, जबकि शेयर्ड कोवेरिएंस एक सुरक्षित, अधिक रोबस्ट दृष्टिकोण प्रदान करता है।
सीमित दायरा: लेखक स्वीकार करते हैं कि वर्तमान कार्य एक "प्रोटोटाइप-लेवल मैनुस्क्रिप्ट" है जो फुल एंड-टू-एंड फाउंडेशन मॉडल के बजाय फीचर-लेवल डेटा का उपयोग करता है। वे कहते हैं कि उनका योगदान "कोवेरिएंस-प्रोटोटाइप रिलायबिलिटी लेयर" और इन-डोमेन बनाम ट्रांसफर ट्रेड-ऑफ का स्पष्ट मॉडलिंग है, न कि पूर्ण एब्सोल्यूट लीडरबोर्ड सुपिरियोरिटी का दावा।