Interpretable facial dynamics as behavioral and perceptual traces of deepfakes
यह अध्ययन प्रदर्शित करता है कि चेहरे की गतिशीलता के व्याख्या योग्य जैव-व्यवहारात्मक लक्षण, विशेष रूप से भावनात्मक अभिव्यक्ति से संबंधित, डीपफेक डिटेक्शन के लिए मापने योग्य व्यवहारिक फिंगरप्रिंट के रूप में कार्य करते हैं और यह प्रकट करते हैं कि जहाँ कम्प्यूटेशनल मॉडल और मानवीय धारणा भावनात्मक सामग्री पर अभिसरित होते हैं, वहीं वे मौलिक रूप से भिन्न पहचान रणनीतियों पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पार्टी में हैं, और कोई आपको एक कहानी सुना रहा है। आप न केवल इस बात से पहचान सकते हैं कि वे झूठ बोल रहे हैं कि वे क्या कह रहे हैं, बल्कि इस बात से भी कि वे उसे कैसे कह रहे हैं—उनकी आवाज़ में हल्की सी थरथराहट, उनकी पलकों का बहुत तेज़ी से झपकना, या उनके हाथों का थोड़ा बहुत सख्त होकर हिलना।
यह शोध पत्र "डीपफेक" (AI द्वारा बनाए गए नकली वीडियो) को पकड़ने के बारे में है, जो बिल्कुल इसी तर्क पर आधारित है। पिक्सेल के ग्लिच या अजीब रोशनी को देखने के बजाय (जो किसी पत्र में टाइपिंग की गलती खोजने जैसा है), शोधकर्ताओं ने चेहरे की "बॉडी लैंग्वेज" (शरीर की भाषा) पर ध्यान केंद्रित किया।
यहाँ उनकी खोज की कहानी सरल रूप में दी गई है:
1. समस्या: "ब्लैक बॉक्स" जासूस
वर्तमान में अधिकांश AI डिटेक्टर अति-बुद्धिमान लेकिन खामोश जासूसों की तरह हैं। वे उच्च सटीकता के साथ नकली वीडियो को पहचान सकते हैं, लेकिन वे यह नहीं बता सकते कि ऐसा क्यों है। वे बस कहते हैं, "यह नकली है," बिना यह बताए कि कौन सी मांसपेशी गलत तरीके से हिली या कौन सी पलक का झपकना अप्राकृतिक था। यह एक समस्या है क्योंकि यदि हम अदालत या समाचार कक्षों में इन उपकरणों पर भरोसा करना चाहते हैं, तो हमें उनके तर्क को समझना होगा।
2. समाधान: चेहरे की "लय" को सुनना
शोधकर्ताओं ने छवि को देखना बंद करने और गति को सुनने का निर्णय लिया। उन्होंने चेहरे की मांसपेशियों को एक संगीत वाद्ययंत्र की तरह माना।
- उपमा: एक ड्रमर की कल्पना करें। एक वास्तविक मानव ड्रमर का एक स्वाभाविक, थोड़ा अपूर्ण लय होता है। एक AI जो उस ड्रमर की नकल करने की कोशिश कर रहा है, वह नोट्स (सुरों) को सही पकड़ सकता है, लेकिन उसका टाइमिंग रोबोटिक या "अजीब" महसूस होता है।
- विधि: उन्होंने जटिल चेहरे की गतिविधियों को तीन सरल "संगीत विषयों" या पैटर्न में तोड़ने के लिए NMF (नॉन-नेगेटिव मैट्रिक्स फैक्टराइजेशन) नामक टूल का उपयोग किया:
- मुस्कान: गाल और होंठों का एक साथ हिलना।
- तेवर/क्रोध (Frown): ठुड्डी और होंठों का सख्त होना।
- आश्चर्य: भौंहों और पलकों का ऊपर उठना।
इसके बाद उन्होंने समय के साथ इन गतिविधियों की लय, सहजता और पूर्वानुमान क्षमता को मापा।
3. बड़ी खोज: भावनाएं ही "पकड़ने वाला संकेत" हैं
सबसे दिलचस्प हिस्सा यह है: AI तटस्थ (neutral) चेहरों की तुलना में भावनाओं को रचने में बहुत खराब है।
- "तटस्थ" का जाल: जब कोई व्यक्ति सामान्य रूप से बात कर रहा होता है (कोई बड़ी भावना नहीं), तो AI चेहरे की गतिविधियों की काफी अच्छी तरह नकल कर सकता है। यह एक शांत बातचीत की नकल करने वाले रोबोट जैसा है; इसे पहचानना कठिन है।
- "भावना" की चूक: जब कोई व्यक्ति हंस रहा होता है, क्रोधित होता है, या दुखी होता है, तो उनके चेहरे में कई मांसपेशियों का एक जटिल, समन्वित नृत्य शामिल होता है। AI इस नृत्य को एकदम सही लय में बनाए रखने में संघर्ष करता है।
- रूपक: एक वास्तविक मानवीय भावना को जैज़ इम्प्रोवाइज़ेशन (jazz improvisation) की तरह समझें। यह तरल, समन्वित और एक विशिष्ट "प्रवाह" वाला होता है। AI का संस्करण एक मेट्रोनोम (metronome) की तरह है जो जैज़ बजाने की कोशिश कर रहा है। वह सही नोट्स (मांसपेशियां) तो मारता है, लेकिन उसका "प्रवाह" सख्त और अनुमानित होता है। शोधकर्ताओं ने पाया कि AI का "जैज़" इतना तालमेल से बाहर था कि उसने उसे पकड़ लिया।
4. मानव बनाम मशीन मुकाबला
शोधकर्ताओं ने वास्तविक मनुष्यों से भी इन वीडियो को देखने और यह अनुमान लगाने के लिए कहा कि कौन से नकली थे। उन्होंने मनुष्यों के अनुमानों की तुलना कंप्यूटर के अनुमानों से की।
- परिणाम: जब व्यक्ति भावनाएं दिखा रहा था, तब मनुष्य और कंप्यूटर दोनों ही नकली वीडियो को पहचानने में बेहतर थे।
- ट्विस्ट: भले ही वे उत्तर पर सहमत थे ("वह नकली है!"), लेकिन वे वहां तक पहुँचने के लिए अलग-अलग सुरागों का उपयोग कर रहे थे।
- कंप्यूटर जबड़े या भौंहों की गति की सूक्ष्म, गणितीय अनियमितताओं को देख रहा था (जैसे स्टॉपवॉच के साथ लय की जांच करना)।
- मनुष्य एक सामान्य "अस्वाभाविक होने के अहसास" को पकड़ रहे थे, शायद यह नोटिस कर रहे थे कि गति किसी अलग तरह से "अजीब" या "अनिश्चित" थी।
निष्कर्ष: मनुष्य और मशीन दो अलग-अलग जासूसों की तरह हैं जो एक ही अपराध को सुलझा रहे हैं। वे एक ही अपराधी को पकड़ सकते हैं, लेकिन उन्होंने अलग-अलग सबूत पाए। इसका मतलब है कि सर्वोत्तम परिणामों के लिए हमें दोनों का एक साथ उपयोग करना चाहिए।
यह क्यों मायने रखता है?
- पारदर्शिता: एक "ब्लैक बॉक्स" के केवल "नकली" कहने के बजाय, अब हमें पता है कि क्यों: "यह वीडियो नकली है क्योंकि भौंहों की गति की लय एक स्वाभाविक मानवीय मुस्कान के प्रवाह से मेल नहीं खाती है।"
- बेहतर पहचान: हम जानते हैं कि यदि कोई वीडियो तीव्र भावनाएं दिखाता है, तो AI को पकड़ना आसान है। यदि वीडियो में कोई व्यक्ति बस शांति से बात कर रहा है, तो यह बहुत कठिन है।
- मानव-मशीन टीम वर्क: चूंकि मनुष्य और कंप्यूटर अलग-अलग चीजों को देखते हैं, इसलिए उन्हें मिलाने से एक ऐसी सुपर-टीम बनती है जिसे अकेले किसी एक को चकमा देना बहुत कठिन है।
संक्षेप में: डीपफेक असली दिखने में बेहतर हो रहे हैं, लेकिन वे महसूस करने में अभी भी बहुत खराब हैं। हमारी चेहरे की मांसपेशियों की लय को सुनकर, हम AI की "रोबोटिक धड़कन" को सुन सकते हैं और उसे रंगे हाथों पकड़ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।