🤖 AI

Debiased Multimodal Personality Understanding through Dual Causal Intervention

यह शोध पत्र एक ड्यूल कॉज़ल एडजस्टमेंट नेटवर्क (DCAN) प्रस्तावित करता है जो मल्टीमॉडल व्यक्तित्व समझ में विषय संबंधी पूर्वाग्रहों (subject biases) को कम करने के लिए बैक-डोर और फ्रंट-डोर कॉज़ल इंटरवेंशन का उपयोग करता है, जो बेंचमार्क डेटासेट पर अत्याधुनिक सटीकता और निष्पक्षता में सुधार प्राप्त करता है और साथ ही आगे के अनुसंधान के लिए एक नया जनसांख्यिकीय-एनोटेटेड डेटासेट पेश करता है।

मूल लेखक: Yangfu Zhu, Zitong Han, Nianwen Ning, Yuting Wei, Yuandong Wang, Hang Feng, Zhenzhou Shao

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yangfu Zhu, Zitong Han, Nianwen Ning, Yuting Wei, Yuandong Wang, Hang Feng, Zhenzhou Shao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "रूढ़िवादिता का जाल" (The Stereotype Trap)

कल्पना कीजिए कि आप किसी व्यक्ति को बात करते हुए एक छोटा सा वीडियो देखकर उसके व्यक्तित्व (personality) का अनुमान लगाने की कोशिश कर रहे हैं। आप उनके चेहरे को देख सकते हैं, उनकी आवाज़ सुन सकते हैं और उनके शब्दों को पढ़ सकते हैं।

यह शोध पत्र तर्क देता है कि वर्तमान कंप्यूटर प्रोग्राम (AI) इस काम में बहुत खराब हैं क्योंकि वे एक रूढ़िवादिता के जाल (stereotype trap) में फंस जाते हैं।

उपमा (Analogy):
एक AI मॉडल को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है।

असली परीक्षा: छात्र को व्यक्ति के वास्तविक व्यवहार (जैसे, "वे एक दोस्त की मदद करने के बारे में कहानी साझा कर रहे हैं") को देखकर यह अनुमान लगाना चाहिए कि वे "दयालु" (Kind) हैं।
चीट शीट (पूर्वाग्रह/Bias): इसके बजाय, छात्र देखता है कि ट्रेनिंग वीडियो में अतीत में, लगभग सभी "दयालु" लोग सफेद महिलाएँ और कोमल आवाज़ वाली थीं। इसलिए, छात्र व्यवहार को देखना बंद कर देता है और बस यह अनुमान लगा लेता है, "यदि वह एक सफेद महिला है और उसकी आवाज़ कोमल है, तो वह दयालु ही होगी।"

यह खतरनाक है। यदि AI एक ऐसी सफेद महिला को देखता है जो वास्तव में बहुत दयालु नहीं है, तो भी वह अनुमान लगाएगा कि वह दयालु है क्योंकि वह "चीट शीट" (जनसांख्यिकी/demographics) पर भरोसा कर रहा है न कि वास्तविक प्रमाण (व्यवहार) पर। इससे परिणाम अनुचित और गलत होते हैं।

समाधान: एक "कारण संबंधी जासूस" (A Causal Detective)

लेखकों ने, जिनका नेतृत्व यांगफू झू (Yangfu Zhu) और झेनझो शाओ (Zhenzhou Shao) ने किया है, एक नया सिस्टम बनाया है जिसे DCAN (Dual Causal Adjustment Network) कहा जाता है। वे AI को एक ऐसे जासूस की तरह देखते हैं जिसे असली सुरागों को भटकाने वाले सुरागों (red herrings) से अलग करके रहस्य सुलझाना है।

उन्होंने समस्या को ठीक करने के लिए दो विशिष्ट "उपकरणों" (जो 'कॉज़ल इंटरवेंशन' नामक अवधारणा पर आधारित हैं) का उपयोग किया है:

1. "बैक-डोर" टूल (दृश्यमान पूर्वाग्रह को ठीक करना)

समस्या: AI नस्ल, लिंग या उम्र जैसी स्पष्ट चीजों से विचलित हो जाता है।
उपमा: कल्पना कीजिए कि आप एक शेफ के खाना पकाने के कौशल का आकलन करने की कोशिश कर रहे हैं। लेकिन हर बार जब आप एक शेफ को लाल टोपी पहने देखते हैं, तो वह संयोग से एक बेहतरीन रसोइया होता है। आप सोचने लगेंगे, "लाल टोपी = अच्छा खाना।"
समाधान: Back-door Adjustment मॉड्यूल एक फिल्टर की तरह काम करता है। यह सभी प्रकार के लोगों (जैसे, "लाल टोपी," "नीली टोपी," "बिना टोपी के") की एक "डिक्शनरी" बनाता है। जब AI किसी नए शेफ को देखता है, तो वह इस डिक्शनरी की जाँच करता है और कहता है, "रुको, मैंने पहले भी लाल टोपियाँ देखी हैं। मुझे टोपी को अनदेखा करना चाहिए और केवल सूप का स्वाद लेना चाहिए।" यह गणितीय रूप से व्यक्ति की दिखावट और व्यक्तित्व के अनुमान के बीच के संबंध को ब्लॉक कर देता है।

2. "फ्रंट-डोर" टूल (अदृश्य पूर्वाग्रह को ठीक करना)

समस्या: कुछ पूर्वाग्रह अदृश्य होते हैं। हो सकता है कि व्यक्ति थका हुआ हो, तनाव में हो, या उसका बुरा दिन चल रहा हो, और AI उस अस्थायी मूड को उसके स्थायी व्यक्तित्व के रूप में समझ लेता है।
उपमा: कल्पना कीजिए कि आप एक छात्र की बुद्धिमत्ता का आकलन कर रहे हैं। लेकिन छात्र वर्तमान में बीमार है और खाँस रहा है। आप सोच सकते हैं, "खाँसना = मूर्खता।" आप "बीमारी" को सीधे नहीं देख सकते, लेकिन यह आपके निर्णय को प्रभावित कर रही है।
समाधान: Front-door Adjustment मॉड्यूल एक अनुवादक (translator) की तरह काम करता है। यह एक "मध्यस्थ" (mediator) की तलाश करता है जो वीडियो के वास्तविक अर्थ को दर्शाता है, बीमारी को अनदेखा करते हुए। यह पूछता है, "यदि हम खांसी और तनाव को हटा दें, तो छात्र का वास्तविक उत्तर क्या कहता है?" यह AI को शब्दों और कार्यों के अर्थ से सीखने के लिए मजबूर करता है, न कि उस छिपे हुए संदर्भ से जो भ्रामक हो सकता है।

नया "निष्पक्षता" टेस्ट सेट

अपने सिस्टम को सिद्ध करने के लिए, लेखक पुराने डेटा का उपयोग नहीं कर सके क्योंकि पुराना डेटा इन रूढ़ियों से भरा हुआ था। इसलिए, उन्होंने एक नया डेटासेट बनाया जिसे DMSP (Demographic-annotated Multimodal Student Personality) कहा जाता है।

यह क्या है: छात्रों के बात करने के वीडियो का एक संग्रह।
यह विशेष क्यों है: उन्होंने प्रत्येक छात्र को उनकी उम्र, लिंग और अन्य विवरणों के साथ सावधानीपूर्वक लेबल किया। उन्होंने डेटा को संतुलित भी किया ताकि AI केवल यह अनुमान लगाकर "चीटिंग" न कर सके कि व्यक्ति कौन है।
लक्ष्य: यह परीक्षण करना कि क्या AI व्यक्ति की पहचान की परवाह किए बिना निष्पक्ष रूप से व्यक्तित्व का अनुमान लगा सकता है।

परिणाम: स्मार्ट और अधिक निष्पक्ष

जब उन्होंने अपने नए "कॉज़ल डिटेक्टिव" (DCAN) का अन्य शीर्ष AI मॉडलों के साथ परीक्षण किया:

यह अधिक सटीक था: इसने व्यक्तित्व को अधिक बार सही पहचाना (लगभग 92-93% सटीकता तक पहुँच गया)।
यह बहुत अधिक निष्पक्ष था: इसने नस्ल, लिंग या उम्र के आधार पर गलतियाँ करना बंद कर दिया।
- उदाहरण: नए डेटासेट पर, पुराने मॉडलों में लगभग 16-20% की "निष्पक्षता त्रुटि" (fairness error) थी। नया DCAN मॉडल इस त्रुटि को घटाकर लगभग 5-6% कर देता है। इसने प्रभावी रूप से "चीट शीट" को अनदेखा करना और वास्तविक व्यवहार पर ध्यान केंद्रित करना सीख लिया।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "वर्तमान AI लोगों के दिखने के तरीके के बारे में रूढ़ियों से बहुत आसानी से धोखा खा जाता है।"

लेखकों ने एक नया सिस्टम बनाया है जो उन रूढ़ियों (चाहे वे लिंग जैसी स्पष्ट हों या मूड जैसी छिपी हुई हों) को रोकने के लिए दो गणितीय "फिल्टरों" का उपयोग करता है। उन्होंने साबित किया कि यह काम करता है, जिसके लिए उन्होंने छात्रों के वीडियो का एक नया, निष्पक्ष टेस्ट सेट बनाया। परिणाम एक ऐसा AI है जो व्यक्तित्व को इस आधार पर समझता है कि लोग क्या करते हैं, न कि केवल इस आधार पर कि वे कौन हैं।

तकनीकी सारांश: द्वैत कारण संबंधी हस्तक्षेप (Dual Causal Intervention) के माध्यम से निष्पक्ष बहुविध व्यक्तित्व समझ

समस्या विवरण
बहुविध व्यक्तित्व समझ (Multimodal personality understanding) का लक्ष्य वीडियो डेटा से आंतरिक लक्षणों (जैसे, बिग फाइव, MBTI) का अनुमान लगाना है जिसमें दृश्य, श्रव्य और भाषाई संकेत शामिल होते हैं। हालांकि डीप लर्निंग दृष्टिकोणों ने विषम मोडालिटीज़ को फ्यूज करके उच्च सटीकता प्राप्त की है, वे अक्सर विषय पूर्वाग्रह (subject bias) से ग्रस्त होते हैं। मॉडल जनसांख्यिकीय विशेषताओं (अवलोकनीय कन्फाउंडर्स जैसे आयु, लिंग, नस्ल) या क्षणिक मनोवैज्ञानिक अवस्थाओं (अअवलोकनीय कन्फाउंडर्स) और व्यक्तित्व लक्षणों के बीच स्प्यूरियस सहसंबंधों (spurious correlations) को सीख लेते हैं। उदाहरण के लिए, एक मॉडल प्रशिक्षण डेटा वितरण के आधार पर "श्वेत महिला" जनसांख्यिकी को उच्च 'एग्रीएबलनेस' (agreeableness) से गलत तरीके से जोड़ सकता है, जिससे उन विषयों के लिए अनुचित और गलत भविष्यवाणियाँ होती हैं जो इस विशिष्ट जनसांख्यिकीय प्रोफाइल में फिट नहीं बैठते हैं। वर्तमान विधियों में अवलोकनीय और अवलोकनीय दोनों प्रकार के कन्फाउंडर्स को एक साथ संबोधित करने के लिए एकीकृत ढांचे का अभाव है, और मौजूदा बेंचमार्क अक्सर व्यापक जनसांख्यिकीय एनोटेशन की कमी रखते हैं या केवल बिग फाइव लक्षणों पर ध्यान केंद्रित करते हैं, जिससे निष्पक्षता विश्लेषण सीमित हो जाता है।

कार्यप्रणाली: द्वैत कारण समायोजन नेटवर्क (DCAN)
लेखक एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) प्रस्तावित करते हैं ताकि बहुविध इनपुट ( $X$ ), व्यक्तित्व लक्षण ( $Y$ ), मोडालिटी मीडिएटर्स ( $M_x$ ), अवलोकनीय कन्फाउंडर्स ( $C^o_x$ ), और अवलोकनीय (unobservable) कन्फाउंडर्स ( $C^u_x$ ) के बीच कारण संबंधों को औपचारिक रूप दिया जा सके। पूर्वाग्रह को कम करने के लिए, वे DCAN पेश करते हैं, जो दो कारण हस्तक्षेप तंत्रों को एकीकृत करने वाला एक एंड-टू-एंड नेटवर्क है:

बैक-डोर एडजस्टमेंट कॉज़ल लर्निंग (BACL):
- लक्ष्य: अवलोकनीय जनसांख्यिकीय कन्फाउंडर्स (जैसे, आयु, लिंग, नस्ल)।
- तंत्र: मोडालिटी-विशिष्ट प्रोटोटाइपिकल कन्फाउंडर डिक्शनरीज़ ( $D_{back}$ $D_{ba c k}$ ) का निर्माण करता है।
  - टेक्स्ट: जनसांख्यिकीय समूहों के बीच महत्वपूर्ण संभाव्यता अंतर वाले शब्दों की पहचान करके एक डिक्शनरी बनाता है।
  - विजुअल/ऑडियो: ग्लोबल प्रोटोटाइप बनाने के लिए जनसांख्यिकीय ट्रिपलेट्स (नस्ल, लिंग, आयु) द्वारा एम्बेडिंग्स को क्लस्टर करता है, जिसे एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से अपडेट किया जाता है।
- हस्तक्षेप: अटेंशन के माध्यम से कन्फाउंडर रिप्रेजेंटेशन्स को प्राप्त करता है और इनपुट फीचर्स पर एक रेसिडुअल कनेक्शन लागू करता है। यह प्रभावी रूप से बैक-डोर पाथ ( $X \leftarrow C^o_x \rightarrow Y$ ) को ब्लॉक करता है, जो कन्फाउंडर डिस्ट्रीब्यूशन पर मार्जिनलाइज करके कॉज़ल इफेक्ट $P(Y|do(X))$ का अनुमान लगाता है।
फ्रंट-डोर एडजस्टमेंट कॉज़ल लर्निंग (FACL):
- लक्ष्य: अवलोकनीय/लेटेंट कन्फाउंडर्स (जैसे, क्षणिक भावनात्मक अवस्थाएं, मनोवैज्ञानिक उतार-चढ़ाव) जिन्हें BACL कैप्चर नहीं कर सकता है।
- तंत्र: एक मीडिएटर ( $M$ ) को पेश करता है ताकि पथ $F_m \rightarrow M \rightarrow Y$ बन सके। यह दो डिक्शनरी बनाता है: एक ग्लोबल फीचर डिक्शनरी ( $D_{global}$ ) जो इनपुट स्पेस का अनुमान लगाती है और एक मीडिएटर डिक्शनरी ( $D_{med}$ ) जो एक नॉलेज प्रायर के रूप में कार्य करती है।
- हस्तक्षेप: BACL आउटपुट के आधार पर इन डिक्शनरीज़ से प्रासंगिक प्रोटोटाइप को प्राप्त करने के लिए एक ड्यूल-अटेंशन मैकेनिज्म का उपयोग करता है। यह फ्रंट-डोर एडजस्टमेंट फॉर्मूला का अनुमान लगाता है, जो मीडिएटर पर हस्तक्षेप करके वास्तविक कॉज़ल प्रभाव को अलग करता है, जिससे उन पूर्वाग्रहों को संभाला जाता जिनका कोई सीधा अवलोकनीय पथ नहीं होता है।
फ्यूजन और प्रेडिक्शन:
- दोनों मॉड्यूल के डीकॉन्फाउंडेड रिप्रेजेंटेशन्स को क्रॉस-मोडल ट्रांसफॉर्मर का उपयोग करके फ्यूज किया जाता है।
- मॉडल को निरंतर लक्षण स्कोर (बिग फाइव और MBTI दोनों के लिए) की भविष्यवाणी करने के लिए मीन स्क्वेर्ड एरर (MSE) और $L_2$ रेगुलराइजेशन को संयोजित करने वाले एक एकीकृत लॉस फंक्शन के साथ प्रशिक्षित किया जाता है।

प्रमुख योगदान

कारण विश्लेषण (Causal Analysis): यह शोध पत्र पहली बार एक कॉज़ल लेंस के माध्यम से बहुविध व्यक्तित्व समझ में विषय पूर्वाग्रह की जांच करता है, जो स्पष्ट रूप से अवलोकनीय और अवलोकनीय दोनों प्रकार के कन्फाउंडर्स को मॉडल करता है।
द्वैत कारण ढांचा (Dual Causal Framework): प्रस्तावित DCAN एकल नेटवर्क में बैक-डोर और फ्रंट-डोर एडजस्टमेंट को अनूठे रूप से जोड़ता है ताकि जनसांख्यिकीय और लेटेंट पूर्वाग्रहों को संयुक्त रूप से कम किया जा सके, जो मानक संभावना-आधारित मैपिंग ( $P(Y|X)$ ) से आगे बढ़कर कॉज़ल इंटरवेंशन ($P(Y|do(X))$) की ओर बढ़ता है।
नया डेटासेट (DMSP): लेखकों ने डेमोग्राफिक-एनोटेटेड मल्टीमॉडल स्टूडेंट पर्सनैलिटी (DMSP) डेटासेट का निर्माण किया है। मौजूदा बेंचमार्क (जैसे, CFI-V2) के विपरीत, जो मुख्य रूप से बिग फाइव लक्षणों पर ध्यान केंद्रित करते हैं और जिनमें विस्तृत जनसांख्यिकीय एनोटेशन की कमी है, DMSP में MBTI लक्षणों और संवेदनशील विशेषताओं (लिंग, आयु) के साथ 839 डायडिक इंटरेक्शन वीडियो शामिल हैं, जो कठोर निष्पक्षता मूल्यांकन को सक्षम बनाता है।
व्यापक मूल्यांकन: यह कार्य व्यापक प्रयोग प्रदान करता है जो भविष्यवाणी सटीकता और निष्पक्षता मेट्रिक्स (डेमोग्राफिक पैरिटी और इक्वल अपॉर्चुनिटी) दोनों में सुधार प्रदर्शित करते हैं।

प्रायोगिक परिणाम
CFI-V2 बेंचमार्क और नए DMSP डेटासेट पर व्यापक प्रयोग किए गए।

सटीकता (Accuracy): DCAN ने स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, CFI-V2 पर 92.11% सटीकता (पिछले सर्वश्रेष्ठ, PMGRT से 0.12% अधिक) और DMSP पर 92.90% सटीकता (MM-ResVGG से 1.21% अधिक) प्राप्त की।
निष्पक्षता (Fairness): मॉडल ने पूर्वाग्रह को काफी कम किया। CFI-V2 पर, डेमोग्राफिक पैरिटी (DP) और इक्वल अपॉर्चुनिटी (EO) में क्रमशः 6.57% और 7.97% का सुधार हुआ। DMSP डेटासेट पर, ये मेट्रिक्स 15.38% और 20.06% सुधरे।
सामान्यीकरण (Generalization): आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परीक्षणों ने दिखाया कि DCAN जनसांख्यिकीय विभाजन (आयु, लिंग, जातीयता) में मजबूत प्रदर्शन बनाए रखता है जहाँ बेसलाइन मॉडल गिर जाते हैं, विशेष रूप से T/F (थिंकिंग/फीलिंग) MBTI आयाम में जेंडर स्टीरियोटाइप्स को संभालने में।
एब्लेशन (Ablation): BACL या FACL में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि होती है कि अवलोकनीय और अवलोकनीय दोनों कन्फाउंडर्स को एक साथ संबोधित किया जाना चाहिए।

महत्व और दावे
यह पेपर दावा करता है कि सहसंबंध-आधारित लर्निंग से कॉज़ल इंटरवेंशन की ओर शिफ्ट होकर, DCAN सफलतापूर्वक आंतरिक व्यक्तित्व संकेतों को स्प्यूरियस जनसांख्यिकीय जुड़ाव से अलग करने में सफल रहा है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण फेयर और रिलायबल ह्यूमन-सेंटर्ड AI सिस्टम विकसित करने के लिए महत्वपूर्ण है, विशेष रूप से मानसिक स्वास्थ्य निगरानी और व्यक्तिगत अनुशंसाओं जैसे अनुप्रयोगों में जहाँ पूर्वाग्रह हानिकारक परिणामों की ओर ले जा सकता है। DMSP डेटासेट का परिचय जनसांख्यिकीय एनोटेशन और MBTI-आधारित निष्पक्षता विश्लेषण के संबंध में मौजूदा बेंचमार्क में अंतराल को भरने के लिए एक आवश्यक कदम के रूप में रेखांकित किया गया है। यह कार्य निष्कर्ष निकालता है कि विविध और अनदेखे विषयों की आबादी में व्यक्तित्व समझ के मॉडलों को सामान्य बनाने के लिए कॉज़ल डीकॉन्फ़ाउंडिंग आवश्यक है।