← नवीनतम पेपर
🤖 AI

A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

यह शोध पत्र डायरेक्शनल बायस एम्प्लीफिकेशन इन कैप्शनिंग (DBAC) प्रस्तुत करता है, जो एक नवीन भाषा-जागरूक मीट्रिक है जो मौजूदा पद्धतियों की सीमाओं को पार करते हुए इमेज कैप्शनिंग मॉडलों में, विशेष रूप से लिंग और नस्ल संबंधी गुणों के संबंध में, पक्षपात प्रवर्धन (बायस एम्प्लीफिकेशन) के स्रोतों को सटीक रूप से मापने और पहचानने में सक्षम है।

मूल लेखक: Rahul Nair, Bhanu Tokas, Hannah Kerner

प्रकाशित 2026-05-01
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Rahul Nair, Bhanu Tokas, Hannah Kerner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रोबोट सहायक है जिसका काम तस्वीरों को देखना और उनका वर्णन करना है। आप इस रोबोट को लाखों तस्वीरों और उनके मानव-लिखित विवरणों के माध्यम से सिखाते हैं। समस्या यह है कि इंसान पूर्ण नहीं होते; उनके विवरणों में कभी-कभी छिपे हुए रूढ़िवादी विचार (पूर्वाग्रह) हो सकते हैं। उदाहरण के लिए, हम अक्सर चाकू पकड़े हुए एक महिला का वर्णन "चाकू के साथ एक महिला" के रूप में कर सकते हैं (जो खतरे का संकेत देता है) लेकिन चाकू पकड़े हुए एक पुरुष को "एक आदमी खाना बना रहा है" के रूप में वर्णित कर सकते हैं (जो सुरक्षा का संकेत देता है)।

जब रोबोट इन मानवीय विवरणों से सीखता है, तो वह केवल पूर्वाग्रह की नकल ही नहीं करता, बल्कि वह उसे बढ़ा (amplify) भी देता है। वह "महिला" देखते ही "चाकू" शब्द की भविष्यवाणी करना शुरू कर सकता है, भले ही उसने हाथ में फूल पकड़ा हो, क्योंकि उसने अपने प्रशिक्षण डेटा में सीखा है कि "महिला" और "चाकू" एक खतरनाक जोड़ी है।

यह शोध पत्र एक बेहतर बायस डिटेक्टर (पूर्वाग्रह पहचानकर्ता) बनाने के बारे में है ताकि यह पता लगाया जा सके कि रोबोट ठीक कैसे और क्यों अपनी रूढ़ियों को गलत तरीके से लागू कर रहा है।

पुराने डिटेक्टरों के साथ समस्या

लेखक बताते हैं कि पूर्वाग्रह को मापने वाले पुराने उपकरण खराब अनुवादकों या टूटे हुए तराजूओं की तरह थे:

  1. "अंधे" तराजू: कुछ पुराने उपकरण केवल यह गिनते थे कि शब्द कितनी बार एक साथ आते हैं (जैसे "आदमी" + "गेंद")। वे वाक्य के अर्थ को नहीं समझते थे। वे "उसके पास एक गेंद है" और "उसके पास गेंद नहीं है" के बीच अंतर नहीं कर पाते थे, जबकि दोनों में पूर्वाग्रह पूरी तरह से अलग है।
  2. "एक-तरफा" दर्पण: अन्य उपकरण आपको यह तो बता सकते थे कि पूर्वाग्रह मौजूद है, लेकिन वे यह नहीं बता सकते थे कि वह किस दिशा में है।
    • उपमा: कल्पना कीजिए कि एक कमरे में लोग चिल्ला रहे हैं। एक "एक-तरफा" दर्पण आपको बताता है, "वहाँ बहुत शोर हो रहा है।" लेकिन यह नहीं बताता कि लोग दरवाजे की ओर चिल्ला रहे हैं या दरवाजे से चिल्ला रहे हैं।
    • पेपर के शब्दों में: क्या रोबोट ने एक चाकू देखा और तय किया, "आह, यह निश्चित रूप से एक महिला होगी"? (कार्य \to विशेषता) या क्या उसने एक महिला देखी और तय किया, "आह, वह निश्चित रूप से एक चाकू पकड़े हुए होगी"? (विशेषता \to कार्य)।
    • बिना दिशा जाने, आप समस्या को ठीक नहीं कर सकते। यदि आप गलत दिशा को ठीक करने की कोशिश करते हैं, तो आप पूर्वाग्रह को और भी खराब कर सकते हैं।

नया समाधान: DBAC

लेखक DBAC (डायरेक्शनल बायस एम्प्लीफिकेशन इन कैप्शनिंग) नामक एक नया उपकरण पेश करते हैं। DBAC को एक सुपर-स्मार्ट जासूस के रूप में सोचें जो:

  1. कहानी पढ़ सकता है: यह वाक्य के पूर्ण अर्थ को समझता है (भाषा-जागरूक/Language-Aware)।
  2. तीरों का पीछा कर सकता है: यह सटीक रूप से बता सकता है कि पूर्वाग्रह किस दिशा में बह रहा है (दिशात्मक/Directional)।
  3. शोर को अनदेखा कर सकता है: यह सुसंगत उत्तर देता है चाहे यह टेक्स्ट को पढ़ने के लिए किसी भी "शब्दकोश" (वाक्य एनकोडर) का उपयोग करे।

DBAC कैसे काम करता है (जासूस का टूलकिट)

पूर्वाग्रह को पकड़ने के लिए, DBAC मास्किंग (छिपाने) और प्रतिस्थापन (बदलने) के एक चतुर तरीके का उपयोग करता है:

  • मास्किंग का खेल: कल्पना कीजिए कि रोबोट एक कैप्शन लिखता है: "एक महिला चाकू पकड़े हुए है।"
    • DBAC शब्द "महिला" को छिपा देता है और पूछता है: "क्या आप बाकी के वाक्य को देखकर अभी भी लिंग का अनुमान लगा सकते हैं?" यदि उत्तर है "हाँ, यह निश्चित रूप से एक महिला है," तो इसका मतलब है कि अन्य शब्द (जैसे "चाकू") एक भारी पूर्वाग्रह ले जा रहे हैं।
    • यह इसका उल्टा भी करता है: "चाकू" को छिपाएं और पूछें, "क्या आप केवल यह जानकर वस्तु का अनुमान लगा सकते हैं कि वह एक महिला है?"
  • "संदर्भिक" बदलाव (Contextual Swap): यह एक बड़ा अपग्रेड है।
    • पुराना तरीका (स्थिर प्रतिस्थापन): यदि रोबमान द्वारा उपयोग किया गया शब्द "सैंडल" (saddle) जैसा दुर्लभ शब्द था, और शब्दकोश में वह नहीं था, तो पुराना उपकरण उसे केवल "अज्ञात" (UNKNOWN) से बदल देता था। इससे अर्थ नष्ट हो जाता है।
    • DBAC तरीका (संदर्भिक प्रतिस्थापन): DBAC अधिक स्मार्ट है। यदि यह "सैंडल" देखता है, तो यह शब्दकोश में इसके निकटतम मिलान, जैसे "सीट" या "घोड़े का सामान," को खोजता है और उसे बदल देता है। यह कहानी को बरकरार रखता है ताकि पूर्वाग्रह का माप सटीक रहे।

उन्होंने क्या पाया

लेखकों ने 13 अलग-अलग इमेज-कैप्शनिंग रोबोट्स पर COCO नामक एक विशाल फोटो डेटासेट का उपयोग करके इस नए जासूस का परीक्षण किया। यहाँ मुख्य निष्कर्ष दिए गए हैं:

  • एकमात्र विश्वसनीय जासूस: DBAC एकमात्र उपकरण था जो लगातार और सटीक रूप से पूर्वाग्रह प्रवर्धन (bias amplification) को माप सका। अन्य उपकरणों ने या तो पूर्वाग्रह को पूरी तरह से मिस कर दिया या उनके परिणाम भ्रमित करने वाले और असंगत थे, जो इस बात पर निर्भर करते थे कि वे किस "शब्दकोश" का उपयोग कर रहे थे।
  • दिशा मायने रखती है: उन्होंने पाया कि जबकि कई रोबोट लिंग जानने के बाद कार्यों (tasks) की भविष्यवाणी करने में बेहतर हो गए (जैसे, "यदि वह एक आदमी है, तो वह खेल खेलने की संभावना है"), वे कार्य देखने पर लिंग की भविष्यवाणी करने में बदतर हो गए (जैसे, "यदि वह चाकू पकड़े हुए है, तो वह निश्चित रूप से एक आदमी है")।
  • "सुधार" चीजों को बिगाड़ सकता है: उन्होंने पाया कि "इक्विलाइज़र" (Equalizer) नामक एक तकनीक, जिसे पूर्वाग्रह को ठीक करने के लिए बनाया गया था, वास्तव में एक प्रकार के पूर्वाग्रह को ठीक करते समय दूसरे प्रकार के पूर्वाग्रह को और खराब कर देती है। यह साबित करता है कि सिस्टम को ठीक करने से पहले आपको एक दिशात्मक उपकरण जैसे DBAC की आवश्यकता है ताकि आप पूरी तस्वीर देख सकें।

निचोड़

यदि आप एक ऐसा AI बनाना चाहते हैं जो छवियों का निष्पक्ष वर्णन करे, तो आप केवल अनुमान नहीं लगा सकते कि पूर्वाग्रह कहाँ है। आपको एक ऐसे उपकरण की आवश्यकता है जो कहानी को समझता हो और सटीक रूप से पूर्वाग्रह के स्रोत की ओर इशारा कर सके। DBAC वही उपकरण है। यह आपको न केवल यह बताता है कि रोबोट पक्षपाती है, बल्कि यह भी बताता है कि वह कैसे पक्षपाती है, ताकि आप शेष प्रणाली को तोड़े बिना विशिष्ट समस्या को ठीक कर सकें।