From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models
यह शोध पत्र **VideoBiasEval** प्रस्तुत करता है, जो एक नैदानिक ढांचा (diagnostic framework) है जो यह प्रकट करता है कि कैसे अलाइनमेंट ट्यूनिंग—वीडियो की गुणवत्ता में सुधार करने के बावजूद—मानव प्राथमिकता डेटासेट से रिवॉर्ड मॉडल्स के माध्यम से वीडियो डिफ्यूजन मॉडल्स में रूढ़ियों को प्रसारित करके अनजाने में सामाजिक पूर्वाग्रहों को बढ़ाती और स्थिर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। शुरू में, रोबोट बस रसोई में लोगों के कुछ रैंडम वीडियो देखता रहता है। यह थोड़ा अस्त-व्यस्त है, और कभी-कभी इसमें कोई व्यक्ति प्याज काटता हुआ दिखता है, तो कभी कोई व्यक्ति नाचता हुआ। यह "बुरा" नहीं है, लेकिन यह बहुत सुसंगत (consistent) भी नहीं है।
रोबोट को बेहतर बनाने के लिए, आप उसे एक "प्रेफरेंस गाइड" (Preference Guide) देते हैं। आप उसे हजारों वीडियो दिखाते हैं और कहते हैं, "लोगों ने इन वीडियो को अधिक पसंद किया क्योंकि ये पेशेवर और साफ-सुथरे दिखते हैं।" इस प्रक्रिया को "अलाइनमेंट ट्यूनिंग" (Alignment Tuning) कहा जाता है।
यह शोध पत्र, "फ्रॉम प्रेफरेंसेज टू प्रेजुडिस" (From Preferences to Prejudice), एक छिपी हुई समस्या की खोज करता है: जब हम रोबोट को यह सिखाते हैं कि इंसान क्या "पसंद" करते हैं उसके आधार पर "बेहतर" कैसे बनना है, तो हम अनजाने में उसे पक्षपाती (biased) होना भी सिखा देते हैं।
इस शोध की खोज को तीन सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:
1. "इको चैंबर" प्रभाव (पक्षपात कैसे फैलता है)
पक्षपात को भीड़ भरे कमरे में एक फुसफुसाहट की तरह समझें।
- फुसफुसाहट (मानवीय डेटा): जब इंसान छवियों (images) को रेट करते हैं, तो वे अक्सर अनजाने में कुछ खास लुक्स को पसंद करते हैं (उदाहरण के लिए, कुछ विशेष जातीयताओं या लिंगों को प्राथमिकता देना)।
- मेगाफोन (रिवॉर्ड मॉडल्स): जब हम उन मानवीय रेटिंग्स पर एक "रिवॉर्ड मॉडल" (रोबोट का मार्गदर्शक) को प्रशिक्षित करते हैं, तो मॉडल केवल उस फुसफुसाहट को दोहराता नहीं है; बल्कि वह उसे एक चिल्लाहट में बदल देता है। वह सीख जाता है कि "उच्च गुणवत्ता = इस विशिष्ट प्रकार का व्यक्ति।"
- प्रसार (वीडियो मॉडल्स): अंत में, जब वीडियो जनरेटर उस "मेगाफोन" को खुश करने की कोशिश करता है, तो वह पूरी तरह से विविधता खो देता है। वह बार-बार उन्हीं "पसंदीदा" प्रकार के लोगों को दिखाने लगता है।
शोध पत्र दिखाता है कि अलाइनमेंट केवल वीडियो की गुणवत्ता को ठीक नहीं करता; यह रूढ़ियों (stereotypes) को "लॉक इन" कर देता है।
2. "पॉलिश की गई रूढ़िवादी छवि" (चिकनापन का खतरा)
यह इस शोध की सबसे चौंकाने वाली खोज है। आमतौर पर, जब AI कोई गलती करता है, तो वह एक 'ग्लिच' (glitch) जैसा दिखता है—जैसे हाथ का अजीब आकार या चेहरा झिलमिलाना। आप देख सकते हैं कि यह एक त्रुटि है।
हालाँकि, शोधकर्ताओं ने पाया कि अलाइनमेंट ट्यूनिंग, रूढ़ियों के लिए एक पेशेवर मेकअप आर्टिस्ट की तरह काम करता है।
अलाइनमेंट से पहले, एक मॉडल पक्षपाती हो सकता है, लेकिन वह "अव्यवस्थित" और असंगत होता है। अलाइनमेंट के बाद, मॉडल बहुत बेहतर, उच्च-गुणवत्ता वाले और सुंदर वीडियो बनाने में सक्षम हो जाता है। लेकिन क्योंकि अब वह उस पक्षपाती मार्गदर्शक का पालन करने में बहुत "अच्छा" है, इसलिए वह पूरी तरह से पॉलिश की गई, हाई-डेफिनिशन रूढ़ियों (stereotypes) को उत्पन्न करता है। यह अब कोई ग्लिच नहीं है; यह एक सुचारू, विश्वसनीय और "पेशेवर दिखने वाला" पूर्वाग्रह है। यह इसे पहचानना बहुत कठिन और खतरनाक बना देता है क्योंकि यह "सही" दिखता है।
3. "वॉल्यूम नॉब" (क्या हम इसे ठीक कर सकते हैं?)
शोधकर्ताओं ने पूछा: "यदि हम पक्षपात को बढ़ा सकते हैं, तो क्या हम इसे कम भी कर सकते हैं?"
उन्होंने पक्षपात को एक "वॉल्यूम नॉब" की तरह माना। उन्होंने एक "पुरुष-पसंद" (Man-Preferred) गाइड और एक "महिला-पसंद" (Woman-Preferred) गाइड बनाया।
- यदि उन्होंने रोबोट को "पुरुष-पसंद" गाइड दिया, तो पुरुष प्रतिनिधित्व का वॉल्यूम बढ़ गया।
- यदि उन्होंने इसे "महिला-पसंद" गाइड दिया, तो वे वास्तव में रोबोट को "काउंटर-स्टीयर" (विपरीत दिशा में मोड़ना) कर सके और अधिक महिलाओं को दिखाने के लिए मजबूर कर सके।
निष्कर्ष: उन्होंने साबित किया कि AI में पक्षपात मशीन का कोई स्थायी टूटा हुआ हिस्सा नहीं है; यह एक सेटिंग है। हम इस "नॉब" का उपयोग जानबूझकर ऐसे AI को डिजाइन करने के लिए कर सकते हैं जो अधिक विविध और निष्पक्ष हो, न कि केवल इंटरनेट के आकस्मिक पूर्वाग्रहों का अनुसरण करे।
एक वाक्य में सारांश:
जब हम AI को वीडियो को बेहतर दिखाने के लिए मानवीय "पसंद" का पालन करना सिखाते हैं, तो हम अनजाने में उसे बिखरी हुई मानवीय रूढ़ियों को सुचारू, हाई-डेफिनिशन रूढ़ियों में बदलने की शिक्षा दे रहे होते हैं—लेकिन हम यह भी सीखते हैं कि हम उन्हीं उपकरणों का उपयोग AI को निष्पक्षता की ओर मोड़ने के लिए कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।