Position: Fairness Failure in Generative Models is an Evaluation Problem
यह स्थिति पत्र (position paper) तर्क देता है कि जनरेटिव मॉडलों में निष्पक्षता की विफलताएं मुख्य रूप से एक मूल्यांकन संबंधी समस्या है जो गैर-तुलनीय और गैर-कार्रवाई योग्य निष्कर्षों के कारण उत्पन्न होती है, और पूर्वाग्रह मूल्यांकन में पुनरुत्पादकता, तुलनीयता और जवाबदेही को सक्षम करने के लिए एक मानकीकृत रिपोर्टिंग आर्टिफैक्ट के रूप में "फेयरनेस कार्ड्स" (Fairness Cards) का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले एक दशक में, कंप्यूटरों ने कला बनाना, कहानियाँ लिखना और ऐसी सहजता के साथ बातचीत करना सीख लिया है जो कभी असंभव लगती थी। ये जनरेटिव सिस्टम, जो सरल निर्देशों से चित्र, पाठ और वीडियो बना सकते हैं, अब दैनिक जीवन के ताने-बाने में बुने जा चुके हैं। फिर भी, जैसे-जैसे ये उपकरण अधिक शक्तिशाली होते जा रहे हैं, एक निरंतर साया उनके पीछे चलता रहता है: सामाजिक असमानताओं को दोहराने और उन्हें बढ़ाने की प्रवृत्ति। जब कोई कंप्यूटर एक डॉक्टर की छवि बनाता है, तो वह अक्सर एक पुरुष की ओर झुक जाता है; जब वह एक नेता के बारे में कहानी लिखता है, तो वह अक्सर एक विशिष्ट लिंग या नस्ल को चुनता है। यह केवल कोड में कोई त्रुटि नहीं है, बल्कि उस डेटा का प्रतिबिंब है जिससे मशीनों ने सीखा है, जो मानव इतिहास के पूर्वाग्रहों के सामने रखे गए एक दर्पण की तरह है। वर्षों से, शोधकर्ताओं और नियामकों ने इसे ठीक करने का प्रयास किया है, इन अनुचित पैटर्नों का पता लगाने और उन्हें कम करने के तरीके विकसित किए हैं। लक्ष्य हमेशा यह सुनिश्चित करना रहा है कि ये शक्तिशाली उपकरण सभी लोगों के साथ समान गरिमा और सटीकता के साथ व्यवहार करें।
हालाँकि, एक नया दृष्टिकोण सुझाव देता है कि समस्या बेहतर सुधारों की कमी नहीं है, बल्कि इस बात का तरीका है कि हम यह कैसे मापते हैं कि सुधार काम कर रहे हैं या नहीं। शोधकर्ताओं की एक टीम का तर्क है कि यह क्षेत्र भ्रम के चक्र में फंसा हुआ है क्योंकि निष्पक्षता को परखने के लिए उपयोग किए जाने वाले परीक्षण बहुत अधिक लचीले हैं। ठीक वैसे ही जैसे रबर से बना एक पैमाना (रूलर) इसे खींचने के आधार पर अलग-अलग माप देगा, एआई (AI) निष्पक्षता के परीक्षण के वर्तमान तरीके शोधकर्ताओं द्वारा किए गए सूक्ष्म, अक्सर अनरिपोर्ट किए गए चुनावों के आधार पर अपने परिणाम बदल देते हैं। एक अध्ययन किसी विशेष तरीके से प्रश्न पूछकर यह निष्कर्ष निकाल सकता है कि एआई निष्पक्ष है, जबकि दूसरा अध्ययन उसी एआई का उपयोग करके थोड़ा अलग शब्दावली का उपयोग करके यह निष्कर्ष निकाल सकता है कि वह गहराई से पक्षपाती है। दोनों अध्ययन अपने स्वयं के संकीर्ण नियमों के भीतर तकनीकी रूप से सही हो सकते हैं, फिर भी वे जनता और नीति निर्माताओं को विपरीत कहानियाँ बताते हैं। यह विसंगति यह जानना असंभव बना देती है कि क्या तकनीक वास्तव में सुधर रही है या हम केवल एक ही समस्या के विभिन्न कोण देख रहे हैं।
इस नए कार्य के पीछे के शोधकर्ता, मारिया व्लादिमिरोवा और उनके सहयोगियों ने इस बात का निदान करने का प्रयास किया कि जनरेटिव मॉडल में निष्पक्षता इतनी कठिन समस्या क्यों बनी हुई है। उन्होंने केवल एआई को अधिक विनम्र बनाने के लिए एक नया एल्गोरिदम प्रस्तावित नहीं किया; इसके बजाय, उन्होंने मूल्यांकन की प्रक्रिया की स्वयं जांच की। प्रयोगों की एक श्रृंखला के माध्यम से, उन्होंने प्रदर्शित किया कि एआई के निष्पक्ष या निष्पक्ष न होने पर निर्णय अक्सर उस "प्रोटोकॉल" पर निर्भर करता है जिसका उपयोग उसे परखने के लिए किया जाता है। एक प्रभावशाली प्रदर्शन में, उन्होंने एक ही, अपरिवर्तित एआई मॉडल को विभिन्न परिदृश्यों के ग्रिड के विरुद्ध परखा। उन्होंने प्रश्नों को पूछने के तरीके, अपेक्षित उत्तरों की शैली और टेक्स्ट उत्पन्न करने के लिए उपयोग किए गए सेटिंग्स में बदलाव किया। उन्होंने पाया कि एक ही मॉडल को एक सेट स्थितियों के तहत गंभीर निष्पक्षता समस्या वाला माना जा सकता था और दूसरी स्थिति के तहत पूरी तरह संतुलित माना जा सकता था।
उदाहरण के लिए, जब शोधकर्ताओं ने मॉडल से एक विशिष्ट नौकरी में व्यक्ति के बारे में कहानी लिखने को कहा, तो परिणाम रूढ़ियों की ओर अत्यधिक झुके हुए थे। लेकिन जब उन्होंने उसी मॉडल से उसी व्यक्ति के बारे में एक पेशेवर मेमो लिखने को कहा, तो पूर्वाग्रह गायब हो गया। एक अन्य परीक्षण में, उन्होंने कंप्यूटर द्वारा शब्दों के चयन के तरीके को बदला, जिसे 'डिकोडिंग रिजीम' (decoding regime) कहा जाता है। इस सेटिंग में एक मामूली बदलाव, जो अक्सर अन्य अध्ययनों में संयोग या डिफॉल्ट सेटिंग्स पर छोड़ दिया जाता है, निष्कर्ष को "पक्षपाती" से "पक्षपात रहित" में बदलने के लिए पर्याप्त था। शोधकर्ताओं ने पाया कि ये बदलाव यादृच्छिक शोर (random noise) नहीं थे, बल्कि व्यवस्थित बदलाव थे जो मूल्यांकनकर्ता द्वारा किए गए विकल्पों के आधार पर नुकसान को छिपा या प्रकट कर सकते थे। इसका अर्थ यह है कि एक कंपनी एक मॉडल जारी कर सकती है जिसमें दावा किया गया हो कि यह निष्पक्ष है, केवल इसलिए क्योंकि उन्होंने एक विशिष्ट परीक्षण पद्धति चुनी जिसने अच्छे परिणाम दिखाए, जबकि एक अलग पद्धति वास्तविक समस्याओं को उजागर कर सकती थी।
यह पत्र तर्क देता है कि यह मानकीकरण की कमी ही असली बाधा है। यह नहीं है कि हमें निष्पक्ष मॉडल बनाना नहीं आता, बल्कि यह है कि हम विश्वसनीय रूप से यह नहीं बता सकते कि हमने सफलता प्राप्त की है या नहीं। वर्तमान परिदृश्य "एड-हॉक" (ad-hoc) जाँचों से भरा है, जहाँ शोधकर्ता परीक्षण के लिए कुछ उदाहरण चुनते हैं और परिणामों की रिपोर्ट करते हैं। यह दृष्टिकोण "चेरी-पिकिंग" (cherry-picking) की अनुमति देता है, जहाँ एक प्रणाली अच्छी दिखती है क्योंकि परीक्षण ऐसा दिखाने के लिए डिज़ाइन किया गया था, या जहाँ एक वास्तविक सुधार छूट जाता है क्योंकि परीक्षण बहुत संकीर्ण था। इसके अलावा, शोधकर्ताओं ने रेखांकित किया कि आधुनिक एआई सिस्टम अक्सर सुरक्षात्मक परतें (safety layers) शामिल करते हैं जो कुछ प्रश्नों का उत्तर देने से मना कर देती हैं। यदि कोई मॉडल लोगों के एक समूह के लिए प्रश्न का उत्तर देने से मना करता है लेकिन दूसरे समूह के लिए उत्तर देता है, तो यह एक प्रकार का अन्याय है जिसे 'एक्सेस डिस्पैरिटी' (access disparity) कहा जाता है। फिर भी, कई वर्तमान परीक्षण इन इनकार को अनदेखा करते हैं या उन्हें त्रुटियों के रूप में मानते हैं जिन्हें हटा दिया जाना चाहिए, जिससे प्रभावी रूप से यह तथ्य छिप जाता है कि कुछ लोगों को चुप कराया जा रहा है जबकि दूसरों को सुना जा रहा है।
इसे हल करने के लिए, टीम एक नया मानक प्रस्तावित करती है जिसे "फेयरनेस कार्ड" (Fairness Card) कहा जाता है। कल्पना कीजिए कि खाद्य पैकेज पर एक पोषण लेबल होता है, लेकिन एआई सिस्टम के लिए। जिस तरह एक पोषण लेबल बताता है कि भोजन में क्या है, इसमें कितनी चीनी है और इसे कैसे संसाधित किया गया है, उसी तरह एक फेयरनेस कार्ड यह सूचीबद्ध करेगा कि एआई का परीक्षण कैसे किया गया था। यह स्पष्ट करेगा कि कौन से प्रश्न पूछे गए थे, टेस्ट कितनी बार चलाया गया था, उत्तर उत्पन्न करने के लिए किन सेटिंग्स का उपयोग किया गया था, और शोधकर्ताओं ने इनकार या सुरक्षा अवरोधों को कैसे संभाला। यह दस्तावेज़ यह निर्धारित नहीं करेगा कि "निष्पक्ष" क्या है, बल्कि यह एआई निष्पक्षता को मापने की प्रक्रिया को पारदर्शी और पुनरुत्पादनीय (reproducible) बनाएगा। यदि दो अलग-अलग शोधकर्ता अपने परिणामों की तुलना करना चाहते हैं, तो वे बिल्कुल जान पाएंगे कि परीक्षण को कैसे दोहराया जाए, जिससे यह सुनिश्चित होगा कि वे सेब की तुलना सेब से कर रहे हैं, न कि सेब की तुलना संतरे से।
शोधकर्ताओं ने अपने स्वयं के प्रयोग के लिए एक विस्तृत फेयरनेस कार्ड बनाकर इस विचार का परीक्षण किया। उन्होंने हर वेरिएबल का दस्तावेजीकरण किया, प्रॉम्प्ट्स में उपयोग किए गए विशिष्ट शब्दों से लेकर उन रैंडम सीड्स (random seeds) तक जिन्होंने कंप्यूटर के विकल्पों को प्रभावित किया। जब उन्होंने इन विवरणों को प्रकाशित किया, तो उन्होंने दिखाया कि एक ही मॉडल विभिन्न वेरिएबल्स के आधार पर निष्पक्षता के व्यापक स्पेक्ट्रम को प्रदर्शित कर सकता है। एक प्रॉम्प्ट स्टाइल के तहत, मॉडल ने रूढ़िवादी भाषा की उच्च दर दिखाई; दूसरे के तहत, उसने लगभग कोई नहीं दिखाई। इन सभी आंकड़ों को एक एकल, मानकीकृत प्रारूप में प्रस्तुत करके, उन्होंने सिद्ध किया कि मॉडल की निष्पक्षता के बारे में "सत्य" एक एकल संख्या नहीं है, बल्कि एक जटिल चित्र है जो केवल तभी स्पष्ट होता है जब सभी वेरिएबल्स दृश्यमान हों।
यह दृष्टिकोण निष्पक्षता की एक आदर्श, 'वन-साइज़-फिट्स-ऑल' परिभाषा खोजने के बजाय, एक ऐसी प्रणाली बनाने पर केंद्रित है जहाँ मूल्यांकन स्वयं ईमानदार और पूर्ण हो। लेखक स्वीकार करते हैं कि यह हर समस्या को हल नहीं करेगा। वे नोट करते हैं कि कुछ कंपनियाँ अभी भी अपना डेटा छिपा सकती हैं, और विभिन्न संस्कृतियों के निष्पक्षता के बारे में अलग-अलग विचार हो सकते हैं। हालाँकि, उनका तर्क है कि बिना एक साझा, विस्तृत रिकॉर्ड के कि सिस्टम का परीक्षण कैसे किया गया था, कोई प्रगति नहीं की जा सकती। यह असंभव है कि आप उसे सुधार सकें जिसे आप लगातार माप नहीं सकते, और यह तुलना करना असंभव है यदि खेल के नियम बदलते रहते हैं।
पत्र शोधकर्ताओं, डेवलपर्स और नियामकों के लिए कार्रवाई के आह्वान के साथ समाप्त होता है। वे आग्रह करते हैं कि जब भी कोई नया एआई सिस्टम जारी किया जाए या उसकी निष्पक्षता के बारे में दावा किया जाए, तो एक फेयरनेस कार्ड प्रदान किया जाना चाहिए। इस दस्तावेज़ को रिलीज का एक अनिवार्य हिस्सा माना जाना चाहिए, ठीक वैसे ही जैसे कि एक सुरक्षा मैनुअल या उपयोगकर्ता मार्गदर्शिका। इसमें परीक्षण किए गए लोगों के विशिष्ट समूहों, प्रश्न पूछने के लिए उपयोग की गई सटीक विधियों और परिणामों की पूरी श्रृंखला का विवरण होना चाहिए, जिसमें सबसे खराब स्थितियाँ भी शामिल हों। इन विकल्पों को स्पष्ट करके, यह क्षेत्र अस्पष्ट वादों से दूर हटकर एक ऐसे भविष्य की ओर बढ़ सकता है जहाँ निष्पक्षता एक मापने योग्य, ट्रैक करने योग्य और जवाबदेह हिस्सा हो। लक्ष्य सभी पूर्वाग्रहों को समाप्त करना नहीं है, जो कि असंभव हो सकता है, बल्कि यह सुनिश्चित करना है कि जब हम यह तय करें कि किसी सिस्टम का उपयोग करना सुरक्षित है या नहीं, तो हम सभी एक ही साक्ष्य को देख रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।