Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models
यह शोधपत्र RandomBench प्रस्तुत करता है, जो एक बेंचमार्क और मेट्रिक्स का एक सेट है जो तर्क-तटस्थ (logic-neutral) परिदृश्यों में वितरण रूप से तटस्थ व्यवहार बनाए रखने की मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जो "स्टोकेस्टिक कोलैप्स" (Stochastic Collapse) नामक एक व्यापक घटना को उजागर करता है जहाँ मॉडल गहरा अंतर्निहित पूर्वाग्रह प्रदर्शित करते हैं और स्पष्ट रूप से निर्देश दिए जाने पर भी समान यादृच्छिकता (uniform randomness) उत्पन्न करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: "पक्षपाती सिक्के" की समस्या
कल्पना कीजिए कि आप एक दोस्त से सिक्का उछालने और आपको बताने के लिए कहते हैं कि वह Heads (चित) आया या Tails (पट)। यदि वे वास्तव में रैंडम (यादृच्छिक) हैं, तो उन्हें 50% बार Heads और 50% बार Tails चुनना चाहिए।
अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट AI (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल या MLLM) को बिल्कुल यही करने के लिए कहते हैं: "सिक्का उछालो। मुझे Heads या Tails बताओ।" आप उम्मीद करते हैं कि AI पूरी तरह से निष्पक्ष होगा।
शोध की चौंकाने वाली खोज: AI का "सिक्का" निष्पक्ष नहीं है। यह भारी रूप से एक तरफ झुका हुआ है। भले ही AI को रैंडम होने के लिए कहा जाए, उसके पास गुप्त रूप से एक पसंदीदा पक्ष होता है। वह "Heads" को 97% बार चुन सकता है और "Tails" को केवल 3% बार, भले ही वह जानता हो कि उसे रैंडम होना चाहिए।
लेखक इसे "Stochastic Collapse" (स्टोकेस्टिक कोलैप्स) कहते हैं। यह ऐसा है जैसे AI का मस्तिष्क एक ही ढर्रे में फंस गया हो, जो वास्तव में रैंडम होने या स्वतंत्र चुनाव करने में असमर्थ है।
टूल: "RandomBench" (टेस्ट किचन)
इसे साबित करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे RandomBench कहा जाता है। इसे एक "तर्क-मुक्त क्षेत्र" या "तटस्थ खेल का मैदान" समझें।
- लक्ष्य: ऐसी स्थितियाँ बनाना जहाँ कोई सही उत्तर न हो।
- सेटअप: उन्होंने 200 अलग-अलग परिदृश्य बनाए। कुछ केवल टेक्स्ट थे (जैसे, "एक अक्षर चुनें: A, B, C, या D"), और कुछ चित्रों से संबंधित थे (जैसे, "इन चार एक जैसी दिखने वाली आकृतियों में से एक चुनें")।
- नियम: प्रत्येक विकल्प बिल्कुल समान था। A को B से बेहतर चुनने का कोई कारण नहीं था। यदि AI वास्तव में रैंडम होता, तो वह प्रत्येक विकल्प को 25% बार चुनता।
उन्होंने 7 शीर्ष स्तर के AI मॉडल्स को हर एक परिदृश्य के लिए 50 बार यह खेल खेलने के लिए कहा। यह कुल 10,000 "सिक्का उछालने" के प्रयास थे।
उन्होंने क्या पाया: AI की "गुप्त आदतें"
परिणामों ने दिखाया कि AI मॉडल इस परीक्षण में बुरी तरह विफल रहे। एक निष्पक्ष सिक्के होने के बजाय, वे एक टूटे हुए स्लॉट मशीन की तरह व्यवहार कर रहे थे जो हमेशा एक ही प्रतीक पर आकर रुक जाता है।
यहाँ उनके द्वारा पाई गई मुख्य "बुरी आदतें" दी गई हैं, जिन्हें उपमाओं के माध्यम से समझाया गया है:
1. "विजुअल हायजैक" (तेज़ संकेत) (The Loud Sign)
जब AI को तस्वीरें दिखाई गईं, तो इसकी "रैंडमनेस" और भी तेज़ी से टूट गई।
- उपमा: कल्पना कीजिए कि आपसे रैंडम तरीके से एक दरवाज़ा चुनने के लिए कहा जाता है। लेकिन एक दरवाज़े पर एक छोटा सा, लगभग अदृश्य धब्बा है, जबकि अन्य साफ हैं। भले ही आपको उस धब्बे को अनदेखा करने के लिए कहा जाए, लेकिन आपका मस्तिष्क उसकी ओर खिंचा चला जाता है।
- निष्कर्ष: AI सूक्ष्म दृश्यों (visual details) को अनदेखा नहीं कर सका। यदि एक विकल्प थोड़ा अधिक चमकीला था, किसी विशिष्ट कोने में था, या उसमें थोड़ा धुंधलापन था, तो AI लगभग हर बार उसी को चुन लेता था। विजुअल संकेत ने रैंडम होने के निर्देश को "हायजैक" कर लिया।
2. "पोजीशनल बायस" (बीच की सीट) (The Middle Seat)
- उपमा: कल्पना कीजिए कि चार खाली कुर्सियों की एक पंक्ति है। आपको उनमें से किसी एक में रैंडम बैठने के लिए कहा जाता है। इंसान शायद बीच वाली कुर्सी चुनेंगे क्योंकि वह "सुरक्षित" या "केंद्रीय" महसूस होती है।
- निष्कर्ष: AI का विशिष्ट स्थानों के प्रति गहरा झुकाव था। उसे केंद्र (center), ऊपर (top), या दाहिनी ओर (right side) पसंद था। भले ही विकल्प केवल चार खाली वर्ग हों, AI दाईं ओर के ऊपरी हिस्से को 90% बार चुनता था।
3. "लैंग्वेज स्विच" (लहजे का प्रभाव) (The Accent Effect)
- उपमा: कल्पना कीजिए कि आप एक व्यक्ति से अंग्रेजी में एक रैंडम नंबर चुनने के लिए कहते हैं, और वह "7" चुनता है। फिर आप उसी व्यक्ति से फ्रेंच में रैंडम नंबर चुनने के लिए कहते हैं, और वह अचानक "3" चुनने लगता है।
- निष्कर्ष: AI का "पसंदीदा" विकल्प इस बात पर निर्भर करता था कि किस भाषा का उपयोग किया गया है। वही विजुअल इमेज पूरी तरह से अलग "रैंडम" चुनाव ले आती थी यदि निर्देश चीनी बनाम अंग्रेजी में दिए गए हों। यह साबित करता है कि पूर्वाग्रह (bias) उस भाषा से गहराई से जुड़ा है जिस पर AI को प्रशिक्षित किया गया था।
4. "जितना स्मार्ट, उतना बुरा" विरोधाभास (The Stronger is Worse Paradox)
- उपमा: आप सोच सकते हैं कि एक स्मार्ट, अधिक आज्ञाकारी रोबोट "रैंडम होने" के नियम का पालन करने में बेहतर होगा।
- निष्कर्ष: आश्चर्यजनक रूप से, जो मॉडल अधिक स्मार्ट और अधिक "अलाइनड" (निर्देशों का पालन करने वाले) थे, वे रैंडम होने में वास्तव में बुरे थे। वे अपने चुनाव को सही ठहराने के लिए एक पैटर्न खोजने में इतने अच्छे थे कि वे एक ही विकल्प पर टिक गए और उसके साथ चिपके रहे, और अक्सर एक तार्किक दिखने वाला बहाना भी बना दिया कि उन्होंने उसे क्यों चुना, जबकि वहां कोई तर्क मौजूद ही नहीं था।
ऐसा क्यों होता है? ("सिस्टम 1" ग्लिच)
यह पेपर मनोविज्ञान की एक अवधारणा "डुअल प्रोसेस थ्योरी" (Dual Process Theory) का उपयोग करता है:
- सिस्टम 2: धीमी, तार्किक सोच (जैसे गणित की समस्या हल करना)।
- सिस्टम 1: तेज़, सहज, अंतर्ज्ञान वाली सोच (जैसे एक रिफ्लेक्स या स्वाभाविक प्रतिक्रिया)।
अधिकांश AI बेंचमार्क सिस्टम 2 का परीक्षण करते हैं (क्या आप इस पहेली को हल कर सकते हैं?)। लेकिन इस पेपर ने सिस्टम 1 का परीक्षण किया (जब कोई पहेली ही न हो, तो आपकी सहज प्रवृत्ति क्या होती है?)।
शोधकर्ताओं ने पाया कि जब AI को "लॉजिक वैक्यूम" (जहाँ कोई भी विकल्प दूसरे से बेहतर नहीं है) में डाला जाता है, तो उसका सिस्टम 1 हावी हो जाता है। सिक्का उछालने के बजाय, वह अपने ट्रेनिंग डेटा पर वापस चला जाता है। वह उस विकल्प को चुनता है जो उसके ट्रेनिंग बुक्स में सबसे अधिक बार आया था या जो उसके आंतरिक कोड में "परिचित" लगता था। वह चुनाव नहीं कर रहा है; वह बस प्रतिरोध के सबसे आसान रास्ते का अनुसरण कर रहा है।
निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि वर्तमान AI मॉडल वास्तव में रैंडम नहीं हैं। भले ही हम उन्हें ऐसा होने के लिए कहें, उनके पास निम्नलिखित आधारों पर गहरे, अदृश्य पूर्वाग्रह होते हैं:
- स्क्रीन पर कोई वस्तु कहाँ स्थित है।
- वस्तु कैसी दिखती है (मामूली विवरण भी)।
- प्रश्न पूछने के लिए उपयोग की जाने वाली भाषा।
- उपयोग किए गए विशिष्ट प्रतीक (जैसे ग्रीक अक्षर या आकृतियाँ)।
यह एक समस्या है क्योंकि यदि किसी AI को निष्पक्ष निर्णय लेने के लिए कहा जाता है (जैसे कोई उत्पाद सुझाना या कोई रास्ता चुनना) और उसके पास गुप्त रूप से एक "पसंदीदा" विकल्प है, तो वह ऐसा दिखा सकता है जैसे वह एक चुनाव कर रहा है, लेकिन वास्तव में वह केवल एक छिपे हुए स्क्रिप्ट का पालन कर रहा है। AI द्वारा उछाला गया "सिक्का" मौलिक रूप से त्रुटिपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।