Human-AI Perceptual Alignment by Playing Hues and Cues
यह शोध पत्र रंग में मानव-एआई संवेदी संरेखण (perceptual alignment) का आकलन करने के लिए बोर्ड गेम 'ह्यूज एंड क्यूज़' (Hues and Cues) का उपयोग करते हुए एक नवीन मूल्यांकन ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि कंट्रास्टिव विजन-लैंग्वेज मॉडल मूर्त वस्तुओं के लिए मानवीय पूर्वाग्रहों की नकल करते हैं, वे सिमेंटिक गलत वर्गीकरण और अनिश्चितता पतन (uncertainty collapse) के कारण अमूर्त डोमेन में व्यवस्थित रूप से विफल हो जाते हैं, एक ऐसी समस्या जिसे विशाल असूचित कॉर्पोरा (uncurated corpora) की तुलना में क्यूरेटेड प्री-ट्रेनिंग डेटासेट द्वारा अधिक प्रभावी ढंग से कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को देखना सिखाने की कोशिश कर रहे हैं, केवल आकृतियों को पहचानने के लिए नहीं, बल्कि चीजों के 'अहसास' को समझने के लिए। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विशेष प्रकार का मस्तिष्क होता है जिसे "विज़न-लैंग्वेज मॉडल" (Vision-Language Model) कहा जाता है। इन मॉडलों को ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने इंटरनेट से अरबों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं। वे यह कहने में बहुत अच्छे हैं कि "यह एक कुत्ता है," या "यह एक कार है।" लेकिन क्या वे कुत्ते के 'रंग' को समझ सकते हैं? क्या वे जान सकते हैं कि केला आमतौर पर पीला होता है, इसलिए नहीं कि वह हर एक फोटो में भौतिक रूप से पीला है, बल्कि इसलिए क्योंकि हमारे दिमाग में एक "याद" है कि केले पीले होते हैं? यह पेचीदा हिस्सा है: मानव रंग केवल हमारी आँखों पर पड़ने वाली रोशनी के बारे में नहीं है; यह हमारी संस्कृति, हमारी यादों और हमारी साझा कहानियों के बारे में है। वैज्ञानिक जानना चाहते हैं कि क्या ये AI छात्र मनुष्यों की तरह देखना सीख रहे हैं, या वे केवल उन अजीब पैटर्न के आधार पर अनुमान लगा रहे हैं जो उन्हें उनके विशाल डेटा के ढेर में मिले हैं।
यह पता लगाने के लिए, शोधकर्ताओं की एक टीम ने एक खेल खेलने का फैसला किया। उन्होंने उबाऊ चार्ट या जटिल गणितीय परीक्षणों का उपयोग नहीं किया। इसके बजाय, उन्होंने "ह्यूज एंड क्यूज़" (Hues and Cues) नामक एक बोर्ड गेम का उपयोग किया। एक विशाल बोर्ड की कल्पना करें जिसमें 480 छोटे वर्ग हैं, जिनमें से प्रत्येक एक थोड़ा अलग रंग का है, जो एक इंद्रधनुषी मानचित्र की तरह व्यवस्थित है। यह खेल इस प्रकार काम करता है: कोई एक शब्द बोलता है (जैसे "केला" या "आशा") और आपको बोर्ड पर उस वर्ग की ओर इशारा करना होता है जो उस शब्द से सबसे अच्छी तरह मेल खाता हो। यह सुनने में सरल लगता है, लेकिन यह प्रकट करता है कि हमारे मस्तिष्क शब्दों को रंगों से कैसे जोड़ते हैं। शोधकर्ताओं ने इस खेल का उपयोग 162 अलग-अलग AI मॉडलों का परीक्षण करने के लिए किया, और उन्हें 325 वास्तविक मनुष्यों के साथ खेलने के लिए कहा। वे यह देखना चाहते थे कि क्या AI के "अनुमान" लोगों की "याद" से मेल खाते हैं, या AI अपने ही विचारों में खो गया है।
यहाँ बताया गया है कि जब रोबोट्स खेलने बैठे तो क्या हुआ।
सेटअप: एक डिजिटल बोर्ड गेम
शोधकर्ताओं ने "ह्यूज एंड क्यूज़" बोर्ड का एक डिजिटल संस्करण बनाया। इस बोर्ड में 480 विशिष्ट रंग के वर्ग थे, जिन्हें वैज्ञानिक रूप से मापा जा सकता था। उन्होंने एक विशाल समूह 325 लोगों को इकट्ठा किया जिन्होंने अपने फोन और कंप्यूटर पर खेल खेला। प्रत्येक व्यक्ति को 100 अलग-अलग शब्दों को बोर्ड के सर्वोत्तम रंग से मिलाने के लिए कहा गया। कुछ शब्द आसान और भौतिक थे, जैसे "केला" या "रक्त" (Blood)। कुछ कठिन और अमूर्त थे, जैसे "आशा" (Hope), "नारीवाद" (Feminism), या "पॉप कल्चर" (Pop Culture)।
यह सुनिश्चित करने के लिए कि AI प्रोटोकॉल से विचलित न हो, शोधकर्ताओं ने मॉडलों को बिल्कुल वही डिजिटल बोर्ड दिया। AI का काम एक शब्द को देखना और शीर्ष 5 रंग वर्गों को चुनना था जो उसे सबसे उपयुक्त लगे। शोधकर्ताओं ने AI के विकल्पों की तुलना "मानव सहमति" (Human Consensus) से की, जो वास्तविक लोगों द्वारा दिए गए औसत उत्तर को दर्शाता है। उन्होंने एक "मानव त्रुटि दर" (Human Error Rate) भी निकाली, जो मूल रूप से यह बताती है कि मनुष्य एक-दूसरे से कितना असहमत होते हैं। इसने उन्हें एक आदर्श आधार दिया: यदि कोई AI मानव के समान अच्छा है, तो उसे लगभग उतनी ही "गलतियाँ" करनी चाहिए जितनी एक इंसान करता है।
बड़ी खोज: "ब्लू" क्रैश (The "Blue" Crash)
परिणाम प्रभावशाली जीत और एक बहुत ही अजीब, व्यवस्थित विफलता का मिश्रण थे।
सबसे पहले, अच्छी खबर: जब शब्द वास्तविक, भौतिक वस्तुओं के बारे में थे, तो AI आश्चर्यजनक रूप से अच्छा था। "केला", "कद्दू" या "सुअर" जैसी ठोस चीजों के लिए, AI अक्सर उन्हीं रंगों को चुनता था जो मनुष्य चुनते थे। वे समझते थे कि केले पीले होते हैं और सुअर गुलाबी होते हैं। वास्तव में, कुछ भौतिक वस्तुओं के लिए, AI इतना सटीक था कि उसने उस "आदर्शित" स्मृति रंग को भी पकड़ लिया जो मनुष्यों के पास होती है, न कि केवल किसी विशिष्ट फोटो के वास्तविक रंग को। यह सुझाव देता है कि जब कोई स्पष्ट, भौतिक वास्तविकता होती है, तो AI मानव "वाइब" (vibe) को सीख सकता है।
हालाँकि, जब खेल अमूर्त या सांस्कृतिक अवधारणाओं की ओर बढ़ा, तो AI एक दीवार से टकरा गया। "आशा", "क्रोध", "नारीवाद" या यहाँ तक कि "ट्रैक्टर" (जिसका स्पेन में एक विशिष्ट सांस्कृतिक अर्थ है) जैसे शब्दों के लिए, AI ने तर्कहीन व्यवहार किया। भावनाओं या संस्कृति से मेल खाने वाले रंग चुनने के बजाय, मॉडल एक अजीब चीज़ करने लगे: वे सभी एक ही डिफ़ॉल्ट रंग में सिमट गए।
शोधकर्ताओं ने पाया कि जब AI को उत्तर नहीं पता होता था, तो वह रैंडम अनुमान नहीं लगाता था। इसके बजाय, वह लगभग हमेशा एक विशिष्ट शेड के नीले (एक समन्वय जिसे वे बोर्ड पर "I18" कहते हैं) रंग को चुनता था। ऐसा लग रहा था जैसे AI का मस्तिष्क शॉर्ट-सर्किट हो गया और उसने कहा, "मुझे नहीं पता इसका क्या मतलब है, इसलिए मैं नीला चुन लेता हूँ।" यह बार-बार हुआ, चाहे शब्द "विंटर" (Winter), "स्टिच" (फिल्म से) या "एक्सोलोटल" (Axolotl) ही क्यों न हो।
ऐसा क्यों हुआ?
टीम ने यह पता लगाने के लिए गहराई से जांच की कि AI नीले रंग के प्रति इतना जुनूनी क्यों था। उन्होंने मॉडलों का परीक्षण "निरर्थक" शब्दों के साथ किया—ऐसी चीजें जिनका कोई अर्थ नहीं है, जैसे कि रैंडम अक्षर या "the" और "and" जैसे स्टॉप वर्ड्स। उन्होंने पाया कि लगभग 42% मॉडलों में एक अंतर्निहित पूर्वाग्रह (bias) था। जब उन्होंने निरर्थक शब्द देखे, तो वे रैंडम अनुमान नहीं लगाते थे; वे विशिष्ट रंगों, अक्सर उसी नीले या कभी-कभी पीले रंग पर लौट आते थे।
इससे एक महत्वपूर्ण दोष का पता चला: AI वास्तव में "आशा" शब्द को "समझ" नहीं रहा था। वह केवल एक पैटर्न का पालन कर रहा था जो उसने अपने प्रशिक्षण डेटा से सीखा था। क्योंकि इंटरनेट पर आकाश और पानी (जो नीले हैं) की बहुत सारी तस्वीरें हैं, इसलिए AI ने सीखा कि जब वह भ्रमित होता है, तो "नीला" एक सुरक्षित दांव है। यह वैसा ही है जैसे कोई छात्र, जब उसे इतिहास के प्रश्न का उत्तर नहीं पता होता, तो बस "नीला" लिख देता है क्योंकि उसने अपने पाठ्यपुस्तक में इस शब्द को बहुत बार देखा है।
डेटा की गुणवत्ता की भूमिका
शोधकर्ताओं ने यह भी देखा कि AI को कैसे प्रशिक्षित किया गया था। उन्होंने इंटरनेट के विशाल, अव्यवस्थित डेटा (जैसे LAION डेटासेट) पर प्रशिक्षित मॉडलों की तुलना छोटे, सावधानीपूर्वक साफ किए गए और क्यूरेटेड डेटासेट पर प्रशिक्षित मॉडलों से की।
उन्होंने पाया कि विशाल, अस्त-व्यस्त डेटासेट ने वास्तव में AI को रंगों के मामले में स्मार्ट नहीं बनाया। वास्तव में, सावधानीपूर्वक क्यूरेटेड, उच्च-गुणवत्ता वाले डेटा पर प्रशिक्षित मॉडल रंगों के मामले में बहुत बेहतर थे। डेटा का विशाल आकार उतना महत्वपूर्ण नहीं था जितना कि उसकी गुणवत्ता। यह परीक्षा के लिए पढ़ाई करने जैसा है: लाखों रैंडम, बिना संपादित ब्लॉग पोस्ट पढ़ने से आपको बहुत सारे तथ्य मिल सकते हैं, लेकिन एक अच्छी तरह से संपादित पाठ्यपुस्तक पढ़ने से आपको अवधारणाओं को समझने में मदद मिलती है। "साफ" मॉडलों ने कम गलतियाँ कीं और उस डिफ़ॉल्ट नीले रंग में क्रैश होने की संभावना कम थी।
निष्कर्ष
तो, इस सब का क्या अर्थ है? यह शोध पत्र दिखाता है कि जबकि AI भौतिक वस्तुओं और उनके रंगों को पहचानने में बहुत अच्छा हो रहा है, फिर भी इसे मानवीय धारणा के जटिल, सांस्कृतिक और भावनात्मक पक्ष के साथ संघर्ष करना पड़ता है। जब AI भ्रमित होता है, तो वह अनिश्चितता को स्वीकार नहीं करता; वह बस एक "सुरक्षित" रंग, आमतौर पर नीला, चुन लेता है, जो उसने अपने प्रशिक्षण डेटा में सबसे अधिक देखा था।
शोधकर्ता सुझाव देते हैं कि AI को वास्तव में हमें समझने के लिए, हम केवल उसे अधिक डेटा नहीं दे सकते। हमें उसे अनिश्चितता को बिना क्रैश हुए संभालने के लिए सिखाने की आवश्यकता है, और हमें बेहतर, स्वच्छ डेटा का उपयोग करने की आवश्यकता है ताकि यह सीखने में मदद मिल सके कि मानव स्वाभाविक रूप से रंगों के सूक्ष्म, सांस्कृतिक नियमों का पालन करते हैं। "ह्यूज एंड क्यूज़" के खेल ने साबित कर दिया कि सबसे स्मार्ट AI मॉडल भी अभी भी बहुत लंबा रास्ता तय कर रहे हैं, इससे पहले कि वे वास्तव में दुनिया को वैसे देख सकें जैसे हम देखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।