ABCD: All Biases Come Disguised
यह शोध पत्र बहुविकल्पीय प्रश्न बेंचमार्क के लिए एक पूर्वाग्रह-न्यून (bias-reduced) मूल्यांकन प्रोटोकॉल प्रस्तुत करता है जो मानक विकल्प लेबल के स्थान पर समान, अव्यवस्थित लेबल का उपयोग करता है और उत्तर मिलान के लिए वाक्य समानता का उपयोग करता है, जिससे मॉडल के प्रदर्शन को बनाए रखते हुए उत्तर क्रमपरिवर्तन (answer permutations) के विरुद्ध मूल्यांकन की सुदृढ़ता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहे हैं, लेकिन सवालों को पढ़ने और उनके उत्तरों पर विचार करने के बजाय, आप केवल परीक्षा के फॉर्मेट (प्रारूप) के आधार पर अनुमान लगाना शुरू कर देते हैं।
शायद आप देखते हैं कि शिक्षक हमेशा सही उत्तर को "C" स्थान पर रखते हैं। या शायद आप पेज के ऊपर दिए गए अभ्यास उदाहरणों में देखते हैं कि उत्तर हमेशा "A" है, इसलिए आप हर चीज़ के लिए "A" चुनने का निर्णय लेते हैं। आप वास्तव में समस्या को हल नहीं कर रहे हैं; आप बस परीक्षा के ही एक पैटर्न का फायदा उठा रहे हैं।
यह बिल्कुल वही है जो लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ होता है—जो चैटबॉट्स के पीछे के बेहद बुद्धिमान AI दिमाग हैं। वे इस बात में अविश्वसनीय रूप से कुशल हैं कि हम उनसे सवाल कैसे पूछते हैं, और अक्सर गलत कारणों से सही उत्तर दे देते हैं।
यह शोध पत्र, जिसका शीर्षक "ABCD: All Biases Come Disguised" है, एक समूह जासूसों (डार्टमाउथ कॉलेज के शोधकर्ताओं) की तरह है जिन्होंने इन "चीटिंग करने की आदतों" को उजागर करने और एक बेहतर, अधिक निष्पक्ष परीक्षण बनाने का निर्णय लिया।
यहाँ उनकी खोज और समाधान का विवरण दिया गया, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "मैजिक 8-बॉल" प्रभाव
शोधकर्ताओं ने पाया कि AI मॉडल उन छात्रों की तरह हैं जिन्होंने विषय वस्तु के बजाय टेस्ट पेपर के लेआउट को रट लिया है।
- पोजीशन बायस (स्थान का पक्षपात): यदि सही उत्तर हमेशा तीसरे स्थान पर होता है, तो AI हर बार तीसरे स्थान को ही चुनता है, भले ही वह सवाल निरर्थक क्यों न हो।
- लेबल बायस (लेबल का पक्षपात): यदि विकल्पों को A, B, C, D के रूप में लेबल किया गया है, तो AI "A" को पसंद कर सकता है क्योंकि यह अच्छा दिखता है, या "D" को क्योंकि यह अंत में है।
- "फ्यू-शॉट" (Few-Shot) बायस: यह सबसे चालाक वाला है। यदि आप चैट की शुरुआत में AI को कुछ उदाहरण देते हैं (जैसे एक अभ्यास दौर), जहाँ उत्तर हमेशा "नीला" (Blue) है, तो AI मान लेगा कि अगला उत्तर भी "नीला" ही होना चाहिए, भले ही उस सवाल का रंग से कोई लेना-देना न हो।
उपमा: कल्पना कीजिए कि एक वेटर जानता है कि आप हमेशा "डे ऑफ द स्पेशल" (आज का विशेष व्यंजन) ऑर्डर करते हैं। यदि आप अंदर जाते हैं और उससे सिफारिश मांगते हैं, तो वह आपसे यह नहीं पूछेगा कि आपको क्या पसंद है; वह बस कहेगा, "स्पेशल," क्योंकि आप आमतौर पर वही चुनते हैं। वह सोच नहीं रहा है; वह बस एक पैटर्न का पालन कर रहा है।
2. जासूसी उपकरण: "NonsenseQA"
यह साबित करने के लिए कि AI नकल कर रहा था, शोधकर्ताओं ने एक नकली टेस्ट बनाया जिसे NonsenseQA कहा गया।
- यह क्या है: यह पूरी तरह से यादृच्छिक (random) शब्दों से बना एक टेस्ट है। सवाल समझ से बाहर हैं और उत्तर "बैंगनी" या "टोस्टर" जैसे यादृच्छिक शब्द हैं।
- लक्ष्य: चूंकि सवाल निरर्थक हैं, इसलिए AI को 75% बार गलत होना चाहिए (यानी रैंडम अनुमान लगाना चाहिए)।
- चौंकाने वाला परिणाम: मानक परीक्षण विधियों के तहत, कुछ AI इन निरर्थक सवालों के 95%+ सही उत्तर दे रहे थे!
- क्यों? वे शब्दों को नहीं पढ़ रहे थे। वे बस पेज के ऊपर दिए गए कुछ उदाहरणों को देख रहे थे, देख रहे थे कि उत्तर आमतौर पर तीसरे विकल्प में था, और हर बार तीसरा विकल्प चुन रहे थे। वे "सिस्टम को गेम" (धोखा) दे रहे थे।
3. समाधान: "M&D" प्रोटोकॉल
शोधकर्ताओं ने AI को टेस्ट करने का एक नया तरीका प्रस्तावित किया जिसे मैच्ड-एंड-डैश्ड (Matched-and-Dashed - M&D) कहा जाता है। इसे खेल के नियम बदलने के रूप में सोचें ताकि "चीट कोड्स" काम न कर सकें।
यहाँ उन्होंने टेस्ट को कैसे ठीक किया:
- लेबल हटाना ( "Dashed" वाला हिस्सा): विकल्पों को A, B, C, D के रूप में लेबल करने के बजाय, उन्होंने केवल डैश का उपयोग किया:
-,-,-,-| यह AI को "A" चुनने से रोकता है क्योंकि उसे अक्षर A पसंद है। - पूरे वाक्यों को अनिवार्य करना ("Matched" वाला हिस्सा): AI को केवल "A" या "C" कहने देने के बजाय, उन्होंने AI को पूरा उत्तर एक वाक्य में लिखने के लिए मजबूर किया।
- पुराना तरीका: AI कहता है "C"।
- नया तरीका: AI कहता है "उत्तर लाल सेब है।"
- सिमेंटिक मैच (अर्थ संबंधी मिलान): चूंकि AI ने एक वाक्य लिखा है, इसलिए कंप्यूटर एक "मीनिंग डिटेक्टर" (सिमेंटिक सिमिलैरिटी मॉडल) का उपयोग करके यह जाँचता है कि AI द्वारा लिखा गया वाक्य सही उत्तर के अर्थ से मेल खाता है या नहीं।
उपमा:
- पुराना टेस्ट: आप एक तस्वीर की ओर इशारा करते हैं और "A" कहते हैं। शिक्षक बस यह देखता है कि आपने सही अक्षर की ओर इशारा किया या नहीं।
- नया टेस्ट: आपको तस्वीर का वर्णन बोलकर करना होगा। शिक्षक आपके वर्णन को सुनता है और जाँचता है कि क्या वह तस्वीर से मेल खाता है। आप केवल सही जगह की ओर इशारा नहीं कर सकते; आपको वास्तव में जानना होगा कि वह तस्वीर क्या है।
4. परिणाम: एक निष्पक्ष दुनिया
जब उन्होंने इस नए टेस्ट को 13 अलग-अलग AI मॉडल्स पर चलाया:
- चीटिंग बंद हो गई: NonsenseQA टेस्ट पर, जो AI पहले 95% सही उत्तर दे रहे थे, वे गिरकर लगभग 25% पर आ गए (जो कि केवल रैंडम अनुमान है)। इसने साबित कर दिया कि वे वास्तव में टेस्ट फॉर्मेट पर निर्भर थे, अपनी बुद्धिमत्ता पर नहीं।
- असली विचारक बने रहे: वास्तविक टेस्ट (जैसे विज्ञान या तर्क संबंधी सवाल) पर, AI बहुत खराब नहीं हुए। वे बस अधिक स्थिर (stable) हो गए।
- कम विचलन (Less Variance): पहले, यदि आप उत्तरों का क्रम बदलते थे, तो AI का स्कोर ऊपर-नीचे होता रहता था। इस नई पद्धति के साथ, स्कोर स्थिर रहा। यह एक ऐसे बास्केटबॉल खिलाड़ी की तरह है जो पहले केवल तभी स्कोर करता था जब बास्केट बाईं ओर होता था; अब, वह बास्केट कहीं भी हो, स्कोर कर सकता है।
यह क्यों मायने रखता है
लेखकों का तर्क है कि हमें AI को "स्मार्ट" कहकर उसकी प्रशंसा करना बंद करना चाहिए जब वे केवल पैटर्न मैचिंग (पैटर्न पहचानने) में अच्छे होते हैं।
यदि कोई डॉक्टर मरीज के निदान में मदद के लिए AI का उपयोग करता है, और वह AI लक्षणों के क्रम के आधार पर केवल अनुमान लगा रहा है, तो यह खतरनाक हो सकता है। यह नई विधि हमें उन मॉडल्स को अलग करने में मदद करती है जो वास्तव में तर्क (reasoning) कर रहे हैं और उन मॉडल्स को जो केवल पैटर्न का अनुमान लगा रहे हैं।
संक्षेप में: यह शोध पत्र हमें सिखाता है कि यदि कोई AI फॉर्मेट को देखकर किसी सवाल का सटीक उत्तर दे सकता है, तो वह स्मार्ट नहीं है—वह सिर्फ एक धोखेबाज है। टेस्ट के नियमों को बदलकर, हम उन्हें अपनी वास्तविक बुद्धिमत्ता दिखाने के लिए मजबूर करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।