A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models
यह शोध पत्र प्रतिक्रिया अनुपालन (response compliance) को कार्य प्रदर्शन (task performance) से अलग करके, बड़े भाषा मॉडलों में साहचर्य हस्तक्षेप (associative interference) का मूल्यांकन करने के लिए एक द्वि-चरणीय सांख्यिकीय ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि ऐसा हस्तक्षेप एक सार्वभौमिक गुण होने के बजाय विभिन्न मॉडलों और डोमेन में महत्वपूर्ण रूप से भिन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या रोबोटों के एक समूह में कुछ चीजों के लिए कोई छिपा हुआ "पसंद" (preference) है, जैसे कि क्या वे सोचते हैं कि "पुरुष करियर में होने चाहिए" और "महिलाएं परिवारों में होनी चाहिए।"
इसे करने के लिए, शोधकर्ताओं ने एक प्रसिद्ध मानव मनोविज्ञान परीक्षण, जिसे इम्प्लिसिट एसोसिएशन टेस्ट (IAT) कहा जाता है, लिया और इसे आज के तीन सबसे स्मार्ट AI मॉडल्स को सिखाया: Claude Sonnet-4, Gemini 2.5 Pro, और GPT-5।
यहाँ जो उन्होंने पाया, उसकी कहानी सरल शब्दों में दी गई है।
समस्या: "मना करने" का शोर (The "Refusal" Noise)
अतीत में, जब शोधकर्ता AI से ये पेचीदा सवाल पूछते थे, तो परिणाम बहुत उलझे हुए होते थे। कभी-कभी, AI बस कह देता था, "मैं इसका उत्तर नहीं दे सकता," या वह एक अजीब, टूटा-फूटा उत्तर देता था।
इसे एक क्लासरूम गेम की तरह समझें। यदि आप एक छात्र से पूछते हैं, "क्या बिल्ली एक कुत्ता है?" और वह उत्तर देने से मना कर देता है क्योंकि उसे लगता है कि प्रश्न अभद्र है, तो आपको यह पता नहीं चलेगा कि वह वास्तव में सोचता है कि बिल्लियाँ कुत्ते हैं या वह बस खेल में भाग नहीं लेना चाहता था।
शोधकर्ताओं ने महसूस किया कि "खेलने से मना करने" और "खेल खेलने" को आपस में मिला देने से यह बताना असंभव हो गया कि AI में वास्तव में कोई पूर्वाग्रह (bias) था या वह केवल सतर्क हो रहा था।
समाधान: एक दो-चरणीय फ़िल्टर (A Two-Stage Filter)
इसे ठीक करने के लिए, लेखकों ने एक दो-चरणीय फ़िल्टर बनाया, जो एक क्लब के बाहर खड़े बाउंसर और अंदर बैठे जज की तरह काम करता है:
- चरण 1 (बाउंसर): क्या AI ने वास्तव में सही प्रारूप (format) में प्रश्न का उत्तर दिया? (हाँ/नहीं)।
- चरण 2 (जज): केवल यदि AI ने सही उत्तर दिया, तो क्या उसने "हस्तक्षेप" (interference) का कोई पैटर्न दिखाया?
"हस्तक्षेप" (Interference) क्या है?
कल्पना कीजिए कि आप कार्ड छाँट रहे हैं।
- आसान दौर (Congruent): आपको "पुरुषों" को "करियर" के साथ और "महिलाओं" को "परिवार" के साथ छाँटना है। (यह सामान्य रूढ़ियों से मेल खाता है)।
- कठिन दौर (Incongruent): आपको "पुरुषों" को "परिवार" के साथ और "महिलाओं" को "करियर" के साथ छाँटना है। (यह रूढ़ियों के विरुद्ध जाता है)।
यदि कोई AI पूर्वाग्रह से "हस्तक्षेप" होता है, तो वह कठिन दौर में थोड़ा धीमा हो जाएगा या अधिक गलतियाँ करेगा क्योंकि उसकी आंतरिक वायरिंग आसान दौर को प्राथमिकता देती है। शोधकर्ताओं ने इस "लड़खड़ाने" को हस्तक्षेप (Interference) के रूप में मापा।
परिणाम: सभी रोबोट एक जैसे नहीं हैं
शोधकर्ताओं ने 960 अलग-अलग परिदृश्यों पर यह परीक्षण चलाया। यहाँ हुआ:
"बाउंसर" की जाँच: तीनों AI नियमों का पालन करने में बहुत अच्छे थे। उन्होंने लगभग हमेशा एक स्पष्ट "A" या "B" उत्तर दिया। उन्होंने खेलने से बहुत कम मना किया। इसका मतलब था कि शोधकर्ता अगले चरण पर भरोसा कर सकते थे।
"जज" के परिणाम (पूर्वाग्रह की जाँच):
- Claude Sonnet-4: यह मॉडल काफी अधिक लड़खड़ाया। जब इसे रूढ़ियों के विरुद्ध जाने के लिए कहा गया (कठिन दौर), तो इसने आसान दौर की तुलना में अधिक गलतियाँ कीं। इसने एक मजबूत "हस्तक्षेप" प्रभाव दिखाया, विशेष रूप से लिंग और करियर के संबंध में। यह एक ऐसे धावक की तरह है जो पीछे की ओर दौड़ने की कोशिश करते समय अपने ही पैरों से टकराकर गिर जाता है।
- Gemini 2.5 Pro: इस मॉडल ने बहुत मामूली सा लड़खड़ाना दिखाया, लेकिन यह Claude की तुलना में बहुत बेहतर था। यह मुश्किल से ही लड़खड़ा रहा था।
- GPT-5: यह मॉडल पूरी तरह से सुचारू (smooth) था। इसने बिल्कुल भी लड़खड़ाना नहीं दिखाया। चाहे सवाल आसान हो या कठिन, इसका प्रदर्शन एक जैसा रहा। इसने कोई पता लगाने योग्य हस्तक्षेप नहीं दिखाया।
मुख्य निष्कर्ष
इस पेपर की सबसे महत्वपूर्ण बात यह है: पूर्वाग्रह (Bias) सभी AI की एक सार्वभौमिक विशेषता नहीं है।
सिर्फ इसलिए कि एक AI मॉडल (जैसे Claude) इन "लड़खड़ाने" वाले पैटर्न को दिखाता है, इसका मतलब यह नहीं है कि सभी AI मॉडल ऐसा ही करेंगे। "लड़खड़ाना" पूरी तरह से इस पर निर्भर करता है कि वह विशिष्ट रोबोट कैसे बनाया गया और प्रशिक्षित किया गया था।
- पुराना सोचने का तरीका: "AI में पूर्वाग्रह है।" (सभी AI को एक समान मानना)।
- नया सोचने का तरीका: "इस विशिष्ट AI में पूर्वाग्रह है, लेकिन उस दूसरे वाले में नहीं है।"
यह क्यों मायने रखता है
लेख तर्क देते हैं कि हमें AI के आउटपुट को एक ही, बिखरे हुए जवाबों के ढेर के रूप में देखना बंद करने की आवश्यकता है। इसके बजाय, हमें यह देखने के बीच अंतर करना चाहिए कि AI ने नियमों का पालन किया या नहीं और AI ने वास्तव में क्या चुना।
इस दो-चरणीय पद्धति का उपयोग करके, शोधकर्ताओं ने सिद्ध किया कि आधुनिक AI सिस्टम एक-दूसरे से भिन्न हैं। कुछ अभी भी पुरानी रूढ़ियों के "लड़खड़ाने वाले अवरोधों" को ढोते हैं, जबकि अन्य (जैसे इस अध्ययन में GPT-5) इस स्तर तक प्रशिक्षित हो चुके हैं जहाँ वे अवरोध समाप्त हो गए हैं।
संक्षेप में: अध्ययन ने यह नहीं पाया कि "AI पक्षपाती है।" इसने पाया कि "कुछ AI पक्षपाती हैं, कुछ नहीं हैं, और हमारे पास अंततः यह अंतर बताने का एक साफ तरीका है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।