🤖 AI

Bias by Necessity: Impossibility Theorems for Sequential Processing with Convergent AI and Human Validation

यह शोध पत्र यह स्थापित करता है कि प्राइमेसी (primacy) और एंकरिंग (anchoring) जैसे संज्ञानात्मक पूर्वाग्रह, ऑटोरेग्रेसिव एआई मॉडल और मानव संज्ञान दोनों में क्रमिक प्रसंस्करण बाधाओं के गणितीय रूप से अपरिहार्य परिणाम हैं, जो सैद्धांतिक प्रमाणों और अनुभवजन्य सत्यापन के माध्यम से यह प्रदर्शित करता है कि ये पूर्वाग्रह केवल त्रुटियां होने के बजाय संसाधन-तर्कसंगत प्रतिक्रियाएं हैं।

मूल लेखक: Jikun Wu, Dongxin Guo, Siu-Ming Yiu

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jikun Wu, Dongxin Guo, Siu-Ming Yiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं, लेकिन आप इसे एक बार में केवल एक ही शब्द पढ़ सकते हैं, बाएँ से दाएँ। आप कभी भी उन शब्दों को नहीं देख सकते जो आने वाले हैं; आप केवल वही जानते हैं जो आपने पहले ही पढ़ लिया है। यह ठीक वैसे ही है जैसे AI भाषा मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) और मानव मस्तिष्क (जब वे सूचना के प्रवाह को प्रोसेस करते हैं) काम करते हैं।

यह शोध पत्र तर्क देता है कि सोचने के इस "एकतरफा रास्ते" के कारण, कुछ मानसिक शॉर्टकट—जिन्हें पूर्वाग्रह (biases) कहा जाता है—केवल गलतियाँ नहीं हैं। वे सिस्टम की एक अनिवार्य गणितीय विशेषता हैं। आप उन्हें ठीक नहीं कर सकते बिना सिस्टम को तोड़े या असंभव रूप से बहुत अधिक समय खर्च किए।

यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के मुख्य विचारों का विवरण दिया गया है:

1. "पहला शब्द" का लाभ (प्राइमेसी बायस - Primacy Bias)

अवधारणा: शब्दों के एक क्रम में, पहले शब्द को सबसे अधिक ध्यान मिलता है। दूसरे शब्द को थोड़ा कम ध्यान मिलता है, और अंतिम शब्द को सबसे कम।
उपमा: कल्पना कीजिए कि एक कमरे में प्रवेश करने के लिए लोगों की एक लंबी कतार खड़ी है। सबसे आगे वाला व्यक्ति (पहला शब्द) उन सभी से बात कर सकता है जो उसके बाद आते हैं। सबसे पीछे वाला व्यक्ति (अंतिम शब्द) केवल खुद से ही बात कर पाता है क्योंकि उसके पीछे सुनने के लिए कोई नहीं है।
परिणाम: क्योंकि पहला शब्द आने वाले हर कदम को प्रभावित करता है, इसलिए इसके पास एक "सुपरपावर" है जिसे पोजीशनल प्रिविलेज (Positional Privilege) कहा जाता है। AI (और इंसान) स्वाभाविक रूप से वाक्य की शुरुआत को उसके अंत की तुलना में बहुत अधिक महत्व देते हैं। यही कारण है कि सूचना का क्रम उत्तर बदल देता है, भले ही तथ्य समान हों।

2. "एंकर" प्रभाव (The "Anchor" Effect)

अवधारणा: यदि आप बातचीत के दौरान जल्दी कोई संख्या देते हैं, तो AI (और इंसान) उस संख्या को एक शुरुआती बिंदु के रूप में उपयोग करेंगे, भले ही वह संख्या पूरी तरह से अप्रासंगिक हो।
उपमा: कल्पना कीजिए कि आप एक कार की कीमत का अनुमान लगाने की कोशिश कर रहे हैं। यदि मैं पहले धीरे से कहता हूँ, "यह शायद $500 के आसपास है," तो आपका मस्तिष्क तुरंत उस संख्या से जुड़ जाता है। भले ही मैं फिर कहूँ, "वास्तव में, वह एक मजाक था, यह एक फेरारी है," आपका मस्तिष्क$ 500 तक एक मानसिक पुल बना चुका होता है।
शोध पत्र का दावा: गणित यह सिद्ध करता है कि क्योंकि AI सूचना को क्रमिक रूप से प्रोसेस करता है, इसलिए वह पहली संख्या उसके अंतिम उत्तर में एक निशान अवश्य छोड़ेगी। यह कोई बग नहीं है; यह सूचना के प्रवाह का एक गणितीय परिणाम है।

3. "असंभव सुधार" (The "Impossible Fix" - पूर्वाग्रह दूर करने की लागत)

अवधारणा: क्या हम बस AI को शब्दों के क्रम को अनदेखा करने के लिए कह सकते हैं?
उपमा: कल्पना कीजिए कि आप लोगों के एक समूह की "वास्तविक" औसत राय खोजने की कोशिश कर रहे हैं, लेकिन आप उनसे एक-एक करके ही पूछ सकते हैं। एक पूरी तरह से निष्पक्ष उत्तर प्राप्त करने के लिए जो इस बात की परवाह न करे कि पहले किसने बोला, आपको समूह के हर संभव क्रम में पूछना होगा।
गणित: यदि आपके पास 10 वस्तुएं हैं, तो उन्हें क्रमबद्ध करने के 3.6 मिलियन तरीके हैं। यदि आपके पास 20 वस्तुएं हैं, तो उनके क्रमबद्ध होने के तरीके ब्रह्मांड में मौजूद परमाणुओं की संख्या से भी अधिक हैं।
निष्कर्ष: यह शोध पत्र सिद्ध करता है कि इन पूर्वाग्रहों को पूरी तरह से हटाने के लिए, कंप्यूटर को एक ऐसी गणना करनी होगी जिसमें ब्रह्मांड की आयु से भी अधिक समय लगेगा। इसलिए, "पूर्वाग्रही" होना वास्तव में सूचना को प्रोसेस करने का सबसे कुशल (तर्कसंगत) तरीका है, जब हमारे पास सीमित समय और ऊर्जा होती है।

4. मनुष्यों और AI का एक साथ परीक्षण

शोधकर्ताओं ने केवल कंप्यूटरों को ही नहीं देखा; उन्होंने मनुष्यों का भी परीक्षण किया यह देखने के लिए कि क्या हम भी इन्हीं "संरचनात्मक" खामियों को साझा करते हैं।

प्रयोग 1 (ऑर्डर टेस्ट): उन्होंने लोगों से नंबरों का अनुमान लगाने के लिए कहा। जब "एंकर" नंबर पहले आया, तो लोग उससे बहुत अधिक प्रभावित हुए। जब यह बाद में आया, तो प्रभाव कमजोर था। यह AI के व्यवहार से पूरी तरह मेल खाता है।
प्रयोग 2 (ब्रेन फटीग टेस्ट - मस्तिष्क की थकान का परीक्षण): उन्होंने लोगों को एक कठिन नंबर को अपनी याददाश्त में रखने के लिए कहा जबकि वे अनुमान लगा रहे थे। जब उनकी "मानसिक रैम" (वर्किंग मेमोरी) भर गई, तो वे सुनी गई पहली जानकारी पर और भी अधिक निर्भर हो गए।
मुख्य बात: AI की तरह, इंसान भी तब अधिक पूर्वाग्रही होते हैं जब उनकी प्रोसेसिंग क्षमता पर दबाव पड़ता है। पूर्वाग्रह "मूर्खता" का संकेत नहीं है; यह सीमित संसाधनों के साथ मस्तिष्क द्वारा किए जा रहे सर्वोत्तम प्रयास का संकेत है।

सारांश: यह क्यों मायने रखता है

यह शोध पत्र त्रुटियों के बारे में हमारी सोच को बदल देता है।

पुराना दृष्टिकोण: पूर्वाग्रह ग्लिच (glitches) हैं जिन्हें ठीक करने की आवश्यकता है।
नया दृष्टिकोण: पूर्वाग्रह सूचना को एक-एक करके प्रोसेस करने के अनिवार्य परिणाम हैं।

चूंकि गणित कहता है कि हम अनंत कंप्यूटिंग पावर के बिना इसे पूरी तरह से ठीक नहीं कर सकते, इसलिए लेखक सुझाव देते हैं कि हमें AI को पूरी तरह से निष्पक्ष होने के लिए मजबूर करने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें ऐसे सिस्टम डिजाइन करने चाहिए जहाँ एक ऐसा AI जो "पहले शब्द" पर निर्भर करता है, एक अलग सिस्टम के साथ मिलकर काम करे जो ऐसा नहीं करता, ताकि वे एक-दूसरे को संतुलित कर सकें।

संक्षेप में: पूर्वाग्रही होना मशीन या मन की विफलता नहीं है; यह उस दुनिया में काम करने की कीमत है जहाँ आप केवल आगे देख सकते हैं, कभी पीछे नहीं।

तकनीकी सारांश: आवश्यकताजन्य पूर्वाग्रह (Bias by Necessity)

समस्या विवरण

यह शोध पत्र कृत्रिम बुद्धिमत्ता (AI) और संज्ञानात्मक विज्ञान (Cognitive Science) के मिलन बिंदु पर एक मौलिक प्रश्न को संबोधित करता है: क्या कुछ संज्ञानात्मक पूर्वाग्रह (विशेष रूप से प्राइमेसी प्रभाव, एंकरिंग, और क्रम-निर्भरता) अनुक्रमिक सूचना प्रसंस्करण (Sequential Information Processing) के गणितीय रूप से अपरिहार्य परिणाम हैं, या वे केवल वर्तमान मॉडल प्रशिक्षण और आर्किटेक्चर के आर्टिफैक्ट्स (Artifacts) हैं? जबकि व्यापक अनुभवजन्य कार्यों ने मनुष्यों और लार्ज लैंग्वेज मॉडल्स (LLMs) दोनों में इन पूर्वाग्रहों को प्रलेखित किया है, और विभिन्न डिबायसिंग (Debiasing) तकनीकें (जैसे, चेन-ऑफ-थॉट, रिफ्लेक्शन प्रॉम्प्टिंग) प्रस्तावित की गई हैं, ये विधियाँ पूर्वाग्रहों को कम तो करती हैं लेकिन उन्हें पूरी तरह समाप्त नहीं कर पातीं। लेखक यह तर्क देते हैं कि ये पूर्वाग्रह ऑटोरिग्रेसिव प्रोसेसिंग (Autoregressive Processing) में निहित 'कॉज़ल मास्किंग' (Causal Masking) बाधाओं के कारण "आर्किटेक्चरल रूप से आवश्यक" हो सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध औपचारिक सैद्धांतिक प्रमाणों, फ्रंटियर मॉडल्स पर बड़े पैमाने पर अनुभवजन्य सत्यापन, और प्री-रजिस्टर्ड मानव व्यवहार संबंधी प्रयोगों के संयोजन वाले एक हाइब्रिड पद्धति का उपयोग करता है।

सैद्धांतिक ढांचा (Theoretical Framework): लेखक "कॉज़ल मास्किंग" की अवधारणा का उपयोग करके ऑटोरिग्रेसिव मॉडल्स के बाधाओं को औपचारिक रूप देते हैं, जहाँ एक टोकन $x_i$ केवल पूर्ववर्ती टोकन $x_1, \dots, x_{i-1}$ पर ध्यान (Attend) दे सकता है। वे पोजीशनल प्रिविलेज ( $\Phi(j)$ ) को उस कुल अपेक्षित अटेंशन वेट के रूप में परिभाषित करते हैं जो एक स्थिति (Position) को सभी आगामी स्थितियों से प्राप्त होता है।
असंभवता प्रमेय (Impossibility Theorems): तीन प्रमेय व्युत्पन्न किए गए हैं जो यह सिद्ध करते हैं कि मानक धारणाओं (गैर-तुच्छ अटेंशन, कॉज़ल मास्किंग, और कंटेंट-पोजीशन इंटरेक्शन) के तहत, विशिष्ट पूर्वाग्रहों को आर्किटेक्चरल बाधाओं का उल्लंघन किए बिना या अत्यधिक कम्प्यूटेशनल लागत के बिना समाप्त नहीं किया जा सकता है।
LLM अनुभवजन्य सत्यापन: इस ढांचे का परीक्षण 12 फ्रंटियर LLMs (GPT-4, Claude-3, Gemini-1.5, Llama-3 और अन्य सहित) पर किया गया। अध्ययन ने 200 ट्रायल प्रति मॉडल के क्लासिक एंकरिंग प्रतिमान (Paradigm) का उपयोग किया, जिसमें 8-वाक्य के संदर्भ के भीतर अप्रासंगिक एंकर्स की स्थिति में हेरफेर किया गया ताकि पोजीशनल प्रिविलेज कर्व का पता लगाया जा सके। मॉडल तुलना के लिए बायेसियन इंफॉर्मेशन क्राइटेरियन (BIC) का उपयोग किया गया।
मानव व्यवहार संबंधी प्रयोग: दो प्री-रजिस्टर्ड अध्ययनों ( $N=464$ $N = 464$ विश्लेषित) ने औपचारिक मॉडल से प्राप्त मात्रात्मक भविष्यवाणियों का परीक्षण किया:
- अध्ययन 1: यह परीक्षण किया गया कि क्या एंकर की स्थिति (लक्ष्य जानकारी से पहले बनाम बाद में) एंकरिंग के परिमाण को प्रभावित करती है।
- अध्ययन 2: यह परीक्षण किया गया कि क्या वर्किंग मेमोरी (WM) लोड, प्राइमेसी बायस को बढ़ाता है और क्या व्यक्तिगत WM क्षमता पूर्वाग्रह में कमी की भविष्यवाणी करती है।

मुख्य योगदान

यह शोध पत्र पाँच प्राथमिक योगदान देता है:

असंभवता प्रमेय: यह सिद्ध करना कि ऑटोरिग्रेसिव मॉडल्स में कॉज़ल मास्किंग के कारण प्राइमेसी बायस, एंकरिंग और ऑर्डर-डिपेंडेंस गणितीय रूप से अपरिहार्य हैं।
मात्रात्मक सीमाएँ (Quantitative Bounds): यह स्थापित करना कि सटीक डिबायसिंग के लिए परम्यूटेशन मार्जिनलाइजेशन (Permutation Marginalization) हेतु $\Omega(n!)$ (फैक्टोरियल-टाइम) गणना की आवश्यकता होती है, जो व्यावहारिक उन्मूलन को कम्प्यूटेशनल रूप से असंभव बनाता है।
अनुभवजन्य सत्यापन: 12 विविध LLMs में सैद्धांतिक ढांचे को मान्य करना, यह प्रदर्शित करते हुए कि पोजीशनल प्रिविलेज का एक्सपोनेंशियल डिके (Exponential Decay) मॉडल, लीनियर, पावर-लॉ या नल मॉडल्स की तुलना में काफी बेहतर फिट बैठता है ( $R^2 = 0.89$ ; $\Delta BIC = 16.6$ अगले-सर्वश्रेष्ठ मॉडल के मुकाबले)।
क्रॉस-डोमेन भविष्यवाणी: मानव संज्ञान के लिए मात्रात्मक भविष्यवाणियां प्राप्त करना और उन्हें मानव प्रयोगों में पुष्ट करना।
रिसोर्स-रेशनल रिफ्रेमिंग: संज्ञानात्मक पूर्वाग्रहों को त्रुटियों के रूप में नहीं, बल्कि अनुक्रमिक प्रसंस्करण बाधाओं के अनुकूल, रिसोर्स-रेशनल (Resource-rational) प्रतिक्रियाओं के रूप में प्रस्तुत करना जो मनुष्यों और मशीनों दोनों द्वारा साझा की जाती हैं।

परिणाम

सैद्धांतिक परिणाम

प्रमेय 1 (प्राइमेसी बायस अपरिहार्यता): किसी भी ऑटोरिग्रेसिव मॉडल के लिए जो कॉज़ल मास्किंग को संतुष्ट करता है, ऐसे इनपुट परम्यूटेशन मौजूद हैं जहाँ आउटपुट वितरण भिन्न होता है। पहला टोकन एक संरचनात्मक लाभ (पोशनल प्रिविलेज) रखता है जिसे कॉज़ल बाधाओं का उल्लंघन किए बिना शून्य नहीं किया जा सकता।
प्रमेय 2 (एंकरिंग का उद्भव): एंकरिंग बायस अपरिहार्य रूप से उभरता है क्योंकि क्वेरी पोजीशन पर हिडन स्टेट में गणितीय रूप से पिछले एंकर की जानकारी की एक गैर-शून्य मात्रा होनी चाहिए, चाहे एंकर की नॉर्मेटिव प्रासंगिकता कुछ भी हो।
प्रमेय 3 (डिबायसिंग लागत): पूर्वाग्रह का सटीक उन्मूलन इनपुट के सभी $n!$ परम्यूटेशन के मूल्यांकन की मांग करता है। मोंटे कार्लो सन्निकटन (Monte Carlo approximation) व्यवहार्य है लेकिन इसमें प्रति-टोलरेंस एक निरंतर ओवरहेड होता है, जिसका अर्थ है कि पूर्ण डिबायसिंग कम्प्यूटेशनल रूप से अव्यवहार्य है।

LLM अनुभवजन्य परिणाम

मॉडल फिट: पोशनल प्रिविलेज के एक्सपोनेंशियल डिके मॉडल ने 12 मॉडल्स में एंकरिंग बायस की सटीक भविष्यवाणी की ( $R^2 = 0.89$ )।
पोशनल प्रभाव: जैसे-जैसे एंकर की स्थिति अनुक्रम में बाद में आती गई, एंकरिंग का परिमाण घटता गया, जो पोशनल प्रिविलेज के हार्मोनिक/एक्सपोनेंशियल डिके का अनुसरण करता है।
सामान्यीकरण: मॉडल विभिन्न मॉडल परिवारों में सामान्यीकृत हुआ (लीव-वन-आउट क्रॉस-वैलिडेशन $R^2 = 0.84$ ) और इसने Mistral-Large के आउट-ऑफ-सैंपल परिणामों की सफलतापूर्वक भविष्यवाणी की।

मानव प्रयोगात्मक परिणाम

अध्ययन 1 (एंकर पोजीशन): पुष्टि की गई कि लक्ष्य जानकारी से पहले प्रस्तुत किए गए एंकर्स ने बाद में प्रस्तुत किए गए एंकर्स की तुलना में काफी अधिक एंकरिंग उत्पन्न की ( $d = 0.52$ , $BF_{10} = 847$ )। यह अनुमानित रेंज $d \in [0.35, 0.55]$ के अनुरूप है।
अध्ययन 2 (WM लोड): उच्च वर्किंग मेमोरी लोड ने प्राइमेसी प्रभाव को बढ़ाया ( $d = 0.41$ )। व्यक्तिगत अंतर विश्लेषण ने दिखाया कि उच्च WM क्षमता ने छोटे पोशनल प्रभावों की भविष्यवाणी की ( $r = -0.38$ ), जो इस परिकल्पना का समर्थन करता है कि प्राइमेसी बायस सीमित अनुक्रमिक प्रसंस्करण क्षमता के प्रति एक रिसोर्स-रेशनल प्रतिक्रिया है।

महत्व और दावे

यह शोध पत्र संज्ञानात्मक पूर्वाग्रहों को सुधारने योग्य दोषों के बजाय अनुक्रमिक प्रसंस्करण के आवश्यक परिणामों के रूप में पुनर्गठित करने का दावा करता है।

कम्प्यूटेशनल-लेवल पैरेलल: लेखक तर्क देते हैं कि ट्रांसफॉर्मर्स में कॉज़ल मास्किंग और मानव वर्किंग मेमोरी में सीरियल प्रोसेसिंग बाधाएं, मार के (Marr's) कम्प्यूटेशनल स्तर पर समान बाधाओं का प्रतिनिधित्व करती हैं। दोनों सिस्टम भविष्य के इनपुट तक सीमित पहुंच के साथ सूचना को क्रमिक रूप से संसाधित करते हैं, जिससे समान बायस संरचनाएं उत्पन्न होती हैं।
रिसोर्स रेशनैलिटी: रिसोर्स-रेशनल विश्लेषण का उपयोग करते हुए, पेपर सुझाव देता है कि मानव और मशीन दोनों के पूर्वाग्रह सीमित कम्प्यूटेशनल संसाधनों को देखते हुए इष्टतम रणनीतियाँ हैं। "पूर्वाग्रह" समस्या की संरचना (अनुक्रमिक प्रसंस्करण) से उत्पन्न होता है, न कि सॉल्वर की संरचना से।
AI डिज़ाइन के लिए निहितार्थ: निष्कर्ष बताते हैं कि सटीक डिबायसिंग का पीछा करना कम्प्यूटेशनल रूप से निरर्थक है। इसके बजाय, यह पेपर मानव-AI सहयोग रणनीतियों की वकालत करता है जो मजबूत संयुक्त निर्णय लेने के लिए पूरक आर्किटेक्चरल बाधाओं (जैसे, द्विदिश एनकोडर या रिट्रीवल सिस्टम के साथ ऑटोरिग्रेसिव मॉडल्स को जोड़ना) का लाभ उठाती हैं।
मूल्यांकन पद्धति: पेपर का दावा है कि "LLM-as-judge" मूल्यांकनों में पोशनल बायस एक मौलिक आर्किटेक्चरल गुण है, न कि कोई बग। इसलिए, मूल्यांकन प्रोटोकॉल को प्रस्तुति क्रम को रैंडमाइज करना चाहिए और परम्यूटेशन के माध्यम से डेटा को एकत्रित करना चाहिए, बजाय इसके कि मॉडल्स से स्थिति को अनदेखा करना सीखने की अपेक्षा की जाए।

लेखक यांत्रिक समानता (mechanistic equivalence) के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि हालांकि कम्प्यूटेशनल बाधाएं समानांतर हैं, लेकिन अंतर्निहित कार्यान्वयन (न्यूरल बनाम आर्टिफिशियल) भिन्न हैं। वे मानव नमूनों की WEIRD प्रकृति और स्टेट-स्पेस मॉडल्स (जैसे, Mamba) जैसे वैकल्पिक आर्किटेक्चर का परीक्षण करने की आवश्यकता के संबंध में अपनी सीमाओं को स्वीकार करते हैं।