← नवीनतम पेपर
💬 NLP

The Algorithmic Unconscious: Structural Mechanisms and Implicit Biases in Large Language Models

यह शोध पत्र "एल्गोरिद्मिक अचेतन" (algorithmic unconscious) की अवधारणा प्रस्तुत करता है ताकि यह तर्क दिया जा सके कि बड़े भाषा मॉडलों में महत्वपूर्ण पूर्वाग्रह केवल डेटासेट की संरचना से ही नहीं, बल्कि टोकनाइज़ेशन, अटेंशन और एलाइनमेंट जैसी अंतर्निहित संरचनात्मक प्रणालियों से उत्पन्न होते हैं, जो अरबी भाषा के ओवर-सेगमेंटेशन के अनुभवजन्य विश्लेषण के माध्यम से यह प्रदर्शित करता है कि कैसे ये ढांचागत कारक व्यवस्थित रूप से मॉडल के प्रदर्शन को विकृत करते हैं और तकनीकी ऑडिटिंग के लिए एक नए ढांचे की आवश्यकता को अनिवार्य बनाते हैं।

मूल लेखक: Philippe Boisnard

प्रकाशित 2026-02-24
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Philippe Boisnard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "द एल्गोरिद्मिक अनकॉन्शियस" (The Algorithmic Unconscious) शोध पत्र का सरल, रोजमर्रा की भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं का उपयोग किया गया है।

मुख्य विचार: AI का "छिपा हुआ मस्तिष्क"

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट से बात कर रहे हैं। आप उससे एक सवाल पूछते हैं, और वह आपको उत्तर देता है। लेकिन क्या होगा अगर उस रोबत के पास एक "छिपा हुआ मस्तिष्क" हो जिसके बारे में वह खुद नहीं जानता, और आप भी उसे देख नहीं सकते?

लेखक, फिलिप बोइसनार्ड (Philippe Boisnard), इसे "एल्गोरिद्मिक अनकॉन्शियस" (Algorithmic Unconscious) कहते हैं।

आमतौर पर, जब हमें लगता है कि AI पक्षपाती है, तो हम उन लोगों को दोष देते हैं जिन्होंने इसे बनाया या उन किताबों को जो उन्हें खिलाई गईं। लेकिन यह शोध पत्र तर्क देता है कि पक्षपात मशीन के अपने आंतरिक प्लंबिंग (internal plumbing) से आता है। भले ही बनाने वाले अच्छे हों और किताबें निष्पक्ष हों, लेकिन जिस तरह से मशीन सोचती है (उसका गणित और संरचना), वह छिपे हुए पूर्वाग्रह पैदा करती है। मशीन यह नहीं "जानती" कि वह अनुचित हो रही है; यह बस स्वतः ही हो जाता है।

यहाँ चार मुख्य तरीके दिए गए हैं जिनसे यह "छिपा हुआ मस्तिष्क" समस्या पैदा करता है, जिन्हें उपमाओं के माध्यम से समझाया गया है:


1. "पिक्सेलेटेड मैप" (टोकनाइजेशन बायस - Tokenization Bias)

समस्या: आपको समझने के लिए, एक AI आपके शब्दों को "टोकन्स" नामक छोटे टुकड़ों में तोड़ देता है। इन्हें पहेली के टुकड़ों (puzzle pieces) की तरह समझें।
उपमा: कल्पना कीजिए कि आपके पास दुनिया का एक नक्शा है।

  • अंग्रेजी नक्शे पर बड़े, स्पष्ट और आसानी से पढ़े जाने वाले ब्लॉकों के साथ खींची गई है।
  • अरबी या दारीजा (उत्तरी अफ्रीकी बोलियाँ) बहुत छोटे, सूक्ष्म बिंदुओं के साथ खींची गई हैं।

क्योंकि AI के "पहेली के टुकड़े" अंग्रेजी के लिए डिज़ाइन किए गए हैं, इसलिए जब आप अरबी में टाइप करते हैं, तो AI को समझने के लिए आपके शब्दों को बहुत अधिक छोटे टुकड़ों में काटना पड़ता है।

  • परिणाम: AI को एक अंग्रेजी वाक्य की तुलना में एक अरबी वाक्य को "पढ़ने" में चार गुना अधिक समय लगता है। इसे चलाने के लिए अधिक पैसा खर्च होता है, और AI जल्दी "थक" (मेमोरी खत्म होना) जाता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ हर शब्द इतने छोटे फॉन्ट में लिखा है कि आपको सूक्ष्मदर्शी (microscope) की आवश्यकता है, जबकि बाकी सब सामान्य आकार में पढ़ रहे हैं।

2. "गॉसिप मशीन" (कॉज़ल बायस - Causal Bias)

समस्या: AI यह नहीं समझता कि चीजें क्यों होती हैं; वह केवल यह जानता है कि आमतौर पर आगे क्या होता है।
उपमा: एक गॉसिप मशीन की कल्पना करें जिसने दुनिया के हर अखबार को पढ़ा है।

  • यदि मशीन "आग" और "धुआं" को लाखों बार एक साथ देखती है, तो वह सीख लेती है कि वे साथ चलते हैं।
  • लेकिन यदि मशीन "इस्लाम" और "हिंसा" को 10,000 समाचार लेखों में एक साथ देखती है (भले ही वास्तविक जीवन में यह दुर्लभ हो), तो वह सोचने लगती है कि वे एक-दूसरे के कारण हैं।

AI यह अंतर नहीं कर सकता कि सहसंबंध (correlation) (चीजों का एक साथ होना) और कारण (cause) (एक चीज द्वारा दूसरी चीज को प्रेरित करना) के बीच क्या अंतर है। सांख्यिकी (statistics) पर निर्भर होने के कारण, यह रूढ़ियों को पुख्ता करता है। यदि डेटा कहता है कि "X अक्सर Y से जुड़ा है," तो AI मान लेता है कि X ही Y का कारण है, भले ही वह सच न हो। यह एक "कॉज़ल रिडक्शनिज्म" (causal reductionism) बनाता है, जो जटिल संस्कृतियों को सरल, अक्सर नकारात्मक रूढ़ियों में समेट देता है।

3. "मेल्टिंग पॉट" (डायमेंशनल कोलैप्स - Dimensional Collapse)

समस्या: AI कुशल होने की कोशिश करता है। उसे वे पैटर्न पसंद हैं जो अक्सर होते हैं और वह अजीब या दुर्लभ चीजों को अनदेखा कर देता है।
उपमा: एक विशाल, जादुई स्मूदी ब्लेंडर की कल्पना करें।

  • आप इसमें एक कप अंग्रेजी शब्द (सबसे आम फल) डालते हैं।
  • आप इसमें एक कप दारीजा (एक दुर्लभ फल) डालते हैं।
  • ब्लेंडर घूमता है। क्योंकि अंग्रेजी बहुत अधिक है, दारीजा को कुचल दिया जाता है और इसमें इस तरह मिला दिया जाता है कि वह बिल्कुल अंग्रेजी जैसा दिखने लगता है। दारीजा का अनूठा स्वाद गायब हो जाता है।

AI के "मन" (इसके गणितीय स्थान) में, दुर्लभ बोलियाँ दब जाती हैं। AI मोरक्कन दारीजा को मानक अरबी जैसा दिखाने के लिए और मानक अरबी को अंग्रेजी जैसा दिखाने के लिए मजबूर करता है। यह भाषा की अनूठी पहचान को मिटा देता है क्योंकि प्रभुत्व वाले संस्करण का उपयोग करना "सांख्यिकीय रूप से सुरक्षित" है। यह डिजिटल विलोपन (digital erasure) का एक रूप है—आपकी संस्कृति को प्रतिबंधित नहीं किया गया है; इसे गणित द्वारा अदृश्य बना दिया गया है।

4. "सख्त लाइब्रेरियन" (सेफ्टी एलाइनमेंट - Safety Alignment)

समस्या: AI को बुरा बोलने से रोकने के लिए, इंसान इसमें "सुरक्षा नियम" प्रोग्राम करते हैं।
उपमा: एक सख्त लाइब्रेरियन की कल्पना करें जो केवल न्यूयॉर्क शहर के नियमों को जानता है।

  • यदि आप न्यूयॉर्क की स्लैंग (slang) में बोलते हैं, तो लाइब्रेरियन आपको पूरी तरह समझता है।
  • यदि आप मोरक्कन बोली में बोलते हैं, तो लाइब्रेरियन संदर्भ (context) नहीं समझ पाता। उन्हें एक ऐसा शब्द सुनाई देता है जो न्यूयॉर्क में अपमानजनक लग सकता है, इसलिए वे आपको लाइब्रेरी से बाहर निकाल देते हैं।

AI के "सेफ्टी फिल्टर्स" मुख्य रूप से पश्चिमी, अंग्रेजी बोलने वाले मानदंडों पर प्रशिक्षित हैं। वे यह नहीं समझते कि एक शब्द एक संस्कृति में एक दोस्ताना मजाक हो सकता है, जबकि दूसरी संस्कृति में वह अपमान हो सकता है। इसलिए, वे अनजाने में अल्पसंख्यक आवाजों को चुप करा देते हैं, सामान्य बातचीत को "विषाक्त" (toxic) के रूप में चिह्नित करते हैं और उन सवालों के जवाब देने से इनकार कर देते हैं जो उनकी अपनी संस्कृति में पूरी तरह से ठीक हैं।


समाधान: एक "तकनीकी क्लिनिक" (Technical Clinic)

लेखक कहते हैं कि हम AI को टूटे हुए टोस्टर की तरह केवल "ठीक" नहीं कर सकते। हमें एक तकनीकी क्लिनिक की आवश्यकता है।

  • रोबोट को दोष न दें: रोबोट "बुरा" नहीं है; यह बस अपने छिपे हुए प्रोग्रामिंग का पालन कर रहा है।
  • लक्षणों का निदान करें: हमें डॉक्टरों की तरह कार्य करने की आवश्यकता है। हमें यह मापना होगा कि अरबी को अंग्रेजी की तुलना में कितने अधिक "पहेली के टुकड़ों" की आवश्यकता है। हमें यह मानचित्रित करना होगा कि AI का "मन" किन संस्कृतियों को दबा रहा है।
  • इलाज बताएं:
    • बेहतर उपकरण: ऐसे पहेली के टुकड़े बनाएं जो केवल अंग्रेजी बोलने वालों के लिए नहीं, बल्कि सभी के लिए काम करें।
    • बेहतर डेटा: AI को केवल बड़े अखबारों की "साफ-सुथरी" कहानियों के बजाय अधिक विविध कहानियाँ खिलाएं।
    • बेहतर नियम: AI को सिखाएं कि "सुरक्षा" अलग-अलग संस्कृतियों में अलग दिखती है।

निष्कर्ष (The Takeaway)

"एल्गोरिद्मिक अनकॉन्शियस" उन अदृश्य नियमों का समूह है जो यह तय करता है कि डिजिटल दुनिया में किसकी आवाज सुनी जाएगी और किसे चुप कराया जाएगा। यह कोई साजिश नहीं है; यह एक संरचनात्मक दोष है।

यदि हम इन छिपे हुए तंत्रों के नीचे झाँककर उन्हें नहीं समझते हैं, तो हम एक ऐसा भविष्य बनाने का जोखिम उठाते हैं जहाँ AI उन सभी की मदद करता है सिवाय उनके जो अलग तरह से बोलते हैं, अलग तरह से सोचते हैं, या अलग संस्कृतियों में रहते हैं। हमें अदृश्य को दृश्यमान बनाने की आवश्यकता है ताकि हम इसे ठीक कर सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →