BiasTrace: Linking Reasoning Behaviours to Biased Outputs in LLMs
यह शोधपत्र BiasTrace प्रस्तुत करता है, जो एक ऐसा एनोटेशन स्कीम है जो विशिष्ट तर्क व्यवहारों (reasoning behaviors) को पक्षपाती LLM आउटपुट से जोड़ता है, यह प्रकट करते हुए कि स्पष्ट भाषा के बजाय सूक्ष्म तर्क पैटर्न पक्षपात को संचालित करते हैं और बेहतर पहचान एवं इन्फरेंस-टाइम शमन (inference-time mitigation) को सक्षम बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि आपका एक सुपर-स्मार्ट रोबोट दोस्त बार-बार गलत या बेतुकी गलतियाँ क्यों कर रहा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है। वे डिजिटल विश्वकोशों की तरह हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और आपसे बातें कर सकते हैं, लेकिन वे उन किताबों और वेबसाइटों से कुछ बुरी आदतें सीख लेते हैं जिन्हें वे पढ़ते हैं। इन बुरी आदतों को "बायस" (bias) या पूर्वाग्रह कहा जाता है—जैसे यह सोचना कि केवल कुछ खास प्रकार के लोग ही विशिष्ट नौकरियों के लिए अच्छे होते हैं, या लोगों के दिखने के आधार पर उनके बारे में धारणा बना लेना।
लंबे समय से, वैज्ञानिक इन रोबोट्स को ठीक करने की कोशिश कर रहे हैं, लेकिन वे केवल उनके अंतिम उत्तरों की जाँच करते हैं। यदि रोबोट कुछ बुरा या गलत कहता है, तो वे उसे दोबारा ऐसा न करने के लिए सिखाने की कोशिश करते हैं। लेकिन यह केवल एक फुटबॉल टीम के हारने के कारणों को समझने के लिए केवल उसके अंतिम स्कोर को देखने जैसा है। आप खेल के दौरान हुई सभी दिलचस्प चालों, खराब पास और भ्रमित क्षणों को मिस कर देते हैं। हाल ही में, इन रोबोट्स को एक नई सुपरपावर मिली है: वे उत्तर देने से पहले "ज़ोर से सोच" (think out loud) सकते हैं। वे एक चरण-दर-चरण योजना लिखते हैं, जिसे "रीजनिंग ट्रेस" (reasoning trace) कहा जाता है, जो यह दिखाता है कि वे अपने निष्कर्ष तक कैसे पहुँचे। यह शोध पत्र इसी विचार प्रक्रिया को देखने के बारे में है कि रोबोट वास्तव में कहाँ गलत होता है।
इस अध्ययन के पीछे के शोधकर्ताओं, वर्षा रामिनेनी और उनकी टीम ने केवल अंतिम उत्तर देखने के बजाय, रोबोट की "सोचने की प्रक्रिया" की जांच करने का निर्णय लिया। उन्होंने BIASTRACE नामक एक नया टूल बनाया। BIASTRACE को एक विशेष चश्मे की तरह समझें जो आपको रोबोट के सोचते समय उसकी अदृश्य आदतों को देखने की अनुमति देता है। केवल यह पूछने के बजाय कि "क्या उत्तर गलत है?", उन्होंने पूछा, "रोबोट के दिमाग में क्या चल रहा था जिसकी वजह से वह गलत हुआ?"
उन्होंने एक चौंकाने वाली बात पाई। उन्हें उम्मीद थी कि रोबोट अपनी सोच में "बुरे शब्दों" या स्पष्ट रूप से रूढ़ियों (stereotypes) का उपयोग करके पक्षपाती गलतियाँ करेंगे। लेकिन डेटा ने दिखाया कि मुख्य कारण यह नहीं था। इसके बजाय, एक पक्षपाती, अनुचित उत्तर का सबसे बड़ा संकेतक कुछ था जिसे उन्होंने "ओवरथिंकिंग" (ज़रूरत से ज़्यादा सोचना) कहा।
कल्पना कीजिए कि एक रोबोट पहेली सुलझाने की कोशिश कर रहा है। यदि वह अटक जाता है, तो वह खुद पर संदेह करना शुरू कर सकता है, बार-बार विचार बदल सकता है और हर कदम पर खुद को परख सकता है। "शायद उत्तर A है? नहीं, रुको, शायद यह B है? लेकिन क्या होगा अगर यह C है?" शोधकर्ताओं ने पाया कि जब रोबोट अत्यधिक संदेह और भ्रम के इस चक्र में फंस जाता है, तो वह निर्णय लेने के लिए किसी रूढ़िवादी धारणा (stereotype) का सहारा लेने की बहुत अधिक संभावना रखता है, भले ही सबूत उसका समर्थन न करते हों। यह एक ऐसे व्यक्ति की तरह है जो सही चुनाव करने को लेकर इतना घबराया हुआ है कि वह केवल सोचने से बचने के लिए गलती से गलत विकल्प चुन लेता है।
टीम ने सामाजिक मुद्दों पर हजारों सवालों पर इसका परीक्षण किया, जैसे कि क्या एक अमीर पड़ोस या एक गरीब पड़ोस में ड्रग्स की समस्या अधिक होती है। उन्होंने देखा कि विभिन्न रोबल्स (जैसे Qwen और GPT) इन सवालों पर कैसे सोचते हैं। उन्होंने पाया कि भले ही रोबोट ने किसी भी बुरे शब्द का उपयोग न किया हो, फिर भी वह एक पक्षपाती निष्कर्ष पर पहुँच सकता है, बस भ्रमित होकर और ज़रूरत से ज़्यादा सोचकर। वास्तव में, जब रोबोट्स को "पूर्वाग्रह के प्रति सावधान रहने" के लिए कहा गया, तो वे कभी-कभी और भी अधिक भ्रमित हो गए और समस्या के बारे में ज़्यादा सोचने लगे, जिससे कुछ मामलों में पूर्वाग्रह अनजाने में और भी बढ़ गया।
तो, उन्होंने इस खोज का उपयोग क्या किया? उन्होंने अपने नए "चश्मे" (BIASTRACE) का उपयोग करके इन गलतियों को पकड़ने का एक बेहतर तरीका बनाया। केवल एक रोबोट जज से यह पूछने के बजाय कि "क्या यह उत्तर निष्पक्ष है?", उन्होंने उससे विशिष्ट सोचने की आदतों के बारे में पूछा, जैसे "क्या रोबोट ज़रूरत से ज़्यादा सोच रहा है?" या "क्या वह कहानी में दी गई बातों के अलावा कुछ मनगढ़ंत तथ्य बना रहा है?" यह नई विधि खतरनाक उत्तरों को होने से पहले ही पकड़ने में बहुत बेहतर थी।
अंत में, उन्होंने इसे वास्तविक समय (real-time) में ठीक करने के लिए इसका उपयोग करने का प्रयास किया। उन्होंने एक सिस्टम सेट किया जहाँ एक रोबोट आठ अलग-अलग उत्तर उत्पन्न करता है, और एक सहायक प्रत्येक एक की विचार प्रक्रिया की जाँच करता है। यदि सहायक देखता है कि रोबोट "ज़रूरत से ज़्यादा सोच" रहा है या गलत धारणाएँ बना रहा है, तो उस उत्तर को हटा दिया जाता है। रोबोट फिर शेष, "साफ" विचारों में से सबसे अच्छा उत्तर चुनता है। इस सरल ट्रिक ने रोबोट्स को न केवल स्मार्ट बल्कि निष्पक्ष भी बनाया, जिससे उनके पक्षपाती उत्तरों में काफी कमी आई, बिना प्रश्नों के उत्तर देने की उनकी क्षमता को प्रभावित किए।
मुख्य बात यह है कि AI में पूर्वाग्रह हमेशा रोबोट द्वारा कुछ बुरा कहने के बारे में नहीं होता; अक्सर, यह रोबोट के भ्रमित होने और ज़रूरत से ज़्यादा सोचने के बारे में होता है, जब तक कि वह खुद को आश्वस्त करने के लिए किसी रूढ़ि (stereotype) को पकड़ न ले। यह देखकर कि रोबोट कैसे सोचता है, न कि केवल यह कि वह क्या कहता है, हम इन त्रुटियों को पकड़ने के लिए बेहतर उपकरण बना सकते हैं और AI को सभी के लिए थोड़ा अधिक निष्पक्ष बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।