Compared to What? Baselines and Metrics for Counterfactual Prompting
यह शोध पत्र तर्क देता है कि मानक काउंटरफैक्चुअल प्रॉम्प्टिंग मूल्यांकन अक्सर मॉडल की संवेदनशीलता को विशिष्ट कारकों के प्रति गलत तरीके से आरोपित करते हैं क्योंकि वे सतही-रूप परिवर्तनों (surface-form changes) के प्रति सामान्य संवेदनशीलता को ध्यान में रखने में विफल रहते हैं, और एक ऐसे सुदृढ़ ढांचे का प्रस्ताव देता है जो वास्तविक प्रभावों को आकस्मिक शोर से अलग करने के लिए लक्षित हस्तक्षेपों की तुलना पैराफ्रेसिंग बेसलाइन से करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई विशिष्ट सुराग (जैसे किसी मरीज का लिंग) वास्तव में एक संदिग्ध (एक AI मॉडल) के निर्णय को प्रभावित कर रहा है। आप एक कहानी में उस एक सुराग को बदलते हैं और देखते हैं कि क्या संदिग्ध अपना मन बदल लेता है।
यह शोध पत्र तर्क देता है कि अधिकांश जासूस एक बहुत बड़ी गलती कर रहे हैं: वे यह जांचना भूल जाते हैं कि क्या संदिग्ध अपना मन केवल इसलिए बदल रहा है क्योंकि आपने कहानी को फिर से लिखा है, भले ही उसका अर्थ वही रहा हो।
यहाँ शोध के निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. मुख्य समस्या: "पैराफ्रेस ट्रैप" (Paraphrase Trap)
कल्पना कीजिए कि आप यह परीक्षण कर रहे हैं कि क्या एक न्यायाधीश "बॉब" नाम के लोगों के प्रति पक्षपाती है।
- पुराना तरीका: आप "बॉब" के बारे में एक केस फाइल लेते हैं और नाम बदलकर "एलिस" कर देते हैं। न्यायाधीश अपने फैसले को बदल देता है। आप निष्कर्ष निकालते हैं: "आहा! न्यायाधीश बॉब के प्रति पक्षपाती है!"
- शोध पत्र का अंतर्दृष्टि (Insight): लेकिन रुकिए! क्या होगा अगर न्यायाधीश ने अपना फैसला इसलिए बदल दिया क्योंकि आपने फाइल के शब्दों को बदल दिया, न कि नाम को? शायद न्यायाधीश लंबे वाक्यों से नफरत करता है, या शायद वह नई शब्दावली से भ्रमित हो जाता है।
लेखक इसे "पैराफ्रेस ट्रैप" कहते हैं। उन्होंने पाया कि जब आप किसी वाक्य को केवल उसी अर्थ में फिर से लिखते हैं (एक "सौम्य पैराफ्रेस" या benign paraphrase), तो AI अपने उत्तर को उतनी ही बार बदल देता है जितना कि तब, जब आप लिंग या जाति जैसे संवेदनशील कारक को सटीकता से बदलते हैं।
उपमा:
यह कार के पेंट के रंग के प्रति संवेदनशील होने का परीक्षण करने जैसा है।
- लक्षित परीक्षण (Targeted Test): आप कार को लाल रंग से पेंट करते हैं। इंजन बंद हो जाता है। आप सोचते हैं, "लाल रंग इंजन को तोड़ देता है!"
- रियलिटी चेक: फिर आप एक नीली कार लेते हैं और उसे फिर से नीला पेंट करते हैं (उसी नीले रंग का एक अलग शेड)। इंजन भी बंद हो जाता है।
- निष्कर्ष: इंजन "लाल" के प्रति संवेदनशील नहीं है; यह बस इस बात के प्रति संवेदनशील है कि कोई भी पेंट को छू रहा है।
2. समाधान: AI के लिए "कंट्रोल ग्रुप" (Control Group)
इसे ठीक करने के लिए, लेखक AI के परीक्षण के लिए एक नया नियम प्रस्तावित करते हैं: आपको अपने "विशेष परिवर्तन" की तुलना एक "बोरिंग परिवर्तन" से करनी चाहिए।
- विशेष परिवर्तन (The Special Change): एक चिकित्सा कहानी में "पुरुष" को "महिला" से बदलना।
- बोरिंग परिवर्तन (The Boring Change): कहानी को अलग शब्दों का उपयोग करके फिर से लिखना, लेकिन उसी सटीक अर्थ को बनाए रखना (और शब्दों/अक्षरों की समान संख्या बदलना)।
यदि AI "बोरिंग परिवर्तन" के लिए भी उतना ही मन बदलता है जितना कि "विशेष परिवर्तन" के लिए, तो इसका मतलब है कि "विशेष परिवर्तन" ने वास्तव में कुछ विशेष नहीं किया। वह केवल शोर (noise) था।
3. उन्होंने क्या पाया (The "MedPerturb" Experiment)
लेखकों ने एक प्रसिद्ध अध्ययन पर वापस जाकर, जिसमें दावा किया गया था कि AI मॉडल चिकित्सा निदान में कुछ लिंगों के प्रति अत्यधिक पक्षपाती थे, अपने नए "बोरिंग परिवर्तन" कंट्रोल ग्रुप के साथ परीक्षणों को फिर से चलाया।
- परिणाम: "पक्षपात" काफी हद तक गायब हो गया।
- मुख्य बात: जब उन्होंने इस तथ्य को ध्यान में रखा कि AI मॉडल सामान्य रूप से किसी भी टेक्स्ट परिवर्तन के प्रति संवेदनशील होते हैं, तो लिंग के प्रति विशिष्ट संवेदनशीलता गायब हो गई। 120 परीक्षणों में से, केवल 5 ने वास्तविक प्रभाव दिखाया, और वे "रंगीन" भाषा (जैसे विस्मयादिबोधक चिह्न!) जोड़ने से संबंधित थे, न कि लिंग से।
उपमा: यह महसूस करने जैसा है कि तराजू इसलिए खराब नहीं है क्योंकि वह एक पंख को पत्थर से अलग वजन देता है; बल्कि यह कि तराजू हिलने लगता है जब भी आप उसे छूते हैं। पिछले अध्ययनों ने सोचा कि तराजू पंखों के लिए खराब है; लेखकों ने महसूस किया कि तराजू हर चीज़ के लिए हिल जाता है।
4. काम के लिए बेहतर उपकरण (The "Ruler" Analogy)
शोध पत्र यह भी तर्क देता है कि जो उपकरण शोधकर्ता इन परिवर्तनों को मापने के लिए उपयोग करते हैं, वे अक्सर बहुत ही भद्दे (blunt) होते हैं।
- भद्दा उपकरण (Aggregate Metrics): कल्पना कीजिए कि आप पतंग के कितनी बार पलटने की गिनती करके हवा को मापने की कोशिश कर रहे हैं। यदि पतंग एक बार पलटती है, तो आप कहते हैं, "हवा!" यदि नहीं, तो आप कहते हैं, "कोई हवा नहीं।" यह उस सूक्ष्म हवा को मिस कर देता है जो पतंग को पलटाए बिना उसे डगमगा देती है।
- शोध पत्र का शब्द: फ्लिप रेट (Flip Rate), म्यूचुअल इंफॉर्मेशन (Mutual Information)।
- सटीक उपकरण (Per-Sample Metrics): कल्पना कीजिए कि आप एक संवेदनशील एनेमोमीटर (anemometer) का उपयोग कर रहे हैं जो हवा की सटीक गति को मापता है, भले ही पतंग न पलटे।
- शोध पत्र का शब्द: JSD, KL डाइवर्जेंस (KL Divergence)।
- दिशात्मक उपकरण (Regression): यह आपको न केवल यह बताता है कि हवा कितनी चली, बल्कि यह भी कि वह किस दिशा में चली।
- शोध पत्र का शब्द: रिग्रेशन कोएफिशिएंट्स (Regression Coefficients)।
निष्कर्ष: "सटीक उपकरण" (JSD/KL) और "दिशात्मक उपकरण" (Regression) वास्तविक पक्षपात को खोजने में बहुत बेहतर हैं। "भद्दे उपकरण" अक्सर वास्तविक प्रभावों को मिस कर देते हैं या क्लास असंतुलन (जैसे जब 99% उत्तर "हाँ" होते हैं) के कारण भ्रमित हो जाते हैं।
5. एक वास्तविक उदाहरण: "प्रोफेसर बनाम नर्स" टेस्ट
अपने तरीके को सिद्ध करने के लिए, उन्होंने एक ज्ञात पक्षपात का परीक्षण किया: यह विचार कि AI "प्रोफेसर" को पुरुषों के साथ और "नर्स" को महिलाओं के साथ जोड़ता है।
- उन्होंने प्रोफेसरों और नर्सों के जीवन परिचय (biographies) लिए और उनके लिंग बदल दिए।
- भद्दा उपकरण: अंतिम "हाँ/नहीं" उत्तर में केवल एक बहुत छोटा, लगभग अदृश्य बदलाव देखा।
- सटीक उपकरण: AI के आंतरिक आत्मविश्वास (confidence) में एक स्पष्ट बदलाव देखा।
- दिशात्मक उपकरण: पुष्टि की कि जीवनी को "महिला" में बदलने से प्रोफेसर होने के प्रति AI का आत्मविश्वास व्यवस्थित रूप से कम हो गया।
इससे सिद्ध हुआ कि उनका तरीका वास्तविक पक्षपात को खोज सकता है जब वह मौजूद हो, लेकिन यह उस "नकली" पक्षपात को फ़िल्टर कर देता है जो केवल टेक्स्ट परिवर्तनों के प्रति AI की प्रतिक्रिया के कारण था।
शोध पत्र की सलाह का सारांश
यदि आप AI के पक्षपात का परीक्षण करना चाहते हैं, तो केवल एक शब्द बदलकर यह न देखें कि क्या होता है। आपको:
- एक कंट्रोल का उपयोग करना चाहिए: अपने परिवर्तन की तुलना एक "बोरिंग" पुनलेखन (rewrite) से करें जो समान मात्रा में टेक्स्ट बदलता है।
- आकार का मिलान करें: सुनिश्चित करें कि आपका "बोरिंग" पुनलेखन आपके "विशेष" परिवर्तन के समान संख्या में शब्दों को बदलता है।
- संवेदनशील रूलर का उपयोग करें: केवल "हाँ/नहीं" के बदलावों को न गिनें; AI के आत्मविश्वास में सूक्ष्म बदलावों को देखें।
- दिशा की जाँच करें: यह देखने के लिए गणित का उपयोग करें कि क्या परिवर्तन AI को एक विशिष्ट, पक्षपाती दिशा में धकेलता है।
निचोड़: पिछले कई अध्ययनों ने दावा किया कि AI पक्षपाती था क्योंकि वे यह नहीं समझ पाए कि AI केवल इस बात पर प्रतिक्रिया दे रहा था कि टेक्स्ट को छुआ गया है। एक बार जब आप उस "स्पर्श संवेदनशीलता" (touch sensitivity) को ध्यान में रखते हैं, तो पक्षपात के प्रमाण अक्सर गायब हो जाते हैं—या बहुत अधिक स्पष्ट और विशिष्ट हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।