Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation
यह शोध पत्र प्रकट करता है कि जहाँ बड़े भाषा मॉडल (large language models) मनगढ़ंत आँकड़ों का पता लगाने की पृथक क्षमता रखते हैं, वहीं वे बहु-स्रोत संश्लेषण (multi-source synthesis) के दौरान इस विवेक को लागू करने में विफल रहते हैं, और इसके बजाय एक "कार्यप्रणाली-पंजीकरण" (methodology-register) संकेत पर निर्भर रहते हैं जो विश्लेषणात्मक शैली वाले किंतु संख्यात्मक रूप से अमान्य दावों को समान महत्व प्रदान करता है, जिससे एक व्यवस्थित ज्ञान संबंधी अंध बिंदु (epistemic blind spot) निर्मित होता है जहाँ शैलीगत विश्वसनीयता तथ्यात्मक सत्यापन पर हावी हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation" का सरल भाषा में अनुवाद दिया गया है:
मुख्य विचार: "तथ्य से अधिक शैली" की समस्या
कल्पना कीजिए कि आप एक मैनेजर हैं और बजट तय करने की कोशिश कर रहे हैं। आपके पास चार कर्मचारी अलग-अलग आंकड़े दे रहे हैं। उनमें से एक, जिसे हम "एनालिस्ट" (विश्लेषक) कह सकते हैं, एक ऐसा नंबर देता है जो दूसरों की तुलना में थोड़ा कम लग रहा है। लेकिन, एनालिस्ट अपने डेटा को एक बहुत ही शानदार, पेशेवर दिखने वाले स्प्रेडशीट के साथ पेश करता है, जिसमें जटिल फॉर्मूले और बहुत सटीक (tiny, precise) नंबर दिए गए हैं।
यह शोध पाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स जैसे टूल्स के पीछे का AI दिमाग हैं—इस स्थिति में एक विशिष्ट प्रकार के मैनेजर की तरह व्यवहार करते हैं: वे गणित के "दिखावे" से आसानी से धोखा खा जाते हैं, भले ही वह गणित असंभव हो।
शोधकर्ता इसे एक "एपिस्टेमिक ब्लाइंड स्पॉट" (ज्ञान संबंधी अंध बिंदु) कहते हैं। AI किसी अकेले कागज के टुकड़े को अलग से देखने पर सच देख सकता है, लेकिन जब वह एक शोर-शराबे वाली समूह चर्चा के बीच में होता है, तो वह गणित की जांच करना बंद कर देता है और प्रस्तुति के "वाइब" (अंदाज़) पर भरोसा करने लगता है।
प्रयोग: एक ग्रुप चैट सिमुलेशन
शोधकर्ताओं ने एक वास्तविक परिदृश्य तैयार किया: कार्यस्थल (जैसे Slack या Teams) में एक ग्रुप चैट जिसमें चार लोग एक व्यावसायिक मीट्रिक (जैसे कितने ग्राहक कंपनी के साथ जुड़े रहे, एक विज्ञापन अभियान कितना सफल रहा, या कोई बीमारी कितनी फैली हुई है) पर चर्चा कर रहे हैं।
- सेटअप: तीन लोग एक नंबर पर सहमत हैं (जैसे, "रिटेंशन 80% है")।
- असहमति जताने वाला: चौथा व्यक्ति (एनालिस्ट) कहता है, "नहीं, यह वास्तव में 49% है।"
- ट्विस्ट: शोधकर्ताओं ने इस बात को बदला कि एनालिस्ट उस 49% के दावे को कैसे पेश करता है। कभी-कभी वे वास्तविक, वैध गणित का उपयोग करते थे। कभी-कभी उन्होंने नकली, असंभव गणित का उपयोग किया (जैसे, एक ऐसा कॉन्फिडेंस इंटरवल जो इतना संकीर्ण था जिसके लिए लाखों डेटा पॉइंट्स की आवश्यकता होती, लेकिन एनालिस्ट के पास केवल 2,400 थे)।
मुख्य निष्कर्ष
1. "आइसोलेशन टेस्ट" बनाम "ग्रुप चैट"
- अलगाव में (In Isolation): यदि आप AI को केवल एनालिस्ट का संदेश दिखाते हैं और पूछते हैं, "क्या यह गणित वैध है?", तो AI एक जीनियस की तरह व्यवहार करता है। वह नकली नंबरों को 100% बार पकड़ लेता है। वह कहता है, "अरे, यह कॉन्फिडेंस इंटरवल असंभव रूप से छोटा है! यह गलत है।"
- ग्रुप चैट में: जब वही एनालिस्ट उसी नकली संदेश को अन्य तीन लोगों के साथ ग्रुप चैट में पोस्ट करता है, तो AI अपना रवैया बदल लेता है। वह इस तथ्य को अनदेखा कर देता है कि गणित असंभव है। इसके बजाय, वह संदेश की शैली (style) को देखता है। क्योंकि संदेश गंभीर (rigorous) लग रहा था (इसमें तकनीकी शब्दावली और सटीक नंबर थे), AI ने उस एनालिस्ट के नकली नंबर पर भी उतना ही भरोसा करना शुरू कर दिया, जितना वह वास्तविक नंबरों पर करता।
उपमा (Analogy): एक जादूगर की कल्पना करें। यदि आप एक जज से एक कार्ड देखने के लिए कहते हैं, तो जज बता सकता है कि वह नकली है। लेकिन यदि जादूगर वही नकली कार्ड का खेल भीड़ के सामने करता है जो आपस में बहस कर रहे हों, तो AI उस भीड़ और जादूगर के शानदार सूट से विचलित हो जाता है, और वह खेल को असली मान लेता है।
2. "मेथोडोलॉजी गेट" (Methodology Gate)
शोधकर्ताओं ने AI के "दिमाग" (इसके आंतरिक कोड) की गहराई से जांच की ताकि यह देखा जा सके कि ऐसा क्यों होता है। उन्हें एक विशिष्ट तंत्र मिला जिसे वे "मेथोडोलॉजी-रजिस्टर गेट" कहते हैं।
- यह क्या करता है: यह गेट यह जांचता है कि क्या टेक्स्ट एक गंभीर वैज्ञानिक विश्लेषण जैसा दिखता है। क्या इसमें "Bonferroni-corrected" या "Bayesian nowcasting" जैसे शब्द हैं?
- यह क्या अनदेखा करता है: यह उस टेक्स्ट के अंदर के नंबरों की जांच नहीं करता कि वे वास्तव में समझ में आते हैं या नहीं।
- परिणाम: AI "असंभव सटीकता" (नकली नंबरों) वाले संदेश को "वैध सटीकता" (वास्तविक नंबरों) वाले संदेश के समान ही मानता है। जब तक टेक्स्ट विश्लेषणात्मक दिखता है, गेट खुल जाता है और AI स्रोत पर भरोसा करने लगता है।
उपमा: AI को एक क्लब के बाउंसर की तरह समझें। बाउंसर आपकी आईडी (मेथोडोलॉजी टेक्स्ट) चेक करता है। यदि आईडी आधिकारिक दिखती है और उस पर एक शानदार स्टैम्प है, तो आप अंदर आ जाते हैं। बाउंसर यह चेक नहीं करता कि आईडी पर फोटो वास्तव में आपकी है या नहीं, या जन्म तिथि असंभव है या नहीं। यदि आईडी दिखने में असली है, तो आप अंदर आ जाते हैं।
3. "कंसेंसस गेट" (Consensus Gate)
अध्ययन में यह भी पाया गया कि यह ब्लाइंड स्पॉट सामाजिक दबाव से ट्रिगर होता है।
- जब एनालिस्ट समूह से अकेला असहमत होता है (अलग-थも), तो AI सबसे अधिक संवेदनशील होता है। वह एनालिस्ट की ओर झुक जाता है क्योंकि एनालिस्ट एक विशेषज्ञ की तरह दिखता है।
- जब समूह एनालिस्ट के साथ सहमत होता है, तो AI को कठिन निर्णय लेने की आवश्यकता नहीं होती, इसलिए प्रभाव कम दिखाई देता है।
- महत्वपूर्ण बात: AI विवाद होने पर गणित को "दोबारा चेक" नहीं करता है। वह यह तय करने के लिए कि किसे भरोसा करना है, तर्क के "दिखावे" पर निर्भर करता है।
4. प्रॉम्प्टिंग (Prompting) इसे ठीक नहीं कर पाती
शोधकर्ताओं ने AI को निर्देश देकर "स्मार्ट" बनाने की कोशिश की, जैसे, "गणित को ध्यान से जांचें" या "सांख्यिकी को सत्यापित करें।"
- परिणाम: यह काम नहीं आया। जब उन्होंने AI को गणित जांचने के लिए कहा, तो वह हर किसी पर संदिग्ध होने लगा। वह वास्तविक नंबरों को भी उतना ही संदिग्ध मानने लगा जितने कि नकली नंबरों को। वह चयनात्मक रूप से संशयवादी (selectively skeptical) होना नहीं सीख सका; वह बस सामान्य रूप से संशयवादी हो गया।
यह क्यों होता है? ("ट्रेनिंग" का पहलू)
पेपर सुझाव देता है कि यह कोई बग (खामी) नहीं, बल्कि इन मॉडल्स के प्रशिक्षण का एक फीचर है।
- ट्रेनिंग डेटा: AI मॉडल्स को विशाल मात्रा में प्रकाशित टेक्स्ट (लेख, रिपोर्ट, पेपर) पर प्रशिक्षित किया जाता है। वास्तविक दुनिया में, प्रकाशित पेपर लगभग हमेशा वैध गणित के साथ होते हैं।
- सीखा गया सबक: AI ने सीखा कि "ऐसा टेक्स्ट जो एक वैज्ञानिक पेपर जैसा दिखता है" = "उच्च गुणवत्ता"। उसने नंबरों को सत्यापित करना कभी नहीं सीखा क्योंकि उसके ट्रेनिंग डेटा में, नंबर लगभग हमेशा सही थे। उसने कठोरता के स्टाइल (शैली) को पहचानना सीखा, न कि कठोरता के तथ्य (substance) को।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि वर्तमान AI मॉडल "अधिकार के सौंदर्य" (aesthetics of authority) (शानदार शब्द, सटीक नंबर, संरचित तर्क) को पहचानने में उत्कृष्ट हैं, लेकिन वे सामाजिक सेटिंग में एक झूठे दावे का समर्थन करने के लिए उपयोग किए जाने वाले सौंदर्य के प्रति सामग्री की वैधता (validity of the content) के प्रति अंधे हैं।
वे इसे "एपिस्टेमिक अलाइनमेंट" (Epistemic Alignment) कहते हैं। जिस तरह हम AI को "सुरक्षित" या "सहायक" होने के लिए अलाइन करते हैं, हमें यह भी पता लगाना होगा कि उन्हें उस साक्ष्य की गुणवत्ता के बारे में सत्य होने के लिए कैसे अलाइन किया जाए जिसे वे पढ़ रहे हैं, न कि केवल उस शैली के बारे में जिसमें वह प्रस्तुत किया गया है। जब तक ऐसा नहीं होता, यदि कोई AI किसी बहस का विश्लेषण कर रहा है, तो वह उस व्यक्ति पर भरोसा कर सकता है जिसके पास सबसे शानदार स्प्रेडशीट है, भले ही वह स्प्रेडशीट बकवास से भरी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।