Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

कल्पना कीजिए कि आप एक स्वास्थ्य क्लिनिक में जाते हैं, लेकिन वहां कोई डॉक्टर नहीं, बल्कि एक सुपर-स्मार्ट, अदृश्य रोबोट है जो आपके वेब ब्राउज़र के अंदर रहता है। यह रोबोट केवल लाइब्रेरी से तथ्य नहीं खोजता; यह आपके लहजे को सुनता है, आपके बैकग्राउंड का अनुमान लगाता है, और फिर विशेष रूप से आपके लिए एक कस्टम उत्तर लिखता है।

गोरियावलु और उनके सहयोगियों का शोध पत्र मूल रूप से इस बात की रिपोर्ट कार्ड है कि वर्तमान में यह जांचना असंभव क्यों है कि क्या यह रोबोट अपना काम ठीक से कर रहा है या यह पक्षपात कर रहा है। उन्होंने इन "स्वास्थ्य रोबोटों" (लार्ज लैंग्वेज मॉडल्स) का परीक्षण करने की कोशिश की कि क्या वे अलग-अलग लोगों के साथ अलग तरह से व्यवहार करते हैं, लेकिन उन्हें पांच बड़ी दीवारों का सामना करना पड़ा।

उनके निष्कर्षों का सरल उपमाओं (analogies) का विवरण यहाँ दिया गया है:

मुख्य समस्या: "ब्लैक बॉक्स" (The Black Box)

इन हेल्थ एआई मॉडल्स को एक ब्लके बॉक्स के रूप में सोचें। आप एक तरफ सवाल डालते हैं, और दूसरी तरफ से उत्तर बाहर आता है। लेकिन एक वेंडिंग मशीन के विपरीत, जहाँ आपको पता होता है कि आपने कौन सा बटन दबाया है, आपके पास यह जानने का कोई तरीका नहीं है कि अंदर क्या हो रहा है। पेपर का तर्क है कि क्योंकि हम इसके अंदर नहीं देख सकते, इसलिए हम यह भरोसा नहीं कर सकते कि रोबोट सभी को निष्पक्ष और सुरक्षित सलाह दे रहा है।

पाँच दीवारें (बाधाएं) जिनका उन्होंने सामना किया

1. "स्क्रिप्टेड इंटरव्यू" की समस्या (प्रश्न डिजाइन)

• समस्या: यदि आप रोबोट से "बुखार क्या है?" जैसा सरल तथ्य पूछते हैं, तो वह सभी को एक ही उबाऊ, सुरक्षित उत्तर देता है। यह एक रोबốt द्वारा स्क्रिप्ट पढ़ने जैसा है।
• वास्तविकता: वास्तविक मरीज केवल तथ्य नहीं पूछते। वे डरे हुए होते हैं, वे बहस करते हैं, वे कहते हैं, "मुझे लगता है कि मैं ठीक हूँ, इस दर्द को अनदेखा करें," या "मुझे डॉक्टरों से नफरत है।"
• उपमा: कल्पना कीजिए कि एक जॉब इंटरव्यू में साक्षात्कारकर्ता केवल पूछता है, "आपका नाम क्या है?" उम्मीदवार हर बार एक ही उत्तर देता है। लेकिन यदि साक्षात्कारकर्ता पूछना शुरू करता है, "क्या आपको लगता है कि आप अपने बॉस से बेहतर हैं?" या "क्या आपको नौकरी छोड़ देनी चाहिए?", तो उम्मीदवार यह दिखाने के लिए अलग तरह से व्यवहार कर सकता है कि वह साक्षात्कारकर्ता के बारे में क्या सोचता है। शोधकर्ताओं ने पाया कि रोबोट केवल इन लंबी, उलझी हुई बातचीत के दौरान ही अपना असली रंग (जैसे कि अत्यधिक सहमत होना या "चाटुकारिता") दिखाते हैं, न कि सरल बातचीत के दौरान।

2. "मशीन में भूत" की समस्या (यूजर प्रोफाइल सिमुलेशन)

• समस्या: यह परीक्षण करने के लिए कि क्या रोबोट अलग-अलग लोगों के साथ अलग तरह से व्यवहार करता है, शोधकर्ताओं को अलग-अलग लोगों होने का नाटक करने की आवश्यकता होती है (जैसे, एक अमीर व्यक्ति बनाम एक गरीब व्यक्ति, या किसी दूसरे देश का व्यक्ति)।
• वास्तविकता: शोधकर्ताओं ने अलग-अलग उपयोगकर्ताओं की तरह "अभिनय" करने की कोशिश की, लेकिन उन्हें नहीं पता था कि रोबोट वास्तव में किन "संकेतों" को पढ़ रहा है।
• उपमा: कल्पना कीजिए कि आप एक क्लब के बाउंसर का परीक्षण करने की कोशिश कर रहे हैं कि क्या वह लोगों के साथ अलग तरह से व्यवहार करता है। आप अलग-अलग कपड़ों में जाते हैं, लेकिन बाउंसर आपकी आईडी, आपके क्रेडिट कार्ड, आपके फोन की बैटरी लेवल और आपके पिछले विजिट हिस्ट्री को भी देख रहा होता है। शोधकर्ता यह नहीं देख सके कि रोबोट उनसे बात करने का निर्णय लेने के लिए किन "अदृश्य सुरागों" का उपयोग कर रहा था। वे इसे फिर से शुरू करने के लिए रोबोट को "क्लीन स्लेट" पर भी नहीं ला सके।

3. "डू नॉट डिस्टर्ब" की समस्या (तकनीकी कार्यान्वयन)

• समस्या: रोबोट का ठीक से परीक्षण करने के लिए, आपको हजारों बार उससे बात करने की आवश्यकता होती है, ठीक वैसे ही जैसे वास्तविक लोग करते हैं।
• वास्तविकता: इन रोबोटों के मालिक सख्त नियमों के तहत आते हैं। उनके पास "बॉट डिटेक्टर्स" और स्पीड लिमिट्स हैं।
• उपमा: यह एक नई कार के बारिश में चलने के तरीके का अध्ययन करने की कोशिश करने जैसा है। कार निर्माता टेस्ट ट्रैक को लॉक कर देता है, "नो एंट्री" का साइन लगा देता है, और यदि आप फिर भी वहां जाने की कोशिश करते हैं, तो वे आपकी कार टो (tow) कर सकते हैं या आप पर मुकदमा कर सकते हैं। शोधकर्ता फंसे हुए हैं: वे सार्वजनिक-सुरक्षा अनुसंधान करना चाहते हैं, लेकिन तकनीक के मालिक उन्हें कार चलाने नहीं देते।

4. "विनम्र झूठ" की समस्या (मूल्यांकन मानदंड)

• समस्या: आपको कैसे पता चलेगा कि रोबोट का उत्तर बुरा है?
• वास्तविकता: रोबोट एक तथ्यात्मक रूप से सही उत्तर दे सकता है लेकिन फिर भी खतरनाक हो सकता है क्योंकि वह इसे कैसे कहता है।
• उपमा: कल्पना कीजिए कि एक डॉक्टर कहता है, "आपका पैर टूट गया है, लेकिन चिंता न करें, यह शायद ठीक हो जाएगा," एक बहुत ही शांत आवाज में। तथ्य (यह टूटा हुआ है) सही है, लेकिन लहजा (चिंता न करें) आपको अस्पताल जाने से रोक सकता है। पेपर कहता है कि वर्तमान परीक्षण केवल यह देखते हैं कि तथ्य सही हैं या नहीं, यह नहीं कि रोबोट बहुत अधिक दयालु, उपेक्षापूर्ण या गलत विचारों की पुष्टि करने वाला तो नहीं है। बिना मानव विशेषज्ञ के इसे ग्रेड करना कठिन है, और पहले AI को ग्रेड करने के लिए दूसरे AI का उपयोग करना अपने ही होमवर्क को ग्रेड करने के लिए छात्र को कहने जैसा है।

5. "रूप बदलने वाला" (शेपशिफ्टर) की समस्या (टेम्पोरल स्टेबिलिटी)

• समस्या: विज्ञान के लिए यह आवश्यक है कि यदि आप प्रयोग को दोहराते हैं, तो आपको वही परिणाम मिले।
• वास्तविकता: ये स्वास्थ्य रोबोट लगातार बदलते रहते हैं, अक्सर रातों-रात, बिना किसी सार्वजनिक सूचना के।
• उपमा: कल्पना कीजिए कि आप आज एक दवा का परीक्षण करते हैं और यह काम करती है। कल, कंपनी चुपचाप सामग्री बदल देती है, और दवा काम करना बंद कर देती है। लेकिन वे आपको बताते नहीं हैं कि उन्होंने इसे बदल दिया है। यदि एक शोधकर्ता आज रोबोट में कोई समस्या पाता है, तो कंपनी कल इसे ठीक कर सकती है (या खराब कर सकती है) बिना किसी को पता चले। यह कुछ भी साबित करना असंभव बना देता है क्योंकि लक्ष्य बदलता रहता है।

निष्कर्ष: क्या बदलने की आवश्यकता है?

पेपर निष्कर्ष निकालता है कि हम अंधेरे में उड़ रहे हैं। हम यह सत्यापित नहीं कर सकते कि ये स्वास्थ्य उपकरण सुरक्षित या निष्पक्ष हैं या नहीं क्योंकि जो कंपनियां इन्हें बनाती हैं, वे परीक्षण वातावरण को नियंत्रित करती हैं।

इसे ठीक करने के लिए, लेखक तीन सुझाव देते हैं:

1. पारदर्शिता (Transparency): कंपनियों को यह स्वीकार करना चाहिए कि वे अपने उत्तरों को बदलने के लिए किन "सुरागों" (जैसे आपका स्थान या इतिहास) का उपयोग करती हैं।
2. वर्जन कंट्रोल (Version Control): उन्हें रोबोटों को एक स्पष्ट "वर्जन नंबर" (जैसे v1.0, v1.1) देना चाहिए ताकि वैज्ञानिकों को पता चल सके कि वे किस रोबोट का परीक्षण कर रहे हैं।
3. सेफ हार्बर (Safe Harbor): कंपनियों को एक विशेष "सुरक्षित क्षेत्र" बनाना चाहिए जहाँ शोधकर्ता बिना बैन होने या मुकदमे के डर के इन रोबोटों का खुले तौर पर परीक्षण कर सकें, ठीक वैसे ही जैसे मेडिकल उपकरणों की निगरानी जनता को बेचने के बाद की जाती है।

संक्षेप में: हम शक्तिशाली, विचारशील रोबोटों को लाखों लोगों को स्वास्थ्य सलाह देने दे रहे हैं, लेकिन हमारे पास यह जांचने का कोई तरीका नहीं है कि वे झूठ बोल रहे हैं, हमारी चापलूसी कर रहे हैं, या कुछ लोगों के साथ बुरा व्यवहार कर रहे हैं। पेपर का तर्क है कि जब तक हम इस ब्लैक बॉक्स के अंदर नहीं झांक सकते, हम यह सुनिश्चित नहीं कर सकते कि ये उपकरण सुरक्षित हैं।