Can Zero-Shot LLMs Predict Child Malnutrition? A Fairness and Temporal Robustness Study
यह अध्ययन बांग्लादेश में बाल स्टंटिंग (बौनापन) की भविष्यवाणी करने के लिए ज़ीरो-शॉट GPT-4o-mini मॉडल का उपयोग करने की व्यवहार्यता, निष्पक्षता और सामयिक सुदृढ़ता का मूल्यांकन करता है, जिसमें यह पाया गया कि यद्यपि यह एक पर्यवेक्षित बेसलाइन की तुलना में तुलनीय सटीकता और उच्च संवेदनशीलता प्राप्त करता है और समय के साथ स्थिर प्रदर्शन प्रदर्शित करता है, फिर भी इसमें निवास और धन श्रेणियों के बीच महत्वपूर्ण निष्पक्षता असमानताएं हैं जो सार्वजनिक स्वास्थ्य तैनाती से पहले सावधानी बरतने की चेतावनी देती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल नंबरों की गणना नहीं करते, बल्कि वास्तव में एक परिवार की कहानी को "पढ़ते" हैं और यह अनुमान लगाते हैं कि क्या कोई बच्चा बहुत धीरे बढ़ रहा है। यह सार्वजनिक स्वास्थ्य में आर्टिफिशियल इंटेलिजेंस (AI) का रोमांचक, थोड़ा विचित्र मोर्चा है। वर्षों से, वैज्ञानिक यह अनुमान लगाने के लिए कि कौन सा बच्चा कुपोषण के जोखिम में है, मानक गणितीय उपकरणों का उपयोग करते रहे हैं, जिसमें इस बात पर नज़र रखी जाती है कि एक परिवार के पास कितने पैसे हैं, वे कहाँ रहते हैं, और माँ का स्वास्थ्य कैसा है। लेकिन हाल ही में, एक नए प्रकार के सुपर-स्मार्ट कंप्यूटर मस्तिष्क, जिसे "लार्ज लैंग्वेज मॉडल" (या LLM) कहा जाता है, का आगमन हुआ है। एक LLM को एक ऐसे छात्र के रूप में सोचें जिसने पुस्तकालय की लगभग हर किताब पढ़ी है लेकिन उसने बाल पोषण पर कोई विशिष्ट परीक्षा नहीं दी है। मुख्य प्रश्न जो शोधकर्ता पूछ रहे हैं वह यह है: क्या यह छात्र, बिना किसी विशेष प्रशिक्षण के, एक परिवार की कहानी को देखकर यह पता लगा सकता है कि क्या कोई बच्चा "स्टंटेड" (एक चिकित्सा शब्द जिसका अर्थ है खराब पोषण के कारण उम्र के हिसाब से छोटा होना) है? यह महत्वपूर्ण है क्योंकि यदि एक कंप्यूटर इन जोखिमों को जल्दी पहचान सकता है, भले ही उसे नियम न सिखाए गए हों, तो हम उन जगहों पर अधिक बच्चों की मदद तेजी से कर सकते हैं जहाँ डॉक्टर कम उपलब्ध हैं।
अब, आइए देखते हैं कि इस विशिष्ट अध्ययन ने क्या किया। शोधकर्ताओं ने बांग्लादेश से वास्तविक जीवन का डेटा का एक विशाल ढेर लिया, जिसे पंद्रह वर्षों (2007 से 2022 तक) में एकत्र किया गया था, जिसमें हजारों परिवारों का विवरण शामिल था। इस डेटा को पारंपरिक गणितीय कैलकुलेटर में डालने के बजाय, उन्होंने प्रत्येक परिवार के विवरण को एक छोटी कहानी या तथ्यों की सूची में बदल दिया और एक विशिष्ट AI मॉडल, जिसे GPT-4o-mini कहा जाता है, को इसे पढ़ने और यह अनुमान लगाने के लिए कहा: "क्या यह बच्चा स्टंटेड है? हाँ या नहीं?" उन्होंने यह सब AI को पहले से कुछ भी सिखाए बिना किया; उन्होंने इसे "जीरो-शॉट" (zero-shot) के रूप में किया, जिसका अर्थ है कि इसे पूरी तरह से अपनी सामान्य बुद्धिमत्ता पर निर्भर रहना था।
परिणाम "वाह" और "ओह" का मिश्रण थे। AI बुनियादी बातों में आश्चर्यजनक रूप से अच्छा था। इसका समग्र स्कोर सही होने के मामले में 58% था, जो लगभग उतना ही अच्छा था जितना कि पारंपरिक गणितीय मॉडल जिसके साथ इसकी तुलना की गई थी। लेकिन यहाँ एक मोड़ है: AI उन बच्चों को खोजने में चैंपियन था जो वास्तव में स्टंटेड थे। इसने स्टंटेड बच्चों के 77.5% को पकड़ा, जबकि पारंपरिक मॉडल केवल लगभग 23% को पकड़ पाया। समुद्र तट पर एक मेटल डिटेक्टर की कल्पना करें: पारंपरिक मॉडल सावधान रहता है और सोने की तलाश में सोडा कैन को शायद ही कभी चुनता है, लेकिन वह बहुत सारा सोना मिस कर देता है। हालाँकि, AI इतना उत्सुक है कि वह लगभग हर सोने के टुकड़े को पकड़ लेता है जो वह देखता है, लेकिन वह सोडा कैन और बोतल के ढक्कन भी बहुत सारे उठा लेता है (गलत अलार्म)। वास्तव में, AI इतना संवेदनशील था कि उसने कई बच्चों को स्टंटेड के रूप में चिह्नित किया जो वास्तव में स्वस्थ थे, जिससे स्वस्थ बच्चों को सही ढंग से पहचानने के मामले में उसका स्कोर कम हो गया।
शोधकर्ताओं ने यह भी जाँच की कि क्या AI निष्पक्ष था। जब लड़कों बनाम लड़कियों की बात आई, तो AI पूरी तरह से संतुलित था, उसने दोनों के साथ बिल्कुल एक जैसा व्यवहार किया। लेकिन जब इसने देखा कि परिवार कहाँ रहते थे या वे कितने अमीर थे, तो चीजें गड़बड़ा गईं। AI ग्रामीण क्षेत्रों और सबसे गरीब परिवारों के बच्चों को स्टंटेड के रूप में चिह्नित करने में अत्यधिक आक्रामक था। वास्तव में, सबसे गरीब समूह के लिए, AI ने 100% बच्चों के लिए कहा "हाँ, स्टंटेड", भले ही उनमें से कई वास्तव में स्वस्थ थे। ऐसा लगता है कि AI ने गरीबी को स्टंटिंग से इतनी मजबूती से जोड़ लिया कि उसने दोनों के बीच अंतर करना बंद कर दिया। यहाँ तक कि जब शोधकर्ताओं ने AI से "धन" की जानकारी छिपाने की कोशिश की, तब भी इसने अन्य सुरागों के आधार पर अनुमान लगाया, जिससे पता चलता है कि इसने गरीबी से जुड़े छिपे हुए पैटर्न पकड़ लिए थे।
अंत में, शोधकर्ताओं ने यह जाँच की कि क्या AI समय के साथ भ्रमित हो जाता है। उन्होंने 2007, 2011, 2014, 2018 और 2022 के डेटा पर परीक्षण किया। AI आश्चर्यजनक रूप से स्थिर रहा; इसकी सही अनुमान लगाने की समग्र क्षमता में वर्षों के दौरान बहुत अधिक बदलाव नहीं आया, भले ही जनसंख्या और स्वास्थ्य प्रणालियाँ बदली हों। हालाँकि, बीमार बच्चों को पकड़ने और स्वस्थ बच्चों को गलत तरीके से दोषी ठहराने के बीच का संतुलन वर्ष के आधार पर थोड़ा बदल गया।
संक्षेप में, यह पेपर सुझाव देता है कि एक स्मार्ट, प्री-ट्रेन्ड AI एक बहुत ही उत्साही जासूस की तरह कार्य कर सकता है जो संभावित समस्याओं को पहचानने में माहिर है, लेकिन उसे अधिक सावधान होने के बारे में सीखने की आवश्यकता है ताकि वह बहुत अधिक बार "गलत चेतावनी" (cry wolf) न दे। यह काफी हद तक अच्छा काम करता है, लेकिन क्योंकि यह सबसे गरीब परिवारों के लिए समस्याओं की अत्यधिक भविष्यवाणी करता है, इसलिए हम इसे अभी वास्तविक दुनिया में काम करने के लिए नहीं छोड़ सकते। लेखक सुझाव देते हैं कि हमें इसे बच्चों के स्वास्थ्य के बारे में जीवन-मरण के निर्णय लेने के लिए भरोसेमंद बनाने से पहले, निष्पक्षता के इन मुद्दों को ठीक करने के लिए और अधिक होमवर्क करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।