Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics
यह अध्ययन प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स बेसलाइन पर एकरूप पठनीयता उत्पन्न करते हैं, वहीं विकिपीडिया जैसे बाहरी स्रोतों के आधार पर उनकी आउटपुट जटिलता काफी परिवर्तनशील हो जाती है, और पठनीयता मेट्रिक्स एक-दूसरे के बदले में उपयोग करने योग्य नहीं हैं, जिसके लिए सुलभ स्वास्थ्य संचार हेतु पारदर्शी, मेट्रिक-विशिष्ट और भाषा-जागरूक मूल्यांकन प्रोटोकॉल की आवश्यकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को एक जटिल मेडिकल डायग्नोसिस समझाने की कोशिश कर रहे हैं जिसके पास कोई मेडिकल ट्रेनिंग नहीं है। आप चाहते हैं कि जानकारी सत्य हो (ताकि वे बीमार न पड़ें) और समझने में आसान हो (ताकि वे वास्तव में आपकी बात सुनें)।
यह पेपर सात अलग-अलग "AI चैटबॉट्स" (जैसे कि उन्नत सिरी या चैटजीपीटी के संस्करण) की एक रिपोर्ट कार्ड की तरह है, जो ठीक यही करने की कोशिश कर रहे हैं: अंग्रेजी और पुर्तगाली में सुनने से जुड़ी स्वास्थ्य समस्याओं को मरीजों को समझाना।
यहाँ बताया गया है कि उन्होंने क्या पाया, कुछ सरल उपमाओं (analogies) का उपयोग करते हुए:
1. सेटअप: "कुकिंग क्लास"
शोधकर्ताओं ने सात अलग-अलग AI शेफ को एक ही रेसिपी कार्ड दिया (जो हियरिंग एड्स के बारे में विश्व स्वास्थ्य संगठन के दिशा-निर्देशों पर आधारित था)। उन्होंने उनसे मरीजों के लिए एक स्पष्टीकरण तैयार करने को कहा।
उन्होंने शेफ का परीक्षण दो तरीकों से किया:
- राउंड 1 (बेसलाइन): "बस वही उपयोग करें जो आप पहले से जानते हैं।" (शेफ ने अपनी याददाश्त से खाना बनाया)।
- राउंड 2 (विकिपीडिया ग्राउंडिंग): "पहले विकिपीडिया पर तथ्य देखें, फिर खाना बनाएं।" (शेफ को एक विशिष्ट, सत्यापित स्रोत का उपयोग करने के लिए मजबूर किया गया)।
फिर उन्होंने पांच अलग-अलग "फूड क्रिटिक्स" (रीडेबिलिटी मेट्रिक्स) को काम पर रखा ताकि वे व्यंजनों को ग्रेड दे सकें। इन आलोचकों ने भोजन का स्वाद नहीं चखा; उन्होंने केवल सामग्री को मापा (वाक्य की लंबाई, शब्द की कठिनाई, शब्दांशों की संख्या) यह देखने के लिए कि व्यंजन को चबाना कितना कठिन होगा।
2. बड़ा आश्चर्य: "विकिपीडिया ट्विस्ट"
राउंड 1 में क्या हुआ?
जब शेफ ने अपनी याददाश्त से खाना बनाया, तो वे आश्चर्यजनक रूप से समान थे। वे सभी लगभग एक ही "कठिनाई स्तर" के व्यंजन बना रहे थे। यह एक समूह के छात्रों की तरह था जो बिना किसी पाठ्यपुस्तक के परीक्षा दे रहे हों; उनके सभी उत्तर पढ़ने में लगभग समान रूप से कठिन थे।
राउंड 2 में क्या हुआ?
जब शेफ को विकिपीडिया का उपयोग करने के लिए कहा गया, तो अराजकता फैल गई।
अचानक, एक ही रेसिपी ने अलग-अलग AI मॉडल से पूछने पर बिल्कुल अलग परिणाम दिए।
- शेफ A (जैसे ChatGPT) ने विकिपीडिया के तथ्यों को लिया और एक सरल, आसानी से खाया जाने वाला सलाद बनाया।
- शेफ B (जैसे Copilot) ने ठीक वही विकिपीडिया तथ्य लिए और एक जटिल, भारी स्टेक परोसा जिसे चबाना बहुत कठिन था।
सबक: भले ही आप AI को एक ही सत्यापित तथ्य दें, अलग-अलग AI मॉडल उन्हें अलग तरह से प्रोसेस करते हैं। कुछ सारांश सरल बनाते हैं; अन्य स्रोत की जटिल भाषा की नकल करते हैं। इसका मतलब है कि यदि आप AI मॉडल बदलते हैं, तो आपके स्वास्थ्य संबंधी परामर्श की "कठिनाई" रातोंरात बदल सकती है, भले ही तथ्य वही रहें।
3. दूसरा आश्चर्य: "भ्रमित आलोचक"
शोधकर्ताओं ने पांच "फूड क्रिटिक्स" (रीडेबिलिटी मेट्रिक्स) को भी देखा। उन्हें उम्मीद थी कि आलोचक इस बात पर सहमत होंगे कि भोजन कितना कठिन था।
वे सहमत नहीं थे।
- आलोचक #1 (जो शब्दांशों को गिनता है) ने कहा, "यह एक शानदार, कठिन भोजन है!"
- आलोचक #2 (जो वर्णों/characters को गिनता है) ने कहा, "नहीं, यह एक साधारण स्नैक है!"
सबक: कोई एक एकल "रीडेबिलिटी स्कोर" नहीं है। आप जिस भी टूल का उपयोग करेंगे, वह आपको पूरी तरह से अलग ग्रेड दे सकता है। यदि आप केवल एक टूल पर भरोसा करते हैं, तो आप सोच सकते हैं कि एक टेक्स्ट आसान है जबकि वास्तव में वह भ्रमित करने वाला है, या इसके विपरीत।
4. "टेक्नो-सोल्यूशनिज्म" का जाल
यह पेपर एक सामान्य जाल के प्रति चेतावनी देता जिसे "टेक्नो-सोल्यूशनिज्म" कहा जाता है। यह विश्वास है कि "यदि हम बस AI को बेहतर तथ्य (जैसे विकिपीडिया) दे दें, तो सब कुछ सही हो जाएगा।"
अध्ययन दिखाता है कि यह सच नहीं है।
- ट्रेड-ऑफ (समझौता): AI को सत्यापित तथ्य (विकिपीडिया) देने से जानकारी अधिक सटीक हो जाती है, लेकिन यह अक्सर समझने में कठिन भी हो जाती है क्योंकि AI स्रोत की जटिल भाषा की नकल करने में फंस जाता है।
- जोखिम: आप एक ऐसा स्वास्थ्य गाइड समाप्त कर सकते हैं जो 100% सत्य है लेकिन इतनी जटिल भाषा में लिखा गया है कि मरीज उसे पढ़ना छोड़ देता है।
5. निचोड़: हमें क्या करना चाहिए?
लेखक स्वास्थ्य सलाह के लिए AI का उपयोग करने वाले किसी भी व्यक्ति के लिए तीन नियम सुझाते हैं:
- केवल एक AI पर भरोसा न करें: अलग-अलग मॉडल अलग तरह से व्यवहार करते हैं। आप यह मान नहीं सकते कि वे एक-दूसरे के स्थान पर उपयोग किए जा सकते हैं।
- केवल एक स्कोर पर भरोसा न करें: केवल एक "रीडेबिलिटी नंबर" पर निर्भर न रहें। पूरी तस्वीर पाने के लिए विभिन्न परीक्षणों का उपयोग करें।
- मानव को प्रक्रिया में शामिल रखें (Keep a human in the loop): सिर्फ इसलिए कि AI कहता है कि कुछ "सत्य" है, इसका मतलब यह नहीं है कि वह "सुगम" भी है। हमें यह जांचना होगा कि क्या मरीज वास्तव में इसे समझ सकता है।
संक्षेप में:
कल्पना कीजिए कि आप नदी पार करने के लिए लोगों के लिए एक पुल बना रहे हैं (स्वास्थ्य जानकारी प्राप्त करना)।
- सटीकता (Accuracy) यह सुनिश्चित करना है कि पुल ढह न जाए (विकिपीडिया तथ्यों का उपयोग करना)।
- रीडेबिलिटी (Readability) यह सुनिश्चित करना है कि पुल पर एक रैंप हो ताकि हर कोई चल सके, न कि केवल पेशेवर पर्वतारोही।
यह पेपर पाया कि हालांकि हम मजबूत पुल (सटीकता) बनाने में बेहतर हो रहे हैं, लेकिन हम अनजाने में निर्माण दल (AI मॉडल) के आधार पर कुछ पुलों के साथ खड़ी, खतरनाक चट्टानें भी बना रहे हैं (जटिलता)। हमें चाहे पुल कितना भी मजबूत क्यों न हो, उसके रैंप की सावधानीपूर्वक जांच करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।