Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
यह अध्ययन बंदूक हिंसा के उत्तरजीवियों के साक्षात्कार को कोड करने के लिए ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स के उपयोग का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि वे विशिष्ट कोडों की पहचान करने की क्षमता दिखाते हैं, लेकिन उनकी समग्र प्रासंगिकता कम है, वे डेटा प्रोसेसिंग के प्रति अत्यधिक संवेदनशील हैं, और सुरक्षात्मक बाधाओं (गार्डरेल्स) द्वारा महत्वपूर्ण आख्यानों को मिटाने के कारण काफी बाधित होते हैं, जिससे हाशिए पर रहने वाले समुदायों के साथ अनुसंधान में एआई को लागू करने में पर्याप्त नैतिक और व्यावहारिक सीमाओं का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक पुस्तकालय है जो 21 बहुत भारी, बहुत भावनात्मक कहानी की किताबों से भरा हुआ है। ये काल्पनिक कहानियाँ नहीं हैं; ये उन युवा अश्वेत पुरुषों के वास्तविक साक्षात्कार हैं जो गोलीबारी से जीवित बचे थे। वे अपने दर्द, अपने डर, अपने रिश्तों और दुनिया को देखने के अपने नज़रिए के बारे में बात करते हैं।
शोधकर्ता इन किताबों को पढ़ना चाहते हैं ताकि वे समझ सकें कि बंदूक हिंसा को कैसे रोका जाए। लेकिन इन कहानियों को हाथ से पढ़ना और व्यवस्थित करना ऐसा है जैसे चम्मच से पहाड़ हटाने की कोशिश करना। इसमें बहुत समय लगता है, यह थका देने वाला है, और शोधकर्ताओं के पास केवल कुछ ही चम्मच उपलब्ध हैं।
तो, शोधकर्ताओं ने पूछा: "क्या हम एक सुपर-स्मार्ट रोबोट (AI) का उपयोग कर सकते हैं जो इन किताबों को पढ़ सके, उनका सारांश निकाल सके और हमारे लिए महत्वपूर्ण विषयों (themes) को खोज सके?"
यह पेपर उस प्रयोग की रिपोर्ट कार्ड है। यहाँ उन्होंने क्या पाया, इसे सरल भाषा में समझाया गया है:
1. रोबोट बनाम इंसान
शोधकर्ताओं ने मानवीय कोडर (Human Coders) (असली लोग) और मशीनी कोडर (Machine Coders) (AI मॉडल) के बीच एक दौड़ आयोजित की।
- इंसान: उन्होंने कहानियों को ध्यान से पढ़ा। वे स्लैंग (बोलचाल की भाषा), दर्द और संदर्भ को समझते थे। उन्हें यह काम करने में लगभग 35 घंटे लगे। उन्होंने 11 मुख्य विषय खोजे (जैसे "पौरुष/Masculinity," "सामुदायिक हिंसा," और "आघात/Trauma")।
- रोबोट: AI बहुत तेज़ था, इसे केवल कुछ ही घंटे लगे। लेकिन यहाँ एक पेंच था: AI एक ऐसे रोबोट की तरह था जिसने पहले कभी किसी इंसान से मुलाकात नहीं की थी। वह स्लैंग से भ्रमित हो गया, वह दुखद हिस्सों से डर गया, और उसने अक्सर अपनी ओर से बातें बना लीं।
2. "रोबोट गार्ड" की समस्या (सबसे बड़ी समस्या)
कल्पना कीजिए कि AI के बगल में एक सख्त "सुरक्षा गार्ड" खड़ा है। इस गार्ड का काम यह रोकना है कि AI कुछ भी बुरा या हिंसक न कहे।
समस्या यह थी कि गार्ड बहुत अधिक संवेदनशील था।
- जब एक उत्तरजीवी (survivor) ने गोली लगने के बारे में बात की, तो गार्ड ने कहा, "रुको! यह बहुत हिंसक है!" और उसने कहानी को ब्लॉक कर दिया।
- जब उन्होंने अपनी भावनाओं के बारे में या अफ्रीकी अमेरिकी अंग्रेजी (स्लैंग) का उपयोग किया, तो गार्ड ने कहा, "रुको! यह अनुचित है!" और उसने इसे भी ब्लॉक कर दिया।
परिणाम: AI ने लगभग 44% कहानियों को "मिटा" दिया। उसने उन चीजों के बारे में बात करने से इनकार कर दिया जिन्हें समझने के लिए शोधकर्ताओं को वास्तव में आवश्यकता थी: आघात, नस्ल और हिंसा। यह ऐसा था जैसे आप बादलों को देखकर तूफान का अध्ययन करने की कोशिश कर रहे हों, जबकि गार्ड आपको बारिश देखने से मना कर रहा हो।
3. "भ्रम" (Hallucination) का जाल
जब AI ने विषयों को लिखने की कोशिश की, तो उसने कभी-कभी चीजें बना लीं।
- इंसान: उसने लड़ाई की एक कहानी सुनी और लिखा: "चोट की ओर ले जाने वाला संघर्ष।"
- AI: उसने उसी कहानी को सुना और लिखा: "गिरोह से संबंध/Gang affiliation" (भले ही उस व्यक्ति ने कभी गिरोह का जिक्र नहीं किया था) या "इंटरनेट का उपयोग" (क्योंकि उन्होंने रेडियो पर एक गाने का उल्लेख किया था)।
यह उस छात्र की तरह है जिसने परीक्षा के लिए पढ़ाई नहीं की लेकिन उत्तरों का अनुमान लगाने लगा। कभी-कभी वे भाग्यशाली होते थे, लेकिन अक्सर वे केवल पैटर्न के आधार पर अनुमान लगा रहे थे, वास्तविकता के आधार पर नहीं।
4. "गुच्छों में बांटने" (Clumping) का प्रयोग
शोधकर्ताओं ने AI के गलत अनुमानों की सूची को ठीक करने के लिए एक टूल का उपयोग करने की कोशिश की जो समान विचारों को एक साथ "गुच्छों" में बांट सके (जैसे बिखरे हुए LEGO के ढेर को बाल्टियों में छाँटना)।
- क्या इससे मदद मिली? हाँ, इसने सूची को छोटा बना दिया।
- क्या इसने त्रुटियों को ठीक किया? नहीं। इसने बस गलत अनुमानों को एक साथ समूहबद्ध कर दिया। यह गलत LEGO को "कारों" लेबल वाली बाल्टी में रखने जैसा था। यह व्यवस्थित दिखता था, लेकिन फिर भी गलत था।
5. निर्णय: तेज़ लेकिन दोषपूर्ण
अध्ययन निष्कर्ष निकालता है कि हालांकि AI तेज़ है, लेकिन यह वर्तमान में इस विशिष्ट कार्य के लिए पर्याप्त विश्वसनीय नहीं है।
- लागत: AI का उपयोग करने से समय बचा, लेकिन शोधकर्ताओं को बाद में AI के काम की जाँच करने और उसकी गलतियों को सुधारने तथा जहाँ AI ने बोलने से मना कर दिया था, उन अंतरालों को भरने के लिए अधिक समय खर्च करना पड़ा।
- पूर्वाग्रह (Bias): AI विशिष्ट बोली (अफ्रीकी अमेरिकी अंग्रेजी) और इन पुरुषों के विशिष्ट आघात (बंदूक हिंसा) के प्रति पक्षपाती था। इसने उनके दर्द को महत्वपूर्ण डेटा के बजाय "असुरक्षित सामग्री" के रूप में माना।
बड़ी तस्वीर का रूपक (Analogy)
AI को एक बहुत तेज़, बहुत शाब्दिक अनुवादक के रूप में सोचें जो अंधेरे से डरता है।
- यदि आप उससे एक डरावनी कहानी का अनुवाद करने के लिए कहते हैं, तो वह डरावने हिस्सों को छोड़ सकता है क्योंकि वह डरता है।
- यदि आप स्थानीय बोली में बोलते हैं, तो वह आपको गलत समझ सकता है और "मैं भूखा हूँ" का अनुवाद "मैं एक पक्षी हूँ" के रूप में कर सकता है।
- वह 5 मिनट में काम कर सकता है, लेकिन जो कहानी वह आपको सुनाता है उसमें सबसे महत्वपूर्ण हिस्से गायब होते हैं।
निष्कर्ष:
हम अभी केवल एक रोबोट को संवेदनशील, दर्दनाक शोध की चाबियाँ नहीं सौंप सकते। रोबोट बहुत आसानी से डर जाता है, स्लैंग से बहुत आसानी से भ्रमित हो जाता है, और बहुत आसानी से चीजें बनाने लगता है। हमें मानवीय दर्द को समझने के लिए अभी भी मानवीय दिलों और दिमागों की आवश्यकता है, भले ही इसमें अधिक समय लगे। AI एक उपयोगी उपकरण है, लेकिन फिलहाल, यह एक ऐसा उपकरण है जिसे बहुत अधिक पर्यवेक्षण की आवश्यकता है, विशेष रूप से हाशिए पर रहने वाले समुदायों के साथ व्यवहार करते समय।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।