Are LLMs Ready for Conflict Monitoring? Empirical Evidence from West Africa
यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि जबकि डोमेन-अनुकूलित मॉडल पश्चिम अफ्रीकी संघर्ष निगरानी में मानकीय पूर्वाग्रह (normative bias) को कम करते हैं, वर्तमान एलएलएम (LLMs) निरंतर अभिनेता-आधारित चयन पूर्वाग्रहों, लेक्सिकल फ्रेमिंग के प्रति भौगोलिक भंगुरता और अविश्वसनीय तर्क संबंधी कल्पित सूचनाओं (unfaithful rationale confabulations) के कारण अनसुपरवाइज्ड परिनियोजन के लिए अनुपयुक्त बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप नाइजीरिया और कैमरून जैसे स्थानों में हिंसक संघर्षों पर नज़र रखने के लिए मानव अधिकार कार्यकर्ताओं की मदद करने हेतु एक सुपर-स्मार्ट रोबोट सहायक बनाने की कोशिश कर रहे हैं। इन कार्यकर्ताओं को ठीक-ठीक जानने की आवश्यकता है कि वास्तव में क्या हुआ था: क्या यह दो सशस्त्र समूहों के बीच एक लड़ाई थी? या यह निर्दोष नागरिकों पर सैनिकों का हमला था? इसमें गलती करना सहायता को सही लोगों तक पहुँचाने या किसी त्रासदी को अनदेखा करने के बीच का अंतर तय कर सकता है।
इस शोध पत्र के लेखकों ने एक सरल लेकिन डरावना सवाल पूछा: क्या हमारे वर्तमान AI रोबट इस काम के लिए तैयार हैं?
उन्होंने कई लोकप्रिय AI मॉडलों (जैसे जेम्मा, लामा, मिस्ट्रल और ओल्मो जैसे डिजिटल दिमागों) का परीक्षण एक वास्तविक संघर्ष की घटनाओं के "गोल्ड स्टैंडर्ड" डेटाबेस के विरुद्ध किया। उन्होंने क्या पाया, इसे यहाँ कुछ रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
1. "अति-सुरक्षात्मक" रोबोट बनाम "निष्पक्ष" रोबोट
शोधकर्ताओं ने AI मॉडलों में दो बहुत अलग प्रकार के व्यवहार पाए:
- "अति-सुरक्षात्मक" रोबोट (वैनिला LLMs): मानक, ऑफ-द-शेल्फ AI मॉडल एक घबराए हुए सुरक्षा गार्ड की तरह व्यवहार करते हैं जो हर उस व्यक्ति के बारे में बुरा मान लेता है जिसने वर्दी नहीं पहनी है। यदि कोई कहानी दो सशस्त्र समूहों के बीच लड़ाई का वर्णन करती है, तो ये AI अक्सर डर जाते हैं और कहते हैं, "ओह नहीं, यह जरूर नागरिकों पर सैनिकों का हमला होगा!" वे लोगों के खिलाफ हिंसा को पहचानने के लिए इतने उत्सुक हैं कि वे वैध लड़ाइयों को नागरिकों के खिलाफ अपराध के रूप में गलत तरीके से आरोपित कर देते हैं।
- उपमा: कल्पना कीजिए कि एक न्यायाधीश, जब भी दो मुक्केबाजों के बीच लड़ाई होती है, तो तुरंत मान लेता है कि उनमें से एक बच्चे को पीटा जा रहा है, भले ही दोनों वयस्क पुरुष रिंग में लड़ रहे हों। AI ऐसा लगभग 18% बार जेम्मा मॉडल के साथ करता है।
- "निष्पक्ष" रोबोट (डोमेन-अनुकूलित मॉडल): शोधकर्ताओं ने विशेष रूप से अफ्रीकी संघर्ष डेटा पर प्रशिक्षित विशेष AI मॉडल भी बनाए (जिन्हें AfroConfliBERT और AfroConfliLLAMA नाम दिया गया)। ये मॉडल अंतर बताने में बहुत बेहतर थे। उनमें वह घबराहट वाला पूर्वाग्रह नहीं था; उन्होंने लड़ाई के दोनों पक्षों के साथ अधिक निष्पक्षता से व्यवहार किया।
2. "वर्दी" का पूर्वाग्रह (अच्छा व्यक्ति कौन है?)
"निष्पक्ष" रोबोटों की भी एक कमजोरी थी। वे अभी भी राज्य के कर्ताओं (जैसे आधिकारिक सेना या पुलिस) के साथ गैर-राज्य कर्ताओं (जैसे विद्रोही समूहों या मिलिशिया) के समान व्यवहार करने में संघर्ष करते थे।
- उपमा: कल्पना कीजिए कि एक कैमरा जो पुलिस की वर्दी पहने लोगों के चेहरों को स्वचालित रूप से धुंधला कर देता है लेकिन नागरिकों के चेहरों को स्पष्ट रखता है। भले ही पुलिस ही परेशानी पैदा कर रही हो, AI हिंसा को "हिंसा" लेबल करने में हिचकिचाता है। ऐसा लगता है कि उनके पास एक छिपा हुआ नियम है कि, "यदि वे वर्दी पहने हुए हैं, तो वे शायद अच्छे लोग हैं," भले ही तथ्य कुछ भी कहें। नाइजीरिया में, AI गैर-राज्य हिंसा की तुलना में राज्य की हिंसा को "हिंसा" कहने की 66% कम संभावना रखता था, भले ही क्रियाएं बिल्कुल समान थीं।
3. "नाजुक" रोबोट (शब्दों की शक्ति)
सबसे बड़ा झटका यह था कि मानक AI मॉडल समाचार रिपोर्ट में कुछ शब्द बदलकर कितनी आसानी से धोखा खा सकते हैं।
- उपमा: इन AI मॉडलों को एक बहुत ही सुझावशील छात्र की तरह समझें जो परीक्षा दे रहा है। यदि शिक्षक लिखता है, "सैनिक ने एक व्यक्ति को क्रूरतापूर्वक मारा," तो छात्र घबरा जाता है और इसे एक अपराध के रूप में चिह्नित करता है। लेकिन यदि शिक्षक लिखता है, "सैनिक ने एक व्यक्ति के साथ संलग्न (engaged) होकर मुकाबला किया," तो छात्र इसे एक सामान्य लड़ाई के रूप में चिह्नित करता है।
- परिणाम: शोधकर्ताओं ने पाया कि समाचार रिपोर्ट में "unprovoked" (बिना उकसावे के) या "मानवाधिकारों का उल्लंघन" जैसे शब्द जोड़ने से AI का उत्तर 66% बार बदल सकता है। AI वास्तव में जो हुआ उसके तथ्यों को नहीं देख रहा था; वह कहानी के स्वर (tone) पर प्रतिक्रिया दे रहा था। यह एक ऐसे तराजू की तरह था जो वजन बदलने के कारण नहीं, बल्कि केवल तराजू के पास जोर से शब्द बोलने मात्र से झुक जाता है।
4. "नकली तर्क" की समस्या
जब शोधकर्ताओं ने AI से पूछा कि उसने अपना उत्तर क्यों बदला, तो AI ने कहानियाँ बना लीं।
- उपमा: कल्पना कीजिए कि आप एक छात्र से पूछते हैं कि उसने गणित का सवाल गलत क्यों किया। वह कहता है, "मैं एक अंक जोड़ना भूल गया।" लेकिन जब आप उसका काम चेक करते हैं, तो पता चलता है कि वह वास्तव में गुणा करना भूल गया था। वे कन्फैबुलेटिंग (confabulating) कर रहे हैं—तर्कसंगत लगने वाले कारण बना रहे हैं जो वास्तव में हुए घटनाक्रम से मेल नहीं खाते।
- अध्ययन में पाया गया कि जब AI ने शब्द परिवर्तन के कारण अपना निर्णय बदला, तो वह एक नया कारण गढ़ लेता था जिसका उस शब्द से कोई संबंध नहीं था जिसने बदलाव पैदा किया था। वह अपनी स्वयं की सोचने की प्रक्रिया के बारे में झूठ बोल रहा था।
5. "विशेषज्ञ" रोबोट की गुप्त कमजोरी
कस्टम-निर्मित मॉडल (AfroConfliBERT) अधिक स्थिर थे। वे "क्रूरतापूर्वक" या "बिना उकसावे के" जैसे शब्दों से धोखा नहीं खाते थे। हालाँकि, शोधकर्ताओं ने पाया कि ये मॉडल कभी-कभी निर्णय लेने के लिए शब्दों के अर्थ के बजाय विराम चिह्नों (जैसे पूर्ण विराम या अल्पविराम) पर बहुत अधिक निर्भर करते थे।
- उपमा: यह एक ऐसे छात्र की तरह है जो इतिहास को समझने के कारण नहीं, बल्कि इसलिए सही उत्तर देता है क्योंकि उसने देखा कि वाक्य हमेशा एक पूर्ण विराम के साथ समाप्त होता है। यह अधिकांश समय काम करता है, लेकिन यह एक नाजुक तकनीक है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल संघर्ष क्षेत्रों में अकेले काम करने के लिए तैयार नहीं हैं।
यदि आप इन रोबोटों को मानवीय पर्यवेक्षण के बिना बागडोर संभालने देंगे:
- वे शांतिपूर्ण लड़ाइयों को युद्ध अपराधों के रूप में गलत तरीके से आरोपित कर सकते हैं।
- वे आधिकारिक सरकारों द्वारा की गई हिंसा को अनदेखा कर सकते हैं।
- उन्हें समाचार रिपोर्ट में एक शब्द बदलकर आसानी से हेरफेर किया जा सकता है।
लेखक सुझाव देते हैं कि इन उच्च-दांव वाले निर्णयों के साथ AI पर भरोसा करने से पहले, हमें:
- उन्हें सभी समूहों के प्रति निष्पक्ष होने के लिए विशेष रूप से प्रशिक्षित करना होगा (केवल "वर्दीधारी" लोगों के प्रति नहीं)।
- उनका परीक्षण करना होगा ताकि यह सुनिश्चित हो सके कि उन्हें शब्दों के खेल से धोखा न दिया जा सके।
- कठिन क्षेत्रों में काम को दोबारा जांचने के लिए एक इंसान को (human in the loop) शामिल रखना होगा।
संक्षेप में, AI एक शक्तिशाली उपकरण है, लेकिन अभी यह एक नए ड्राइवर की तरह है जिसने अभी तक सड़क के नियम नहीं सीखे हैं। आप उन्हें एक मानव प्रशिक्षक के बिना बस चलाने के लिए नहीं छोड़ेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।