The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones
यह शोध पत्र यह प्रकट करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) केवल मीडिया ध्यान के आधार पर घटनाओं को वर्गीकृत करके, न कि टेम्पोरल सिग्नल्स (सामयिक संकेतों) का विश्लेषण करके, कम कवर किए गए क्षेत्रों में संघर्ष के बढ़ने का पूर्वानुमान लगाने में विफल रहते हैं, जो एक गुणात्मक सीमा है जो उन्हें सरल लॉजिस्टिक रिग्रेशन मॉडल की तुलना में कम सटीक बनाती है और एआई प्रशिक्षण डेटा के भीतर भौगोलिक प्रतिनिधित्व के महत्वपूर्ण अंतर को उजागर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI कुछ युद्धों के प्रति "अंधा" है
कल्पना कीजिए कि आप भविष्यवाणी करने की कोशिश कर रहे हैं कि कोई तूफान कब और अधिक भयानक होने वाला है। आपके पास दो उपकरण हैं:
- एक सुपर-इंटेलिजेंट मौसम विज्ञानी (LLM): इसने अब तक लिखे गए हर समाचार पत्र, किताब और वेबसाइट को पढ़ा है। यह इतिहास और भूगोल के बारे में सब कुछ जानता है।
- एक साधारण वर्षा मापी (लॉजिस्टिक्स रिग्रेशन): इसे नहीं पता कि यह कहाँ है या इसमें कौन शामिल है। यह बस अभी वर्षा मापी में पानी का स्तर और पिछले कुछ दिनों के स्तर को देखता है।
शोध यह पूछता है: तूफान की भविष्यवाणी करने में कौन बेहतर है?
चौंकाने वाला उत्तर यह है: साधारण वर्षा मापी जीत जाता है। सुपर-इंटेलिजेंट मौसम विज्ञानी बुरी तरह विफल हो जाता है, लेकिन इसलिए नहीं कि वह "मूर्ख" है। वह इसलिए विफल होता है क्योंकि उसे एक बहुत ही पक्षपाती (biased) सामग्री खिलाकर प्रशिक्षित किया गया है।
समस्या: "न्यूज़ डाइट" का पक्षपात
शोधकर्ताओं ने 22 अलग-अलग स्थानों का अध्ययन किया जहाँ 2020 से 2026 के बीच संघर्ष चल रहा था। उन्होंने मापा कि अंग्रेजी भाषा के समाचारों ने प्रत्येक स्थान को वास्तव में हो रहे संघर्ष की तुलना में कितनी कवरेज दी।
- "VIP" क्षेत्र: इज़राइल और यूक्रेन जैसे स्थानों को भारी ध्यान मिलता है। हर एक लड़ाई के लिए, दर्जनों समाचार लेख होते हैं।
- "विस्मृत" (Forgotten) क्षेत्र: म्यांमार या डेमोक्रेटिक रिपब्लिक ऑफ कांगो जैसे स्थानों को लगभग कोई ध्यान नहीं मिलता। हर एक लड़ाई के लिए, शायद एक से भी कम लेख होते हैं।
अंतर: कवरेज में 224 गुना का अंतर है। सबसे अधिक कवर किए गए स्थान को सबसे कम कवर किए गए स्थान की तुलना में प्रति लड़ाई 224 गुना अधिक समाचार मिलते हैं।
चूंकि लार्ज लैंग्वेज मॉडल्स (LLMs) इसी अंग्रेजी समाचार पर प्रशिक्षित होते हैं, इसलिए उनका दुनिया का "मानसिक मानचित्र" पूरी तरह से विकृत होता है। वे VIP क्षेत्रों के बारे में बहुत कुछ जानते हैं और विस्मृत क्षेत्रों के बारे में लगभग कुछ भी नहीं जानते।
प्रयोग: अगले संघर्ष का अनुमान लगाना
शोधकर्ताओं ने दो प्रसिद्ध AI मॉडलों (Llama-3.3 और GPT-4o) से पूछा कि क्या इन 22 देशों के लिए अगले महीने हिंसा बढ़ेगी या नहीं। उन्होंने AI को कोई डेटा नहीं दिया—केवल देश का नाम और तारीख दी। इसे "जीरो-शॉट" परीक्षण कहा जाता है, जिसका अर्थ है कि AI को पूरी तरह से अपनी ट्रेनिंग के दौरान याद की गई चीज़ों पर निर्भर रहना था।
उन्होंने AI की तुलना निम्नलिखित से की:
- "हमेशा हाँ" वाला बेसलाइन: एक व्यक्ति जो हर देश के लिए बस यह अनुमान लगाता है कि "हाँ, यह बुरा होगा।"
- "साधारण गणित" वाला बेसलाइन: एक कंप्यूटर प्रोग्राम जो केवल पिछले कुछ हफ्तों में लड़ाइयों की संख्या को देखता है, देश के नाम को पूरी तरह से अनदेखा करता है।
परिणाम: AI एक ही ढर्रे में फंस गया
परिणाम कोई सुचारू ग्रेडिएंट नहीं थे जहाँ AI कुछ जगहों पर "ठीक" था और अन्य जगहों पर "शानदार" था। इसके बजाय, AI दो अलग-अलग, अजीब व्यवहारों में टूट गया:
1. "पैनिक बटन" वाला AI (Llama)
- जहाँ यह विफल हुआ: विस्मृत क्षेत्रों (कम कवर किए गए) में।
- इसने क्या किया: इसने हर एक मामले के लिए भविष्यवाणी की कि "हाँ, हिंसा बढ़ेगी।"
- उपमा: एक सुरक्षा गार्ड की कल्पना करें जिसने कभी उस विशेष पड़ोस को नहीं देखा है। क्योंकि उसने सुना है कि "वहाँ सब बुरा होता है," वह मान लेता है कि "वहाँ सब कुछ" अपराध है। वह हर चलते हुए व्यक्ति के लिए "अलार्म!" चिल्लाता है।
- परिणाम: उसने हर वास्तविक आपात स्थिति को पकड़ लिया (100% रिकॉल), लेकिन उसने निर्दोष लोगों पर भी चिल्लाया। उसका प्रदर्शन "हमेशा हाँ" कहने वाले व्यक्ति के समान था। वह पूर्वानुमान नहीं लगा रहा था; वह बस देश को "अराजक" के रूप में वर्गीकृत कर रहा था।
2. "इनकार" करने वाला AI (GPT-4o)
- जहाँ यह विफल हुआ: VIP क्षेत्रों (अत्यधिक कवर किए गए) में।
- इसने क्या किया: इसने हर एक मामले के लिए भविष्यवाणी की कि "नहीं, हिंसा नहीं बढ़ेगी," भले ही वास्तव में लड़ाई चरम पर थी।
- उपमा: एक मौसम विज्ञानी की कल्पना करें जिसने 10 वर्षों तक एक ही तूफान को देखा है। वह सोचता है, "हमने इसे पहले भी देखा है, यह बस बैकग्राउंड शोर है।" वह इस तथ्य को अनदेखा करता है कि हवा तेज हो रही है और कहता है, "सब ठीक है।"
- परिणाम: उसने हर एक वास्तविक वृद्धि को मिस कर दिया (0% रिकॉल)। वह अपने "विश्व ज्ञान" के प्रति इतना आश्वस्त था कि उसने वास्तविक खतरे को अनदेखा कर दिया।
मोड़: AI को अधिक डेटा देने से यह और खराब हो जाता है
शोधकर्ताओं ने सोचा, "शायद AI को बस अधिक तथ्यों की आवश्यकता है।" इसलिए, उन्होंने AI को पिछले तीन महीनों की वास्तविक लड़ाइयों की संख्या वाली एक रिपोर्ट कार्ड (संरचित साक्ष्य) दी।
- क्या हुआ? AI और भी खराब हो गया।
- क्यों? AI ने नंबरों को पढ़ने की कोशिश की, लेकिन उसका "दिमाग" अभी भी अपनी पुरानी आदतों में फंसा हुआ था।
- विस्मृत क्षेत्रों में, नंबरों को देखने से "पैनिक बटन" AI भ्रमित हो गया, जिससे वह कम सटीक हो गया।
- VIP क्षेत्रों में, "इनकार" करने वाला AI अभी भी नंबरों को मानने से इनकार करता रहा।
- विजेता: साधारण गणित वाला बेसलाइन (वर्षा मापी) अभी भी जीत गया। उसे देश के नाम या समाचार कवरेज की परवाह नहीं थी। उसने बस नंबरों को देखा: "यदि पानी का स्तर बढ़ा है, तो तूफान और भयानक हो रहा है।" वह AI की तुलना में 2.4 गुना अधिक बार सही था, जिसे साक्ष्य के साथ दिया गया था।
निष्कर्ष: यह डेटा के बारे में नहीं, बल्कि पक्षपात के बारे में है
पेपर निष्कर्ष निकालता है कि समस्या यह नहीं है कि AI के पास डेटा की कमी है। समस्या यह है कि AI डेटा की व्याख्या इस आधार पर कैसे करता है कि देश कहाँ स्थित है।
- विस्मृत क्षेत्रों के लिए: AI मानता है कि अराजकता ही डिफ़ॉल्ट अवस्था है।
- VIP के लिए: AI मानता है कि स्थिरता ही डिफ़ॉल्ट अवस्था है।
AI "पूर्वानुमान" (संकेतों के आधार पर भविष्य की भविष्यवाणी करना) नहीं लगा रहा है; वह वर्गीकरण (अपने प्रशिक्षण डेटा के आधार पर देशों को लेबल करना) कर रहा है।
वास्तविक जीवन के लिए सीख
यदि आप एक मानवीय सहायता कार्यकर्ता हैं जो किसी विस्मृत संघर्ष क्षेत्र में जीवन बचाने के लिए AI का उपयोग करने की कोशिश कर रहे हैं:
- AI की अंतरात्मा (gut feeling) पर भरोसा न करें। यह संभवतः हर चीज़ के लिए "हाँ, यह बुरा है" का अनुमान लगाएगा, जो कि बेकार है।
- यह न मानें कि इसे अधिक समाचार लेख देने से मदद मिलेगी। यह इसे केवल भ्रमित कर सकता है।
- साधारण उपकरण बेहतर काम करते हैं। हाल की घटनाओं की संख्या को ट्रैक करने वाला एक बुनियादी सिस्टम वास्तव में एक सुपर-इंटेलिजेंट AI की तुलना में अधिक विश्वसनीय है जिसने पूरी इंटरनेट को पढ़ा है।
यह पेपर AI के परीक्षण के एक नए तरीके का आह्वान करता है: हमें केवल यह नहीं पूछना चाहिए कि "क्या AI स्मार्ट है?" हमें यह पूछना चाहिए कि "क्या AI इस विशिष्ट देश के लिए स्मार्ट है?" क्योंकि अभी, वह कुछ के लिए स्मार्ट है और दूसरों के लिए अंधा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।