TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade
यह शोध पत्र ट्रेडवर्स (TradeVerse) को प्रस्तुत करता है, जो विश्व व्यापार संगठन (WTO) की बैठक के रिकॉर्ड से प्राप्त पहला अनुदैर्ध्य बेंचमार्क (longitudinal benchmark) है, जो तीन कार्यों के माध्यम से बहु-चरण राजनीतिक व्यापार वार्ताओं को समझने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमताओं का मूल्यांकन करता है: उत्पाद कोडों की भविष्यवाणी करना, प्रतिक्रिया देने वाले देशों की पहचान करना और राजनयिक वक्तव्य तैयार करना।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अंतरराष्ट्रीय व्यापार की उच्च-दांव वाली दुनिया में, समझौते शायद ही कभी स्पष्टता के किसी एक क्षण में हस्ताक्षरित होते हैं। इसके बजाय, वे बातचीत की एक धीमी, अक्सर विवादास्पद प्रक्रिया से उभरते हैं जो वर्षों तक खिंच सकती है। जब एक राष्ट्र दूसरे के टैरिफ या नियमों के बारे में चिंता व्यक्त करता है, तो प्रतिक्रिया केवल 'हाँ' या 'नहीं' नहीं होती। यह एक संवाद है, एक आदान-प्रदान जहाँ स्थितियाँ बदलती हैं, गठबंधन बनते हैं, और कई बैठकों में तर्क विकसित होते हैं। दशकों से, इन वार्ताओं को विश्व व्यापार संगठन (WTO) के कार्यवृत्त (मिनट्स) में दर्ज किया गया है, जो वास्तविक दुनिया की कूटनीति का एक विशाल, दीर्घकालिक संग्रह बनाता है। हाल ही में तक, मानव भाषा को पढ़ने और समझने के लिए डिज़ाइन किए गए कृत्रिम बुद्धिमत्ता (AI) सिस्टम का परीक्षण केवल स्थिर दस्तावेजों या अलग-थलग प्रश्नों पर किया गया था। उन्हें एक बहु-वर्षीय राजनीतिक विवाद के जटिल, उभरते हुए नाटक को समझने के लिए नहीं कहा गया था।
एक नया अध्ययन एक ऐसे उपकरण को पेश करता है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या आधुनिक कृत्रिम बुद्धिमत्ता वास्तव में इस प्रकार के दीर्घकालिक राजनीतिक तर्क को समझ सकती है। शोधकर्ताओं ने एक बेंचमार्क बनाया जिसे TRADEVERSE कहा जाता है, जो विश्व व्यापार संगठन के रिकॉर्ड से 1,170 विशिष्ट व्यापार संबंधी चिंताओं को पुनर्गठित करता है। ये चिंताएं तीन दशकों से अधिक समय तक फैली हुई हैं, जिनमें 6,933 अलग-अलग बैठकें और 26,219 व्यक्तिगत बयान शामिल हैं। यह डेटासेट पांच विभिन्न समितियों और 89 विशिष्ट उत्पाद श्रेणियों को कवर करता है, जिसमें कृषि वस्तुओं से लेकर इलेक्ट्रॉनिक्स तक शामिल हैं। लक्ष्य यह देखना नहीं था कि क्या एक कंप्यूटर केवल एक पाठ का सारांश दे सकता है, बल्कि यह देखना था कि क्या वह उस बातचीत के सूत्र का अनुसरण कर सकता है जो शायद पांच साल पहले शुरू हुई हो, याद रख सके कि किसने क्या कहा, और शामिल प्रत्येक देश की रणनीतिक स्थिति को समझ सके।
शोधकर्ताओं ने छह अग्रणी भाषा मॉडलों की बुद्धिमत्ता का परीक्षण करने के लिए तीन अलग-अलग चुनौतियाँ निर्धारित कीं। पहले कार्य में मॉडलों को एक व्यापार विवाद के पूरे इतिहास को देखने और यह पहचानने के लिए कहा गया कि किन उत्पादों पर चर्चा की जा रही थी। वास्तविक दुनिया में, व्यापार संबंधी चिंताओं को अक्सर वस्तुओं को वर्गीकृत करने वाली एक विशिष्ट कोडिंग प्रणाली द्वारा वर्गीकृत किया जाता है। मॉडलों को केवल वार्ता के पाठ के आधार पर इन श्रेणियों की भविष्यवाणी करनी थी। परिणामों ने दिखाया कि हालांकि मॉडल सही उत्पादों को खोजने में अच्छे थे, लेकिन वे बहुत अधिक संभावनाओं का अनुमान लगाने के प्रति भी प्रवृत्त थे। वे सटीक वस्तुओं को पिनपॉइंट करने के बजाय संबंधित वस्तुओं की एक विस्तृत श्रृंखला सूचीबद्ध करने की ओर झुके हुए थे, जो यह सुझाव देता है कि जब साक्ष्य पूरी तरह से स्पष्ट नहीं थे, तो वे सुरक्षित खेल (हेजिंग) खेल रहे थे।
दूसरी चुनौती गुमनामी और अनुमान (इन्फरेंस) का परीक्षण थी। शोधकर्ताओं ने बैठक के रिकॉर्ड लिए और उनमें शामिल देशों के नाम हटा दिए, और उनकी जगह सामान्य प्लेसहोल्डर्स रख दिए। मॉडलों से फिर यह अनुमान लगाने के लिए कहा गया कि कौन सा देश शिकायतों का जवाब दे रहा है। इसे यह देखने के लिए डिज़ाइन किया गया था कि क्या AI तर्क के सार—विशिष्ट कानूनों, उत्पादों की प्रकृति और बचाव की शैली—के आधार पर उत्तर का पता लगा सकता है, न कि केवल किसी देश के नाम को पहचानकर। मॉडल उच्च सटीकता के साथ प्रदर्शन करते रहे, और अधिकांश मामलों में जवाब देने वाले देश की सही पहचान की। हालाँकि, एक महत्वपूर्ण पैटर्न सामने आया: मॉडल पश्चिमी देशों की तुलना में गैर-पश्चिमी देशों को पहचानने में बहुत बेहतर थे। यह अंतर तब भी बना रहा जब सभी देशों के नाम छिपे हुए थे, जो यह दर्शाता है कि AI के प्रशिक्षण डेटा में पश्चिमी राजनयिक भाषा के अधिक उदाहरण थे, जिससे सिस्टम के लिए उन पैटर्न को पहचानना आसान हो गया।
अंतिम और शायद सबसे कठिन कार्य, एक वार्ताकार के रूप में कार्य करना था। मॉडलों को एक विवाद का इतिहास और अंतिम दौर में शिकायत करने वाले देशों द्वारा दिए गए बयान दिए गए। उनका काम जवाब देने वाले देश का समापन वक्तव्य लिखना था। शोधकर्ताओं ने अपने द्वारा उत्पन्न बयानों की तुलना वास्तविक ऐतिहासिक रिकॉर्ड से की। हालांकि AI ने ऐसा पाठ तैयार किया जो प्रवाहपूर्ण और राजनयिक रूप से उपयुक्त लग रहा था, लेकिन इसमें अक्सर वास्तविक दुनिया की प्रतिक्रियाओं में पाए जाने वाले विशिष्ट विवरणों की कमी थी। मॉडल एक राजनयिक की शैली की नकल तो कर सकते थे, लेकिन वे उन सटीक, सारगर्भित तर्कों को दोहराने में संघर्ष करते थे जिनका उपयोग वास्तविक राष्ट्र अपनी नीतियों के बचाव के लिए करते हैं। दिलचस्प बात यह है कि अध्ययन में पाया गया कि विवादों के जितने अधिक दौर थे, मॉडल अंतिम वक्तव्य उत्पन्न करने में उतना ही बेहतर प्रदर्शन करते थे। यह सुझाव देता है कि बातचीत का इतिहास जितना लंबा होता है, AI के पास अपनी भूमिका को समझने के लिए उतना ही अधिक संदर्भ होता है।
अध्ययन निष्कर्ष निकालता है कि हालांकि वर्तमान कृत्रिम बुद्धिमत्ता प्रणाली पाठ पढ़ने के लिए शक्तिशाली उपकरण हैं, लेकिन जब उन्हें वास्तविक दुनिया की राजनीतिक वार्ताओं के लंबे, विकसित होते आयामों के माध्यम से तर्क करने के लिए कहा जाता है, तो उन्हें अभी भी महत्वपूर्ण बाधाओं का सामना करना पड़ता है। वे पैटर्न की पहचान कर सकते हैं और शैलियों की नकल कर सकते हैं, लेकिन वे अक्सर उन विशिष्ट रणनीतिक बारीकियों को चूक जाते हैं जो अंतरराष्ट्रीय व्यापार विवादों को परिभाषित करती हैं। शोधकर्ताओं ने अपने डेटासेट और उपकरणों का उपयोग सार्वजनिक रूप से उपलब्ध कराया है, इस उम्मीद में कि यह नया बेंचमार्क भविष्य के सिस्टम को मानव कूटनीति की जटिल, दीर्घकालिक प्रकृति को समझने में मदद करेगा। यह कार्य इस बात पर प्रकाश डालता है कि बातचीत को समझना केवल पृष्ठ पर लिखे शब्दों को पढ़ना नहीं है, बल्कि इतिहास, संबंधों और समय के साथ विकसित होने वाली बदलती रणनीतियों को ट्रैक करना भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।