← नवीनतम पेपर
💬 NLP

A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding

यह शोध पत्र XMPIE को प्रस्तुत करता है, जो 34 भाषाओं में 10,000 से अधिक संभावित मुहावरेदार अभिव्यक्तियों वाला एक उच्च-गुणवत्ता वाला समानांतर बहुभाषी और बहुविध (multimodal) बेंचमार्क है, जिसे विभिन्न भाषाओं और टेक्स्ट-इमेज मोडैलिटीज़ में मुहावरेदारता को समझने की एनएलपी (NLP) प्रणालियों की क्षमताओं का मूल्यांकन और तुलना करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Dilara Torunoğlu-Selamet, Dogukan Arslan, Rodrigo Wilkens, Wei He, Doruk Eryiğit, Thomas Pickard, Adriana S. Pagano, Aline Villavicencio, Gülşen Eryiğit, Ágnes Abuczki, Aida Cardoso, Alesia Lazarenka
प्रकाशित 2026-02-25
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Dilara Torunoğlu-Selamet, Dogukan Arslan, Rodrigo Wilkens, Wei He, Doruk Eryiğit, Thomas Pickard, Adriana S. Pagano, Aline Villavicencio, Gülşen Eryiğit, Ágnes Abuczki, Aida Cardoso, Alesia Lazarenka, Dina Almassova, Amalia Mendes, Anna Kanellopoulou, Antoni Brosa-Rodríguez, Baiba Saulite, Beata Wojtowicz, Bolette Pedersen, Carlos Manuel Hidalgo-Ternero, Chaya Liebeskind, Danka Jokić, Diego Alves, Eleni Triantafyllidi, Erik Velldal, Fred Philippy, Giedre Valunaite Oleskeviciene, Ieva Rizgeliene, Inguna Skadina, Irina Lobzhanidze, Isabell Stinessen Haugen, Jauza Akbar Krito, Jelena M. Marković, Johanna Monti, Josue Alejandro Sauca, Kaja Dobrovoljc, Kingsley O. Ugwuanyi, Laura Rituma, Lilja Øvrelid, Maha Tufail Agro, Manzura Abjalova, Maria Chatzigrigoriou, María del Mar Sánchez Ramos, Marija Pendevska, Masoumeh Seyyedrezaei, Mehrnoush Shamsfard, Momina Ahsan, Muhammad Ahsan Riaz Khan, Nathalie Carmen Hau Norman, Nilay Erdem Ayyıldız, Nina Hosseini-Kivanani, Noémi Ligeti-Nagy, Numaan Naeem, Olha Kanishcheva, Olha Yatsyshyna, Daniil Orel, Petra Giommarelli, Petya Osenova, Radovan Garabik, Regina E. Semou, Rozane Rebechi, Salsabila Zahirah Pranida, Samia Touileb, Sanni Nimb, Sarfraz Ahmad, Sarvinoz Sharipova, Shahar Golan, Shaoxiong Ji, Sopuruchi Christian Aboh, Srdjan Sucur, Stella Markantonatou, Sussi Olsen, Vahide Tajalli, Veronika Lipp, Voula Giouli, Yelda Yeşildal Eraydın, Zahra Saaberi, Zhuohan Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मानव हास्य, संस्कृति और उन "गुप्त कोडों" को समझने के लिए सिखाने की कोशिश कर रहे हैं जिनका उपयोग हम अपनी दैनिक बातचीत में करते हैं। आप उसे "kick the bucket" वाक्यांश दिखाते हैं।

यदि रोबोट शाब्दिक (literal) है, तो वह सोचता है कि कोई वास्तव में पानी की एक बाल्टी को लात मार रहा है। लेकिन एक इंसान जानता है कि इसका वास्तविक अर्थ "मर जाना" है। शब्दों के कहने और उनके अर्थ के बीच का यह अंतर एक मुहावरा (idiom) कहलाता है।

यह शोध पत्र XMPIE (उच्चारण "ज़म्पी") नामक एक विशाल नए टूल का परिचय देता है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि AI इन कोडों को कितनी अच्छी तरह सुलझा सकता है, न कि केवल एक भाषा में, बल्कि पूरी दुनिया में, और न केवल शब्दों के साथ, बल्कि चित्रों के साथ भी।

यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों महत्वपूर्ण है:

1. समस्या: AI "पंक्तियों के बीच पढ़ना" (Reading Between the Lines) में बुरा है

वर्तमान AI मॉडल (जैसे वे जिनसे आप चैट करते हैं) तथ्यों के लिए बेहतरीन हैं। यदि आप पूछते हैं, "फ्रांस की राजधानी क्या है?" तो उन्हें पता है कि वह पेरिस है। लेकिन यदि आप पूछते हैं, "वह एक green thumb (बागवानी का हुनर) है," तो वे भ्रमित हो सकते हैं। क्या उसका हाथ हरा है? क्या वे बागवानी कर रहे हैं?

मुहावरे कठिन होते हैं क्योंकि वे सांस्कृतिक अंदरूनी चुटकुलों (cultural inside jokes) की तरह होते हैं। वे साझा इतिहास और अनुभव पर निर्भर करते हैं। एक AI जो मुख्य रूप से अंग्रेजी पर प्रशिक्षित है, वह "green thumb" को समझ सकता है, लेकिन यदि आप तुर्की या स्वाहिली पर स्विच करते हैं, तो मजाक पूरी तरह बदल जाता है। AI अक्सर यह महसूस करने में विफल रहता है कि विभिन्न भाषाएं एक ही भावना के लिए अलग-अलग "गुप्त कोडों" का उपयोग करती हैं।

2. समाधान: एक वैश्विक, बहुभाषी "इडिओम जिम"

शोधकर्ताओं ने XMPIE नामक एक विशाल डेटासेट बनाया। इसे AI के लिए एक जिम के रूप में सोचें, लेकिन वजन उठाने के बजाय, AI सांस्कृतिक अवधारणाओं को उठा रहा है।

  • पैमाना (Scale): उन्होंने 34 विभिन्न भाषाओं को कवर करने वाले 10,000 से अधिक आइटम एकत्र किए। इसमें अंग्रेजी, चीनी और स्पेनिश जैसी प्रमुख भाषाएं शामिल हैं, लेकिन लुक्ज़मबर्गिश और इग्बो जैसी छोटी या लुप्तप्राय भाषाएं भी शामिल हैं।
  • "समानांतर" जादू (The "Parallel" Magic): यह सबसे महत्वपूर्ण हिस्सा है। आमतौर पर, यदि आपके पास अंग्रेजी में एक मुहावरा है, तो आपको अनुमान लगाना पड़ता है कि फ्रेंच में वह क्या होगा। लेकिन यहाँ, उन्होंने उन्हें पूरी तरह से एक पंक्ति में व्यवस्थित किया है।
    • अंग्रेजी: "Bad apple" (एक बुरा व्यक्ति)।
    • तुर्की: "Rotten apple" (वही अर्थ, समान शब्द)।
    • अज़रई: "Stealing a day from God" (वही अर्थ, पूरी तरह से अलग शब्द)।
    • जॉर्जियाई: "Absolutely useless thing" (वही अर्थ, कोई मुहावरा नहीं)।
      इससे उन्हें यह देखने में मदद मिलती है कि विभिन्न संस्कृतियाँ एक ही विचार को कैसे व्यक्त करती हैं।

3. विजुअल ट्विस्ट: केवल बताना नहीं, दिखाना भी

मुहावरों को केवल टेक्स्ट के साथ समझना कठिन है। इसलिए, शोधकर्ताओं ने इसमें चित्र (images) जोड़े।

प्रत्येक वाक्यांश के लिए, उन्होंने पाँच चित्र उत्पन्न किए:

  1. वास्तविक अर्थ: एक चित्र जो वास्तविक अर्थ दिखाता है (जैसे, "bad apple" के लिए, एक परेशानी पैदा करने वाला व्यक्ति)।
  2. शाब्दिक जाल (The Literal Trap): एक चित्र जो शाब्दिक अर्थ दिखाता है (जैसे, एक सड़ता हुआ फल)।
  3. "लगभग" वाले जाल (The "Almost" Traps): चित्र जो संबंधित हैं लेकिन पूरी तरह सही नहीं हैं (जैसे, एक अच्छा सेब, या कोई अन्य फल)।
  4. रैंडम डिस्ट्रैक्टर (The Random Distractor): पूरी तरह से असंबंधित चीज़ का चित्र (जैसे, एक टोस्टर)।

उपमा (Analogy): कल्पना कीजिए कि आप एक रोबोट को एक उदास दिखने वाले व्यक्ति और उसके टूटे हुए खिलौने का चित्र दिखाते हैं। आप पूछते हैं, "क्या यह 'feeling blue' (उदास होना) है या बस 'एक नीला खिलौना होना'?" रोबोट को भावना को समझने के लिए चित्र और टेक्स्ट दोनों को एक साथ देखना होगा, न कि केवल रंगों को।

4. उन्होंने इसे कैसे बनाया: दुनिया भर के मनुष्यों की एक वैश्विक टीम

आप कंप्यूटर से यह सूची बनाने के लिए नहीं कह सकते; कंप्यूटर अक्सर नकली मुहावरे बना देते हैं। इसके बजाय, उन्होंने दुनिया भर के 89 भाषा विशेषज्ञों को काम पर रखा।

ये विशेषज्ञ सांस्कृतिक जासूसों की तरह थे। उन्होंने एक अंग्रेजी वाक्यांश लिया, अपनी भाषा में उसके समकक्ष को खोजा, और फिर AI इमेज जनरेटर (जैसे Midjourney) का उपयोग करके पाँच चित्र बनाए। उन्हें यह सुनिश्चित करने के लिए बहुत सावधान रहना पड़ा कि चित्र केवल शब्दकोश की परिभाषा को ही नहीं, बल्कि मुहावरे के "भाव" (vibe) को भी पकड़ें।

5. उन्होंने क्या पाया: "शाब्दिक पूर्वाग्रह" (The "Literal Bias")

जब उन्होंने इस नए डेटासेट पर एक मानक AI मॉडल का परीक्षण किया, तो उन्होंने कुछ दिलचस्प पाया:

  • AI एक शाब्दिक विचारक है: AI "शाब्दिक" चित्र (सड़ता हुआ सेब) चुनने में बहुत अच्छा था लेकिन "मुहावरेदार" चित्र (एक बुरा व्यक्ति) चुनने में बहुत खराब था।
  • "टॉप 2" की समस्या: भले ही AI सही उत्तर तक पहुँच गया था, लेकिन वह अक्सर उसे नंबर 1 स्थान पर नहीं रख पाता था। यह एक ऐसे छात्र की तरह था जो उत्तर जानता है लेकिन हाथ उठाने में बहुत घबराया हुआ है।
  • भाषा मायने रखती है: कुछ भाषाओं (जैसे स्पेनिश) में, AI मुहावरे को समझने में बेहतर था। अन्य भाषाओं में, वह पूरी तरह से खो गया था। यह साबित करता है कि AI को केवल व्याकरण नहीं, बल्कि भाषा की संस्कृति सीखने की आवश्यकता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र AI के भविष्य के लिए एक रिपोर्ट कार्ड की तरह है।

यदि हम चाहते हैं कि AI एक सच्चा वैश्विक नागरिक बने—जो ब्राजील की दादी से लेकर जापान के किशोर तक के चुटकुले को अनुवाद कर सके, या नाइजीरिया की एक समाचार रिपोर्ट के रूपक (metaphor) को समझ सके—तो हमें उसे केवल शब्द नहीं सिखाने होंगे। हमें उसे संस्कृति सिखानी होगी।

XMPIE शोधकर्ताओं को यह मापने का एक तरीका देता है कि हमें वास्तव में कितनी दूर जाना है। यह हमें दिखाता है कि हालांकि AI स्मार्ट हो रहा है, फिर भी यह समझने में संघर्ष करता है कि मानव भाषा की "आत्मा" क्या है, जहाँ अर्थ अक्सर रूपक, संस्कृति और साझा अनुभवों के पर्दे के पीछे छिपा होता है।

संक्षेप में: उन्होंने हमें यह दिखाने के लिए एक विशाल, 34-भाषा, चित्रों से भरा पहेली बनाई कि AI अभी भी मानव मुहावरों के मामले में थोड़ा "शाब्दिक- minded" है, और उन्होंने हमें यह सिखाने के लिए एक मानचित्र दिया कि कैसे हमारे जैसा सोचना सीखा जाए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →