TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities
यह शोध पत्र TailNLG को प्रस्तुत करता है, जो एक नया बहुभाषी बेंचमार्क है जो डेटा-टू-टेक्स्ट जनरेशन के दौरान लॉन्ग-टेल संस्थाओं (long-tail entities) के विरुद्ध बड़े भाषा मॉडलों में एक निरंतर प्रदर्शन पूर्वाग्रह को प्रकट करता है, जो इस अंतर को दूर करने के लिए अधिक विश्वसनीय मूल्यांकन ढांचों की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास दुनिया के तथ्यों का एक विशाल, डिजिटल पुस्तकालय है, जो एक विशाल स्प्रेडशीट की तरह व्यवस्थित है। यह एक नॉलेज ग्राफ (Knowledge Graph) है। इसमें "फ्रांस का राष्ट्रपति कौन है?" से लेकर "पेरू की एक घाटी में पाए जाने वाले एक दुर्लभ मशरूम की विशिष्ट रासायनिक संरचना क्या है?" तक सब कुछ समाहित है।
समस्या यह है कि यह स्प्रेडशीट आम लोगों के लिए पढ़ना कठिन है। हम चाहते हैं कि कंप्यूटर उन सूखे तथ्यों को प्राकृतिक, प्रवाहमयी वाक्यों में बदल दे, जैसे कि कोई कहानीकार। इसे डेटा-टू-टेक्स्ट जनरेशन (Data-to-Text generation) कहा जाता है।
मिलिए TailNLG पेपर से। शोधकर्ताओं ने एक नया "टेस्ट" बनाया है यह देखने के लिए कि क्या हमारे सबसे स्मार्ट AI कहानीकार वास्तव में निष्पक्ष हैं, या वे केवल प्रसिद्ध चीजों के बारे में ही बात करना जानते हैं।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. "प्रसिद्ध बनाम विस्मृत" की समस्या
कल्पना कीजिए कि एक पार्टी चल रही है जहाँ हर कोई मशहूर हस्तियों के बारे में बात कर रहा है।
- "हेड" (प्रसिद्ध): टेलर स्विफ्ट, पेरिस या गूगल को हर कोई जानता है। ये "हेड" एंटिटीज (entities) हैं। ये लगभग हर किताब, फिल्म और समाचार लेख में दिखाई देते हैं।
- "लॉन्ग-टेल" (विस्मृत): ये गुमनाम मेहमान हैं। शायद किसी छोटे गाँव का एक स्थानीय बेकर, एक विशिष्ट प्रकार का भृंग (beetle), या एक मामूली ऐतिहासिक व्यक्ति जिसके बारे में केवल कुछ ही तथ्य दर्ज हैं। ये "लॉन्ग-टेल" एंटिटीज हैं।
बड़ा सवाल: क्या AI मॉडल टेलर स्विफ्ट के बारे में शानदार कहानियाँ सुनाते हैं, लेकिन जब एक स्थानीय बेकर के बारे में पूछा जाता है, तो वे लड़खड़ाते हैं, अटकते हैं और मनगढ़ंत बातें बनाने लगते हैं?
2. नया टेस्ट: TailNLG
लेखकों ने TailNLG नामक एक नया बेंचमार्क बनाया है। इसे AI के लिए एक "ब्लाइंड टेस्ट" की तरह समझें।
- उन्होंने विकीडेटा (Wikidata) (तथ्यों का एक मुफ्त, खुला विश्वकोश) से तथ्य एकत्र किए।
- उन्होंने प्रसिद्ध चीजों और गुमनाम चीजों का मिश्रण चुना।
- उन्होंने यह काम तीन भाषाओं में किया: अंग्रेजी, इतालवी और स्पjač (Spanish)।
- उन्होंने विभिन्न AI मॉडलों को इन तथ्यों को वाक्यों में बदलने के लिए कहा।
3. परिणाम: AI में एक "सेलिब्रिटी बायस" (सेलिब्रिटी का झुकाव) है
अध्ययन से पता चला कि AI मॉडल समान अवसर देने वाले कहानीकार नहीं हैं।
- "कॉन्फिडेंस" मीटर: शोधकर्ताओं ने मापा कि AI कितना "अनिश्चित" महसूस कर रहा था। प्रसिद्ध लोगों के बारे में बात करते समय, AI आत्मविश्वासी और सुचारू था। गुमनाम "लॉन्ग-टेल" एंटिटीज के बारे में बात करते समय, AI घबरा गया। वह खुद के बारे में कम निश्चित था, जैसे कोई छात्र परीक्षा में अंदाज़ा लगा रहा हो।
- "हैलुसिनेशन" (भ्रम) का जोखिम: क्योंकि AI उन गुमनाम तथ्यों को अच्छी तरह से नहीं जानता था (प्रशिक्षण के दौरान उसने उन्हें पर्याप्त रूप से नहीं देखा था), इसलिए उसके द्वारा गलतियाँ करने या खाली जगहों को भरने के लिए विवरण गढ़ने की संभावना अधिक थी।
- भाषा का अंतर: AI इतालवी या स्पjač की तुलना में अंग्रेजी में बेहतर था। यह ऐसा है जैसे AI अंग्रेजी बोलने वाले स्कूल में गया हो और उसने अंग्रेजी में गुमनाम तथ्यों को बेहतर ढंग से सीखा हो, जिससे अन्य भाषाओं में बोलने के मामले में वह भ्रमित हो गया।
4. "सिल्वर" बनाम "गोल्ड" ट्विस्ट
इस टेस्ट को बनाने के लिए, शोधकर्ताओं को कुछ तथ्यों का स्वचालित रूप से अनुवाद करना पड़ा क्योंकि हर गुमनाम तथ्य के लिए पर्याप्त मानव अनुवादक उपलब्ध नहीं थे।
- गोल्ड स्टैंडर्ड (Gold Standard): मानव द्वारा लिखे गए, सटीक वाक्य।
- सिल्वर स्टैंडर्ड (Silver Standard): मशीन-अनुवादित वाक्य जिन्हें मनुष्यों द्वारा जांचा गया था।
आश्चर्यजनक रूप से, AI ने "गोल्ड" (मानव) डेटा की तुलना में "सिल्वर" (मशीन-अनुवादित) डेटा पर बेहतर प्रदर्शन किया। क्यों? क्योंकि AI को इंटरनेट के ढेर सारे डेटा पर प्रशिक्षित किया गया है, जो मशीन-अनुवादित टेक्स्ट से भरा हुआ है। यह ऐसा है जैसे AI मशीन द्वारा लिखे गए टेक्स्ट को पढ़ने में अधिक सहज है बजाय मानव द्वारा लिखे गए टेक्स्ट के, क्योंकि उसने अपने प्रशिक्षण में बहुत सारा रोबोट-टेक्स्ट देखा है!
5. यह क्यों महत्वपूर्ण है
यह पेपर एक चेतावनी है।
- वर्तमान AI पक्षपाती है: इसे प्रसिद्ध लोग पसंद हैं और यह गुमनाम लोगों को अनदेखा करता है। यदि हम दुनिया के हर व्यक्ति के लिए ज्ञान का सारांश बनाने के लिए AI पर निर्भर रहते हैं, तो हमें केवल "अमीर और प्रसिद्ध" लोगों की कहानियाँ ही मिल सकती हैं, जबकि बाकी दुनिया का ज्ञान बिगड़ जाएगा या अनदेखा कर दिया जाएगा।
- मेट्रिक्स (मापदंड) पेचीदा हैं: सामान्य तरीके जिनसे हम AI को ग्रेड देते हैं (यह जाँचकर कि शब्द मेल खाते हैं या नहीं), इन समस्याओं को पकड़ नहीं पाए। हमें बेहतर तरीकों की आवश्यकता है जिससे हम यह माप सकें कि क्या कोई AI "छोटे लोगों" के बारे में ईमानदार और सटीक है।
निष्कर्ष (The Takeaway)
वर्तमान AI मॉडल्स को पॉप कल्चर के सुपर-फैन्स के रूप में सोचें। वे टेलर स्विफ्ट के टूर पर 10 पन्नों का निबंध लिख सकते हैं, लेकिन यदि आप उनसे 18वीं शताब्दी के एक विशिष्ट, कम ज्ञात मोची की जीवनी लिखने को कहें, तो वे शायद जम जाएंगे या मनगढ़ंत बातें बनाने लगेंगे।
TailNLG बेंचमार्क वह उपकरण है जिसकी हमें आवश्यकता है ताकि हम इन AI को "छोटे लोगों" का अध्ययन करने के लिए मजबूर कर सकें, ताकि जब वे हमसे बात करें, तो वे केवल मशहूर हस्तियों के बारे में ही नहीं, बल्कि सभी के बारे में सच बोलें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।