P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs
यह शोध पत्र P3B3 को प्रस्तुत करता है, जो एक विशेषज्ञ-क्यूरेटेड बेंचमार्क और मूल्यांकन ढांचा है जो वर्तमान बड़े भाषा मॉडलों (Large Language Models) में यूरोपीय पुर्तगाली की तुलना में ब्राज़ीलियाई पुर्तगाली के प्रति एक महत्वपूर्ण पूर्वाग्रह को प्रकट करता है, जो अधिक संतुलित बहुभाषी प्रतिनिधित्व की तत्काल आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, विद्वान रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) का एक समूह है जो पुर्तगाली भाषा बोलते हैं। समस्या यह है कि पुर्तगाली केवल एक अकेली आवाज़ नहीं है; यह एक परिवार की तरह है जिसके दो बहुत ही अलग और विशिष्ट चचेरे भाई हैं: यूरोपीय पुर्तगाली (पुर्तगाल में बोली जाने वाली) और ब्राज़ीलियाई पुर्तगाली (ब्राज़ील में बोली जाने वाली)।
हालाँकि वे एक ही पारिवारिक नाम साझा करते हैं, लेकिन वे अलग-अलग तरह से बात करते हैं। वे एक ही चीज़ के लिए अलग-अलग शब्दों का उपयोग करते हैं (जैसे "बस" बनाम "ऑटोकारो"), आपस में अलग तरह से बात करते हैं, और यहाँ तक कि अपने वाक्यों को भी अनूठे तरीकों से व्यवस्थित करते हैं।
समस्या: "ब्राज़ीलियाई पूर्वाग्रह" (The "Brazilian Bias")
शोधकर्ताओं ने इस शोध पत्र में एक अजीब बात देखी। क्योंकि इंटरनेट ब्राज़ील के टेक्स्ट से भरा हुआ है, इसलिए इन रोबोटों ने यूरोपीय पुर्तगाली की तुलना में बहुत अधिक ब्राज़ीलियाई पुर्तगाली पढ़ी है। यह ऐसा ही है जैसे किसी छात्र ने केवल एक ही बोली की पाठ्यपुस्तकों को पढ़ा हो; जब वह बोलने की कोशिश करता है, तो वह अनजाने में उस क्षेत्र की तरह सुनाई देने लगता है जहाँ से उसने पढ़ा है, भले ही वह समुद्र के दूसरी ओर किसी व्यक्ति से बात कर रहा हो।
टीम जानना चाहती थी: क्या इन रोबोटों का कोई पसंदीदा चचेरा भाई है? और यदि हम उनसे कहें, "कृपया यूरोपीय की तरह बोलें," तो क्या वे वास्तव में ऐसा कर सकते हैं?
समाधान: P3B3 (द "एक्सेंट टेस्ट")
यह पता लगाने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण बनाया जिसे P3B3 कहा जाता है। इसे भाषा के लिए एक "ब्लाइंड टेस्ट" (blind taste test) की तरह समझें।
- सेटअप: उन्होंने केवल रोबोट से यह नहीं पूछा, "बस क्या है?" (जो एक विशिष्ट उत्तर को ट्रिगर कर सकता है)। इसके बजाय, उन्होंने परिवहन और सौंदर्य प्रसाधनों जैसे रोजमर्रा के विषयों पर स्वाभाविक, बहु-चरणीय (multi-turn) बातचीत बनाई।
- चाल (The Trick): प्रश्न "विविधता-तटस्थ" (variety-agnostic) डिज़ाइन किए गए थे। इसका मतलब है कि प्रश्नों ने किसी भी संकेत को नहीं दिया कि किस लहजे (accent) का उपयोग करना है। यह पूछने जैसा था कि "मैं दुकान तक कैसे पहुँचूँ?" बिना यह कहे कि "लिस्बन में" या "साओ पाउलो में"।
- लक्ष्य: वे देखना चाहते थे कि रोबले स्वाभाविक रूप से क्या कहेंगे। क्या वे अपने सबसे अधिक पढ़े गए ब्राज़ीलियाई लहजे का उपयोग करेंगे? या क्या वे निर्देश मिलने पर अपनी शैली बदल सकते हैं?
उन्होंने इसे कैसे मापा
शोधकर्ताओं ने रोबोटों के उत्तरों को ग्रेड देने के लिए दो तरीकों का उपयोग किया:
- "ग्रामर पुलिस" (वर्गीकरणकर्ता/Classifiers): कंप्यूटर प्रोग्राम जिन्हें पुर्तगाल या ब्राज़ील के विशिष्ट शब्दों और व्याकरण के नियमों को पहचानने के लिए प्रशिक्षित किया गया था।
- "विशेषज्ञ निर्णायक" (LLM-as-Judge): उन्होंने एक सुपर-स्मार्ट AI (Gemini) का उपयोग किया जो एक मानव भाषाविद् की तरह उत्तरों को पढ़ सके, उन्हें 0 (शुद्ध ब्राज़ीलियाई) से 10 (शुद्ध यूरोपीय) तक का स्कोर दे सके और यह भी समझा सके कि क्यों (जैसे, "उन्होंने 'ऑटोकारो' के बजाय 'ओनिबस' शब्द का उपयोग किया")।
उन्हें क्या पता चला
परिणाम कुछ हद तक एक रियलिटी टीवी शो की तरह थे जहाँ प्रतियोगियों के लिए अपनी असली पहचान छिपाना मुश्किल होता है:
- डिफ़ॉल्ट मोड: जब उन्हें अकेला छोड़ दिया गया (कोई निर्देश नहीं दिया गया), तो लगभग हर रोबोट स्वाभाविक रूप से ब्राज़ीलियाई पुर्तगाली में बोला। यह उनका "कंफर्ट ज़ोन" था। यहाँ तक कि वे रोबोट भी जिन्हें विशेष रूप से यूरोपीय बनाने के लिए प्रशिक्षित किया गया था (जैसे AMALIA), केवल वे ही लगातार यूरोपीय लहजे पर टिके रहे।
- "स्विच" टेस्ट: जब शोधकर्ताओं ने स्पष्ट रूप से रोबोटों को कहा, "कृपया ब्राज़ीलियाई बोलें," तो उनमें से अधिकांश ने बहुत अच्छा काम किया। लेकिन जब उन्होंने कहा, "कृपया यूरोपीय बोलें," तो यह बहुत कठिन था। कई रोबोटों को संघर्ष करना पड़ा और वे सुसंगत रहने में विफल रहे। वे यूरोपीय बोलना शुरू तो करते थे, लेकिन कुछ वाक्यों के बाद वे गलती से ब्राज़ीलियाई शब्दों या व्याकरण की ओर वापस फिसल जाते थे।
- आकार मायने रखता है: नए, बड़े और अधिक शक्तिशाली रोबोट निर्देशों का पालन करने और लहजे को बदलने में पुराने, छोटे रोबोटों की तुलना में बेहतर थे। हालाँकि, बेहतरीन रोबोट भी लंबी बातचीत के दौरान कभी-कभी अपने ब्राज़ीलियाई मूल की ओर वापस लौट जाते थे।
बड़ी तस्वीर (The Big Picture)
यह शोध पत्र निष्कर्ष निकालता है कि जबकि ये AI मॉडल बेहतर हो रहे हैं, फिर भी उनमें एक मजबूत "ब्राज़ीलियाई पूर्वाग्रह" है क्योंकि वे उस डेटा पर आधारित हैं जिसे उन्होंने प्रशिक्षित किया है। वे उन अभिनेताओं की तरह हैं जो एक ब्राज़ीलियाई चरित्र निभाने में माहिर हैं लेकिन पूरे नाटक के दौरान एक यूरोपीय चरित्र में बने रहने के लिए संघर्ष करते हैं, भले ही निर्देशक उनसे ऐसा करने को कहे।
शोधकर्ताओं ने यह परीक्षण (P3B3) बनाया ताकि भविष्य में डेवलपर्स यह जांच सकें कि क्या उनके रोबोट सभी पुर्तगाली बोलने वालों के लिए अधिक संतुलित और निष्पक्ष हो रहे हैं, जिससे यह सुनिश्चित हो सके कि लिस्बन के उपयोगकर्ता को भी रियो डी जनेरियो के उपयोगकर्ता की तरह ही उच्च-गुणवत्ता वाला, सांस्कृतिक रूप से सटीक अनुभव मिले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।