Towards Fair ASR For Second Language Speakers Using Fairness Prompted Finetuning

कल्पना कीजिए कि आपके पास "विस्पर" (Whisper) और "सीमलेस" (Seamless) नाम के दो बहुत ही बुद्धिमान और अनुभवी अनुवादक हैं। ये अनुवादक अंग्रेजी सुनने और उसे लिखने में विशेषज्ञ हैं। हालाँकि, इन्हें मुख्य रूप से उन लोगों को सुनकर प्रशिक्षित किया गया है जिनका लहजा "मानक" (standard) है (जैसे कि जो आप प्रमुख समाचार नेटवर्क पर सुनते हैं)।

जब ये अनुवादक दूसरी भाषा के लहजों (जैसे कि कोई व्यक्ति भारतीय, नाइजीरियाई या वियतनामी लहजे के साथ अंग्रेजी बोल रहा हो) को सुनने की कोशिश करते हैं, तो वे भ्रमित हो जाते हैं। यह ऐसा है जैसे किसी गाने को तब समझने की कोशिश करना जब कुछ वाद्य यंत्रों की आवाज़ कम कर दी गई हो; अनुवादक शब्दों को छोड़ देता है, उनकी स्पेलिंग गलत लिख देता है, या बस हार मान लेता है। यह शोध पत्र इसे "अन्याय" (unfairness) कहता है क्योंकि कुछ आवाज़ें स्पष्ट सुनाई देती हैं, जबकि अन्य धुंधली लगती हैं।

लेखकों ने इस समस्या को कैसे ठीक किया, इसका सरल विवरण यहाँ दिया गया है:

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल

शोधकर्ताओं ने इन प्रसिद्ध अनुवादकों का 26 अलग-अलग लहजे समूहों पर परीक्षण किया। उन्होंने प्रदर्शन में एक बड़ा अंतर पाया।

• परिणाम: कुछ लहजों के लिए, अनुवादक बहुत कम गलतियाँ करते थे। अन्य के लिए, वे लगभग हर दूसरे शब्द पर गलती करते थे।
• उपमा: कल्पना कीजिए कि एक शिक्षक परीक्षा का मूल्यांकन कर रहा है। यदि शिक्षक केवल साफ-सुथरी मानक लिखावट को ही पढ़ना जानता है, तो वह एक ऐसे छात्र को "A" ग्रेड दे सकता है जिसकी लिखावट एकदम सटीक है, लेकिन एक ऐसे छात्र को "F" ग्रेड दे सकता है जिसकी लिखावट अनूठी और बिखरी हुई है—भले ही दोनों छात्रों ने बिल्कुल सही उत्तर लिखे हों। परीक्षण उस बिखरी हुई लिखावट के प्रति निष्पक्ष नहीं था।

2. समाधान: "फेयरनेस प्रॉम्प्टेड फाइनट्यूनिंग" (Fairness Prompted Finetuning)

लेखकों ने अनुवादकों को केवल "अधिक प्रयास करने" के लिए नहीं कहा। उन्होंने उन्हें एक विशेष प्रशिक्षण व्यवस्था दी जिसे फेयरनेस प्रॉम्प्टेड फाइनट्यूनिंग कहा जाता है। इसे एक विशेष कोचिंग कैंप के रूप में समझें जिसे समान अवसर प्रदान करने के लिए डिज़ाइन किया गया है।

उन्होंने तीन विशिष्ट "कोचिंग तकनीकें" (गणितीय उपकरण) उपयोग कीं और फिर उन्हें एक "सुपर-कोच" में मिला दिया:

• तकनीक A (स्पेक्ट्रल डिकपलिंग - Spectral Decoupling): यह अनुवादक को आसान चीजों के बारे में बहुत अधिक आश्वस्त होने से रोकता है। यह मॉडल को धीमा होने और सोचने के लिए मजबूर करता है, "रुको, मैं यहाँ गलत भी हो सकता हूँ," जो इसे कठिन लहजों को बेहतर ढंग से संभालने में मदद करता है।
• तकनीक B (ग्रुप-डीआरओ - Group-DRO): यह "सबसे खराब स्थिति वाला कोच" है। औसत छात्र को पास कराने के बजाय, यह कोच पूरी तरह से उस छात्र पर ध्यान केंद्रित करता है जो सबसे अधिक संघर्ष कर रहा है। यह सिस्टम को उन लहजे समूहों के प्रदर्शन में सुधार करने के लिए मजबूर करता है जो सबसे खराब प्रदर्शन कर रहे हैं, भले ही इसके लिए उन लोगों की गति धीमी करनी पड़े जो पहले से ही अच्छा कर रहे थे।
• तकनीक C (आईआरएम - IRM): यह अनुवादक को शब्दों के अर्थ पर ध्यान केंद्रित करना सिखाता है, न कि बैकग्राउंड शोर या विशिष्ट लहजे पर। यह किसी को यह सिखाने जैसा है कि किसी मित्र की आवाज़ को उसके चिल्लाने, फुसफुसाने या जुकाम में बोलने के बावजूद कैसे पहचाना जाए।

"फ्यूजन" (Fusion) रणनीति:
लेखकों ने महसूस किया कि केवल एक कोच का उपयोग करना पर्याप्त नहीं था। इसलिए, उन्होंने एक फ्यूजन रणनीति बनाई। उन्होंने मानक प्रशिक्षण (ERM) को इन तीनों निष्पक्षता तकनीकों के साथ मिलाया।

• उपमा: यह एक स्पोर्ट्स टीम की तरह है जहाँ आपके पास गति के लिए एक कोच, रक्षा के लिए एक कोच और रणनीति के लिए एक कोच है। किसी एक को चुनने के बजाय, आपने तीनों को एक साथ चर्चा (huddle) में डाल दिया। परिणाम एक ऐसी टीम है जो हर किसी के खिलाफ अच्छा खेलती है, न कि केवल आसान विरोधियों के खिलाफ।

3. परिणाम: एक संतुलित टीम

इस विशेष प्रशिक्षण के बाद, अनुवादक सभी को सुनने में बहुत बेहतर हो गए।

• बड़ी जीत: "फ्यूजन" दृष्टिकोण ने मूल, अप्रशिक्षित मॉडलों की तुलना में औसत गलतियों की संख्या में लगभग 59% की कमी की।
• निष्पक्षता की जीत: "सबसे आसान" लहजे और "सबसे कठिन" लहजे के बीच का अंतर नाटकीय रूप रूप से कम हो गया।
  • पहले: कुछ लहजों की त्रुटि दर 100% (पूर्ण विफलता) थी, जबकि अन्य की 10% थी।
  • बाद में: सभी लहजों के लिए त्रुटि दर बहुत अधिक समान हो गई। "बिखरी हुई लिखावट" वाले छात्र अब "साफ लिखावट" वाले छात्रों के बहुत करीब ग्रेड प्राप्त करने लगे।

4. उन्होंने क्या खोजा (और क्या नहीं)

शोधकर्ताओं ने यह भी देखा कि कुछ लहजे अभी भी कठिन क्यों थे:

• बड़ा बेहतर है (एक सीमा तक): उन्होंने पाया कि एक बड़े मॉडल (जैसे "विस्पर-लार्ज") का उपयोग करना आम तौर पर सभी के लिए मददगार होता है। हालाँकि, वास्तव में निष्पक्ष होने के लिए बड़े मॉडलों को भी निष्पक्षता प्रशिक्षण की आवश्यकता थी।
• कोई सरल नियम नहीं: उन्होंने एक पैटर्न खोजने की कोशिश की, जैसे "क्या यह उन देशों के लहजों को समझना कठिन है जो भाषाई रूप से दूर हैं?" या "क्या यह तब कठिन होता है जब शब्द लंबे होते हैं?"
  • आश्चर्य: उन्होंने पाया कि कोई स्पष्ट संबंध नहीं था। अंग्रेजी के बहुत करीब के देश (जैसे रोमानिया) का लहजा भी उतना ही कठिन हो सकता है जितना कि बहुत अलग देश का। इसका मतलब है कि समस्या केवल इस बारे में नहीं है कि लहका कितना "अलग" सुनाई देता है; यह इस बारे में है कि मॉडल ने अपने शुरुआती प्रशिक्षण के दौरान कितना डेटा देखा।

निष्कर्ष

यह शोध पत्र दिखाता है कि यदि आप एक ऐसा स्पीच रिकग्निशन सिस्टम चाहते हैं जो सभी के लिए काम करे, तो आप इसे केवल सबसे सामान्य आवाजों पर प्रशिक्षित नहीं कर सकते। आपको इसे सक्रिय रूप से उन आवाजों की परवाह करने के लिए प्रशिक्षित करना होगा जिन्हें यह आमतौर पर अनदेखा कर देता है। निष्पक्षता तकनीकों के "फ्यूजन" का उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो 26 अलग-अलग अंग्रेजी लहजों को बहुत अधिक समान सम्मान के साथ सुनता है, यह सुनिश्चित करते हुए कि "हर आवाज मायने रखती है।"