IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
यह शोध पत्र IndicContextEval प्रस्तुत करता है, जो 8 भारतीय भाषाओं और 23 डोमेन में फैला एक व्यापक बहुभाषी बेंचमार्क है, जिसे एक नवीन 7-स्तरीय प्रॉम्प्टिंग ढांचे के माध्यम से यह कठोरता से मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या ऑडियो लार्ज लैंग्वेज मॉडल्स वास्तव में स्पष्ट प्रासंगिक प्रॉम्प्ट्स का उपयोग करते हैं या प्रीट्रेनिंग ज्ञान पर निर्भर रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुभाषी सहायक है जो लोगों को बोलते हुए सुन सकता है और वे जो कहते हैं उसे ठीक वैसे ही लिख सकता है। AudioLLMs (ऑडियो लार्ज लैंग्वेज मॉडल्स) यही करते हैं। वे सुपर-पावर्ड डिक्टेशन टूल्स की तरह हैं जो पहले से दी गई एक छोटी सी नोट को भी सुन सकते हैं, जैसे कि "यह एक मेडिकल मीटिंग है" या "यहाँ कुछ नामों की सूची है जिन पर नज़र रखनी है।"
बड़ा सवाल जो इस पेपर के लेखकों ने पूछा है, वह यह है: क्या यह सहायक वास्तव में आपकी नोट को पढ़ता है और मदद के लिए उसका उपयोग करता है, या यह केवल यह दिखावा करता है कि वह सुन रहा है जबकि वह अपने प्रशिक्षण के दौरान याद की गई चीज़ों पर निर्भर रहता है?
इस उत्तर को खोजने के लिए, उन्होंने एक नया परीक्षण मैदान बनाया जिसे IndicContextEval कहा जाता है। यहाँ उन्होंने क्या किया और उन्हें क्या मिला, इसका एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. टेस्ट किचन: IndicContextEval
इस बेंचमार्क को एक विशाल, व्यवस्थित रसोई के रूप में सोचें जहाँ उन्होंने 56 घंटे की स्वाभाविक बातचीत को पकाया है, जिसमें 8 अलग-अलग भारतीय भाषाओं (जैसे हिंदी, बंगाली और तमिल) में बोलने वाले 555 अलग-अलग लोग शामिल हैं।
- सामग्री (Ingredients): उन्होंने केवल रैंडम बातें रिकॉर्ड नहीं कीं। उन्होंने 23 विभिन्न पेशेवर क्षेत्रों पर ध्यान केंद्रित किया, जो "रोबोटिक्स और ऑटोमेशन" से लेकर "पाक कला" (Culinary Arts) और "कानून" तक फैले हुए हैं। यह सुनिश्चित करता है कि वक्ता कठिन, तकनीकी शब्दों का उपयोग करते हैं जिन्हें केवल सुनकर अनुमान लगाना मुश्किल होता है।
- लक्ष्य: वे यह देखना चाहते थे कि क्या AI इन कठिन शब्दों को सही ढंग से लिख पाता है जब उसे एक "संकेत" (context) दिया जाता है बनाम जब उसे अपने दम पर अनुमान लगाना पड़ता है।
2. संकेतों के सात स्तर (The "Prompt" Ladder)
शोधकर्ताओं ने AI का परीक्षण करने के लिए एक चतुर सीढ़ी बनाई जिसमें 7 स्तर थे। कल्पना कीजिए कि आप एक मित्र से किसी विशेष विषय पर कहानी लिखने के लिए कह रहे हैं। आप उन्हें ऐसे संकेत देते हैं जो अधिक विशिष्ट होते जाते हैं:
- स्तर 0 (खाली स्लेट - The Blank Slate): "जो तुम सुनते हो, बस वही लिखो।" (कोई संकेत नहीं)।
- स्तर 1 (भाषा का संकेत): "जो तुम सुनते हो उसे हिंदी में लिखो।" (केवल भाषा बताता है)।
- स्तर 2 (संरचित नोट): "यह हिंदी में एक मेडिकल टॉक है, जो एक डॉक्टर द्वारा दी जा रही है।" (केवल तथ्य)।
- स्तर 3 (कहानी वाला नोट): "यह एक डॉक्टर द्वारा हिंदी में सर्जरी समझाना है।" (एक प्राकृतिक वाक्य विवरण)।
- स्तर 4 (अंग्रेजी सूची): "यहाँ अंग्रेजी में मेडिकल शब्दों की एक सूची है: Heart, Scalpel, Antibiotic।" (लेकिन AI को उत्तर अभी भी हिंदी में लिखना होगा)।
- स्तर 5 (देशी सूची - The Native List): "यही सूची, लेकिन हिंदी लिपि में लिखी हुई।" (संकेत और उत्तर की भाषा मेल खाती है)।
- स्तर 6 (जाल - The Trap): "यहाँ एक कुकिंग (खाना पकाने) के शब्दों की सूची है (जैसे आटा, ओवन, मसाला) एक मेडिकल टॉक के लिए।" (यह एक चाल है यह देखने के लिए कि क्या AI आँख बंद करके उस सूची का पालन करता है भले ही वह गलत हो)।
3. परिणाम: वास्तव में कौन सुनता है?
उन्होंने पाँच अलग-अलग AI मॉडल का परीक्षण किया। यहाँ क्या हुआ, "मित्र" की उपमा का उपयोग करते हुए:
"स्मार्ट और संदेही" मित्र (GPT-4o Transcribe):
यह मित्र अच्छा है। जब आप उन्हें शब्दों की सही सूची (स्तर 5) देते हैं, तो वे बहुत अच्छा काम करते हैं। लेकिन जब आप उन्हें गलत सूची (स्तर 6, कुकिंग ट्रैप) देते हैं, तो वे इसे अनदेखा कर देते हैं और जो वे वास्तव में सुनते हैं उस पर टिके रहते हैं। वे जानते हैं कि कब संकेत का उपयोग करना है और कब उसे अनदेखा करना है।"उत्सुक शिक्षार्थी" (Gemini 3 Flash):
यह मित्र संकेतों को पसंद करता है। जब आप उन्हें सही सूची देते हैं, तो वे अपने लेखन में काफी सुधार करते हैं। वे वास्तव में कठिन शब्दों को सही ढंग से लिखने के लिए संदर्भ का उपयोग करते हुए प्रतीत होते हैं।"अंधा अनुयायी" (Gemma-3N):
यह मित्र बहुत अधिक भरोसेमंद है। जब आप उन्हें गलत सूची (स्तर 6) देते हैं, तो वे भ्रमित हो जाते हैं और उस गलत सूची के आधार पर बकवास लिखना शुरू कर देते हैं। वे नोट पर बहुत अधिक निर्भर करते हैं और वास्तविक आवाज़ को सुनना भूल जाते हैं।"नोट्स के प्रति बहरे" मित्र (Sarvam Audio):
यह मित्र वास्तव में सुनने और शब्दों को लिखने में सबसे अच्छा है (कुल मिलाकर सबसे कम त्रुटियां)। हालांकि, वे संकेत देने या न देने से अपने व्यवहार में बहुत कम बदलाव लाते हैं। यह ऐसा है जैसे वे सुनने में इतने अच्छे हैं कि उन्हें नोट्स की वास्तव में आवश्यकता नहीं है, या वे बस उन्हें अनदेखा कर देते हैं।"भ्रमित" मित्र (GPT-4o और अन्य स्तर 0 पर):
जब कोई भाषा निर्दिष्ट नहीं की गई थी (स्तर 0), तो कई मॉडल इस बात को लेकर भ्रमित हो गए कि किस भाषा की लिपि का उपयोग करना है, जिससे बहुत सारी गलतियाँ हुईं। एक बार जब आपने उन्हें बताया "हिंदी बोलें," तो उनका प्रदर्शन तुरंत बढ़ गया।
4. मुख्य निष्कर्ष
- "संकेत" का प्रारूप मायने रखता है: AI को यह बताना कि "यहाँ अंग्रेजी में शब्दों की एक सूची है" (स्तर 4), स्तर 5 में दी गई स्थानीय भाषा की लिपि के मुकाबले उतना मददगार नहीं था। यह एक ऐसी रेसिपी को पढ़ने की कोशिश करने जैसा है जो आप नहीं जानते, यह उतना मददगार नहीं है जितना कि अपनी भाषा में उपलब्ध होना।
- प्राकृतिक बनाम रोबोट: ऑडियो का प्राकृतिक वाक्य में वर्णन करना (स्तर 3), तथ्यों की सूखी सूची (स्तर 2) देने की तुलना में बेहतर काम करता है।
- ट्रैप टेस्ट (जाल का परीक्षण): "स्तर 6" का जाल महत्वपूर्ण था। इसने साबित किया कि कुछ मॉडल इतने स्मार्ट हैं कि वे खराब संकेतों को अनदेखा कर सकें, जबकि अन्य इतने उत्सुक होते हैं कि वे गलत निर्देशों का पालन करते हैं और गलतियाँ करते हैं।
सारांश
पेपर यह निष्कर्ष निकालता है कि हालांकि ये AI मॉडल शक्तिशाली हैं, वे सभी संदर्भ का उपयोग एक ही तरह से नहीं करते हैं। कुछ इतने स्मार्ट हैं कि वे जानते हैं कि कब संकेत का उपयोग करना है और कब उसे अनदेखा करना है। अन्य या तो संकेतों के प्रति बहुत अंधे हैं या उनसे आसानी से धोखा खा जाते हैं।
लेखकों ने यह परीक्षण (IndicContextEval) बनाया है ताकि डेवलपर्स इन अंतरों को समझ सकें ताकि वे भविष्य में भारतीय भाषाओं के लिए बेहतर, अधिक विश्वसनीय वॉयस असिस्टेंट बना सकें। उन्होंने अपना सारा डेटा और परीक्षण सार्वजनिक कर दिया है ताकि अन्य लोग इस शोध को आगे बढ़ा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।