cs.CL

The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs

यह शोध पत्र सीमावर्ती (फ्रंटियर) लार्ज लैंग्वेज मॉडल्स में एक महत्वपूर्ण "अफ्रीकी भाषा कर" (African Language Tax) को मापता है, जो यह प्रदर्शित करता है कि टोकनाइज़र व्यवस्थित रूप से अंग्रेजी की तुलना में अफ्रीकी भाषाओं को 1.88x से 8.92x अधिक टोकन आवंटित करते हैं, जिससे असमान अनुमान लागत (inference costs), विलंबता (latency) और कॉन्टेक्स्ट विंडो दंड लागू होता है जो इन भाषाओं के बोलने वालों के लिए डिजिटल विभाजन को और बढ़ा देता है।

Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams

यह शोध पत्र तुर्की स्कैम कॉल्स के पहले सार्वजनिक बहु-मोडल डेटासेट को प्रस्तुत करता है और सात लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया कि कम-संसाधन वाली भाषाओं में फोन स्कैम का पता लगाने के लिए ट्रांसक्रिप्ट-आधारित इनपुट, कच्चे ऑडियो प्रोसेसिंग की तुलना में लगातार बेहतर प्रदर्शन करते हैं।

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

यह शोधपत्र नेचर-परिवार के प्रकाशनों से व्युत्पन्न नेचरबेंच (NatureBench) को प्रस्तुत करता है जो यह प्रकट करता है कि वर्तमान एआई कोडिंग एजेंट वास्तविक वैज्ञानिक खोज कार्यों में मौजूदा अत्याधुनिक (SOTA) स्तरों को पार करने के लिए संघर्ष कर रहे हैं, जो मुख्य रूप से वास्तविक आविष्कार के बजाय पद्धतिगत अनुवाद के माध्यम से सफल होते हैं और गलत विधि चयन एवं सीमित कंप्यूट बजट के कारण विफल हो जाते हैं।

Cross-Lingual Exploration for Parametric Knowledge

यह शोध पत्र क्रॉस-लिंगुअल एक्सप्लोरेशन (cross-lingual exploration) को एक कुशल इन्फरेंस-टाइम रणनीति के रूप में प्रस्तावित करता है जो 17 विविध भाषाओं में लार्ज लैंग्वेज मॉडल्स (Large Language Models) के पैरामीट्रिक नॉलेज रिट्रीवल (parametric knowledge retrieval), तथ्यात्मक रिकॉल (factual recall) और क्रॉस-लिंगुअल कंसिस्टेंसी (cross-lingual consistency) को महत्वपूर्ण रूप से बढ़ाता है, जो नेटिव-लैंग्वेज स्केलिंग (native-language scaling) से बेहतर प्रदर्शन करता है।

AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability

AdversaBench एक स्वचालित रेड-टीमिंग पाइपलाइन है जो संरचित उत्परिवर्तन ऑपरेटरों (mutation operators) के माध्यम से प्रतिकूल प्रॉम्प्ट (adversarial prompts) उत्पन्न करती है और एक मल्टी-जज पुष्टिकरण प्रणाली के माध्यम से विफलताओं को मान्य करती है, जिससे यह पता चलता है कि उत्परिवर्तन की प्रभावशीलता कार्य श्रेणी के अनुसार भिन्न होती है जबकि प्रतिकूल प्रॉम्प्ट मजबूत क्रॉस-मॉडल स्थानांतरणीयता प्रदर्शित करते हैं।

To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias

यह शोध पत्र एक एकीकृत ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि जहाँ पृथक मूल्यांकन पूर्वाग्रहों को सीमित कर सकते हैं, वहीं तुलनात्मक मूल्यांकन परिवेश बड़े भाषा मॉडलों (Large Language Models) में अंतर्निहित सामाजिक पूर्वाग्रहों को व्यवस्थित रूप से बढ़ा देते हैं—एक ऐसी घटना जिसे चेन-ऑफ-थॉट (Chain-of-Thought) तर्क और मॉडल के पैमाने द्वारा और अधिक बढ़ा दिया जाता है—जिससे छिपे हुए पूर्वाग्रहों के ऑडिटिंग के लिए तुलनात्मक विधियों का उपयोग करने बनाम अस्पष्ट वास्तविक दुनिया के अनुप्रयोगों में उनसे बचने के बीच एक महत्वपूर्ण अंतर स्पष्ट करना आवश्यक हो जाता है।

Measuring User's Mental Models of Speech Translation in Human-AI Collaboration

यह शोध पत्र एक क्रॉस-लिंगुअल प्रश्न उत्तर फ्रेमवर्क प्रस्तुत करता है ताकि यह अध्ययन किया जा सके कि उपयोगकर्ता स्पीच ट्रांसलेशन सिस्टम के मानसिक मॉडल (मेंटल मॉडल्स) कैसे विकसित करते हैं, जो यह प्रकट करता है कि अभ्यास और स्रोत भाषा का ज्ञान उपयोगकर्ताओं को सतही संकेतों पर निर्भर करके सिस्टम की त्रुटियों का बेहतर पूर्वानुमान लगाने में मदद करता है।

ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge

यह शोध पत्र ParaPairAudioBench प्रस्तुत करता है, जो पांच पैरालिंग्विस्टिक आयामों में 5,175 ऑडियो युग्मों वाला एक व्यापक युग्मवार बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान लार्ज ऑडियो-लैंग्वेज मॉडल सूक्ष्म भाषण मूल्यांकन में मानव निर्णय से काफी पीछे हैं और गंभीर कैलिब्रेशन विफलताओं से जूझ रहे हैं, विशेष रूप से टाई (समानता) के मामलों में।

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

यह शोध पत्र Harmonic को प्रस्तुत करता है, जो एक पदानुक्रमित (hierarchical) स्टेट स्पेस मॉडल है जो ट्रांसफॉर्मर्स और मंबा की तुलना में लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग में बेहतर दक्षता और प्रदर्शन प्राप्त करने के लिए तीन आवर्ती टाइमस्केल्स (recurrent timescales) पर प्रेडिक्शन एरर्स को प्रोसेस करता है, जबकि 1B-पैरामीटर वाले मॉडल्स में लीनियर कम्प्यूटेशनल कॉम्प्लेक्सिटी के साथ 64K टोकन्स तक सफलतापूर्वक स्केल करता है और पोजीशनल एनकोडिंग की सीमाओं को समाप्त करता है।

CN-NewsTTS Bench: a target-level automatic benchmark for raw-input Chinese news TTS pronunciation