💬 NLP

Double-Calibration: Towards Reliable LLMs via Calibrating Knowledge and Reasoning Confidence

यह शोधपत्र DoublyCal को प्रस्तुत करता है, जो एक हल्के प्रॉक्सी मॉडल का उपयोग करके कैलिब्रेटेड कॉन्फिडेंस के साथ नॉलेज ग्राफ एविडेंस (ज्ञान ग्राफ साक्ष्य) उत्पन्न करता है, जिससे ब्लैक-बॉक्स LLMs की सटीकता और विश्वसनीयता बढ़ती है, और इस प्रकार LLM को ऐसे सुव्यवस्थित (वेल-कैलिब्रेटेड) पूर्वानुमान उत्पन्न करने में सक्षम बनाता है जो सहायक साक्ष्य की अनिश्चितता तक वापस जाते हैं।

Yuyin Lu, Ziran Liang, Yanghui Rao, Wenqi Fan, Fu Lee Wang, Qing Li2026-05-19
💬 NLP

UbuntuGuard: A Culturally-Grounded Policy Benchmark for Equitable AI Safety in African Languages

यह शोध पत्र उबंटूगार्ड (UbuntuGuard) को प्रस्तुत करता है, जो अफ्रीकी भाषाओं के लिए पहला सांस्कृतिक रूप से आधारित, नीति-आधारित सुरक्षा बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अंग्रेजी-केंद्रित गार्डियन मॉडल और बेंचमार्क अफ्रीकी संदर्भ में निहित अद्वितीय सामाजिक-सांस्कृतिक जोखिमों और कम-संसाधन चुनौतियों को पर्याप्त रूप से संबोधित करने में विफल रहते हैं।

Tassallah Abdullahi, Macton Mgonzo, Mardiyyah Oduwole, Paul Okewunmi, Abraham Owodunni, Ritambhara Singh, Carsten Eickho (…)2026-05-19
💬 NLP

White-Box Sensitivity Auditing with Steering Vectors

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के लिए एक व्हाइट-बॉक्स संवेदनशीलता ऑडिटिंग फ्रेमवर्क का प्रस्ताव करता है जो आंतरिक अवधारणाओं (इंटरनल कॉन्सेप्ट्स) को हेरफेर करने के लिए एक्टिवेशन स्टीयरिंग का लाभ उठाता है, जिससे उच्च-जोखिम वाले निर्णय कार्यों में संरक्षित विशेषताओं (प्रोटेक्टेड एट्रिब्यूट्स) पर पर्याप्त निर्भरता का पता चलता है जिसे मानक ब्लैक-बॉक्स मूल्यांकन अक्सर पकड़ने में विफल रहते हैं।

Hannah Cyberey, Yangfeng Ji, David Evans2026-05-19
💬 NLP

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

यह शोध पत्र डीप डेटा रिसर्च (DDR) और इसके संगत बेंचमार्क, DDR-Bench को प्रस्तुत करता है, जो कच्चे डेटा से स्वायत्त रूप से अंतर्दृष्टि निकालने में एजेंटिक लार्ज लैंग्वेज मॉडल्स की खोजी बुद्धिमत्ता का मूल्यांकन करता है, और यह प्रकट करता है कि जबकि फ्रंटियर मॉडल्स उभरती हुई एजेंसी प्रदर्शित करते हैं, प्रभावी लॉन्ग-होरिजन अन्वेषण के लिए केवल स्केलिंग या स्कैफोल्डिंग से परे आंतरिक रणनीतियों की आवश्यकता होती है।

Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He2026-05-19
💬 NLP

Fix the Structural Bottleneck: Context Compression via Explicit Information Transmission

यह शोध पत्र ComprExIT प्रस्तुत करता है, जो एक संदर्भ संपीड़न (context compression) ढांचा है जो फ्रोजन परतों (frozen layers) के माध्यम से स्पष्ट, वैश्विक रूप से समन्वित सूचना प्रसारण को नियोजित करके LLM एजेंटों में संरचनात्मक बाधाओं को संबोधित करता है, जिससे मौजूदा विधियों की तुलना में प्रदर्शन और दक्षता में महत्वपूर्ण सुधार प्राप्त होता है।

Jiangnan Ye, Hanqi Yan, Zhenyi Shen, Heng Chang, Ye Mao, Yulan He2026-05-19
💬 NLP

MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models

यह शोधपत्र मेंन्टलबेंच (MentalBench) का परिचय देता है, जो बड़े भाषा मॉडलों (LLMs) की नैदानिक क्षमताओं का मूल्यांकन करने के लिए एक मनोचिकित्सक द्वारा सत्यापित ज्ञान ग्राफ का उपयोग करने वाला एक DSM-5-आधारित बेंचमार्क है, जो यह प्रकट करता है कि जहाँ मॉडल ज्ञान पुनर्प्राप्ति (knowledge retrieval) में उत्कृष्ट हैं, वहीं वे जटिल और संदिग्ध नैदानिक परिदृश्यों में आत्मविश्वास अंशांकन (confidence calibration) में संघर्ष करते हैं।

Hoyun Song, Migyeong Kang, Jisu Shin, Jihyun Kim, Chanbi Park, Hangyeol Yoo, Jihyun An, Alice Oh, Jinyoung Han, KyungTae (…)2026-05-19
💬 NLP

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents

यह शोध पत्र STING को प्रस्तुत करता है, जो एक स्वचालित रेड-टीमिंग फ्रेमवर्क और विश्लेषण पद्धति है जो बहु-चरण (multi-turn), बहुभाषी LLM एजेंटों की अवैध सहायता के प्रति संवेदनशीलता का मूल्यांकन करता है, जिससे यह प्रकट होता है कि सिंगल-टर्न विधियों की तुलना में चरण-दर-चरण प्रतिकूल नियोजन (adversarial planning) हमले की सफलता को महत्वपूर्ण रूप से बढ़ा देता है और जेलब्रेक भेद्यता के संबंध में भाषा-संसाधन विषमताओं के बारे में धारणाओं को चुनौती देता है।

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut2026-05-19
💬 NLP

Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents

यह शोध पत्र कैलिब्रेट-देन-एक्ट (CTA) फ्रेमवर्क प्रस्तुत करता है, जो LLM एजेंटों को लेटेंट एनवायरनमेंट स्टेट्स के बारे में अनुमानित प्रायर्स (priors) से सुसज्जित करता है ताकि वे लागत-अनिश्चितता ट्रेडऑफ्स (cost-uncertainty tradeoffs) के बारे में स्पष्ट रूप से तर्क कर सकें, जिससे उन्हें मानक सुदृढीकरण शिक्षण (reinforcement learning) पर निर्भर रहे बिना रिट्रीवल-ऑगमेंटेड QA और कोडिंग जैसे कार्यों में अधिक इष्टतम अनुक्रमिक निर्णय लेने की रणनीतियों को खोजने में सक्षम बनाया जा सके।

Wenxuan Ding, Nicholas Tomlin, Greg Durrett2026-05-19
💬 NLP

Surgical Post-Training: Proximal On-Policy Distillation for Reasoning with Knowledge Retention

यह शोध पत्र सर्जिकल पोस्ट-ट्रेनिंग (SPOT) का प्रस्ताव करता है, जो एक प्रॉक्सिमल ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो एलएलएम (LLM) की रीजनिंग क्षमताओं को कुशलतापूर्वक बढ़ाने और कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को प्रभावी ढंग से कम करने के लिए एक डेटा रेक्टिफिकेशन पाइपलाइन और एक केएल-कंस्ट्रेंड (KL-constrained) रिवॉर्ड ऑब्जेक्टिव का उपयोग करता है।

Wenye Lin, Kai Han2026-05-19
💬 NLP

SkillMAS: Skill Co-Evolution with LLM-based Multi-Agent System

SkillMAS एक नॉन-पैरामीट्रिक फ्रेमवर्क है जो अनुकूलन बाधाओं (adaptation bottlenecks) को दूर करने और विविध कार्यों में प्रभावी पोस्ट-डिप्लॉयमेंट विशेषज्ञता सक्षम करने के लिए यूटिलिटी लर्निंग, बाउंडेड स्किल रिफाइनमेंट और एविडेंस-गेटेड रीऑर्गनाइजेशन के माध्यम से कौशल विकास (skill evolution) को मल्टी-एजेंट सिस्टम पुनर्गठन के साथ एक साथ जोड़ता है।

Shuai Pan, Yixiang Liu, Jiaye Gao, Te Gao, Weiwen Liu, Jianghao Lin, Zhihui Fu, Jun Wang, Weinan Zhang, Yong Yu2026-05-19