💬 NLP

From Benchmarks to Skills: Low-Rank Factors for LLM Evaluation

यह शोध पत्र बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए एक नए मूल्यांकन प्रतिमान का प्रस्ताव करता है जो बेंचमार्क प्रदर्शन में अंतर्निहित निम्न-रैंक संरचना (लो-रैंक स्ट्रक्चर) को प्रकट करने के लिए फैक्टर एनालिसिस लागू करता है, जो यह प्रदर्शित करता है कि व्याख्या योग्य गुप्त कौशल कारकों की एक छोटी संख्या अधिकांश क्षमताओं को समाहित करती है और अनावश्यक कार्यों की पहचान करने, नए मॉडलों की कुशलतापूर्वक प्रोफाइलिंग करने और विशिष्ट कौशल प्रोफाइल के आधार पर मॉडलों का चयन करने के लिए व्यावहारिक उपकरण सक्षम करती है।

Aviya Maimon, Amir DN Cohen, Gal Vishne, Shauli Ravfogel, Reut Tsarfaty2026-06-12
💬 NLP

Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs

यह शोध पत्र स्पिफ़ी (Spiffy) को पेश करता है, जो एक स्पेक्युलेटिव डिकोडिंग एल्गोरिदम है जो कैलिब्रेटेड, डायनामिकली प्रूनड (dynamically pruned) निर्देशित ड्राफ्ट ग्राफों का उपयोग करके डिफ्यूजन एलएलएम (Diffusion LLM) इन्फरेंस को त्वरित करता है, जिससे मॉडल इन्फरेंस और टोकन जनरेशन दरों में महत्वपूर्ण कमी आती है और मूल आउटपुट वितरण को प्रमाणित रूप से संरक्षित किया जाता है।

Sudhanshu Agrawal, Risheek Garrepalli, Raghavv Goel, Christopher Lott, Fatih Porikli, Mingu Lee2026-06-12
💬 NLP

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

यह शोध पत्र ChiKhaPo को प्रस्तुत करता है, जो 2700 से अधिक भाषाओं को कवर करने वाला एक बड़े पैमाने का बहुभाषी बेंचमार्क है, जिसमें बड़े भाषा मॉडलों (large language models) की शाब्दिक समझ और सृजन क्षमताओं का मूल्यांकन करने के लिए आठ उप-कार्य दिए गए हैं, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी दुनिया की अधिकांश लिखित भाषाओं में बुनियादी भाषाई सक्षमता के लिए संघर्ष करते हैं।

Emily Chang, Niyati Bafna2026-06-12
💬 NLP

CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters

यह शोध पत्र CuMA का प्रस्ताव करता है, जो एक जनसांख्यिकीय-जागरूक (demographic-aware) 'मिक्सचर ऑफ एडेप्टर्स' फ्रेमवर्क है जो विरोधाभासी सांस्कृतिक ग्रेडिएंट्स को विशिष्ट विशेषज्ञ उप-स्थानों (specialized expert subspaces) में अलग करके लार्ज लैंग्वेज मॉडल्स में "मीन कोलैप्स" (Mean Collapse) को कम करता है, जिससे विविध सांस्कृतिक मूल्यों के साथ मॉडल्स को संरेखित करने में अत्याधुनिक प्रदर्शन प्राप्त होता है।

Ao Sun, Xiaoyu Wang, Zhe Tan, Yu Li, Jiachen Zhu, Shu Su, Yuheng Jia2026-06-12
💬 NLP

Language Model Circuits Are Sparse in the Neuron Basis

यह शोध पत्र प्रदर्शित करता है कि भाषा मॉडलों में MLP न्यूरॉन्स स्वाभाविक रूप से विरल (sparse) और व्याख्या योग्य हैं, जो विशिष्ट मॉडल व्यवहारों को नियंत्रित करने वाले छोटे, कारण-संबंधी प्रभावी न्यूरॉन सर्किटों की पहचान करने और उन्हें निर्देशित करने के लिए एक कुशल, प्रशिक्षण-मुक्त ग्रेडिएंट-आधारित पाइपलाइन को सक्षम बनाता है।

Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann2026-06-12
💬 NLP

Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

यह शोध पत्र प्रदर्शित करता है कि कम्प्यूटेशनल सोशल साइंस में उपयोग किए जाने वाले ओपन-सोर्स एलएलएम (LLM) एनोटेटर्स विविध और अप्रत्याशित सामाजिक-वांछनीयता पूर्वाग्रह (social-desirability biases) प्रदर्शित करते हैं जो प्रॉम्प्टिंग रणनीतियों के बावजूद बने रहते हैं, जिससे अक्सर भ्रामक समग्र मीट्रिक्स प्राप्त होते हैं जो मौलिक रूप से सारगर्भित अनुभवजन्य निष्कर्षों को विकृत कर सकते हैं।

Varun Kotte2026-06-12
💬 NLP

Occupational Prompting Reveals Cultural Bias in Large Language Models

यह शोध पत्र यह प्रदर्शित करता है कि ओपन-वेट लार्ज लैंग्वेज मॉडल्स को राष्ट्रीय पहचानों के बजाय व्यावसायिक पहचानों के साथ प्रॉम्प्ट करने से एक व्यापक रूप से पश्चिमी-झुकाव वाले सांस्कृतिक स्थान के भीतर संरचित सांस्कृतिक पूर्वाग्रह और विशिष्ट मूल्य झुकाव प्रकट होते हैं, जो यह संकेत देता है कि पेशेवर भूमिकाएं एआई प्रतिक्रियाओं में गैर-तटस्थ मूल्य पैटर्न को प्रेरित करती हैं।

Maksim E. Eren, Andrea Brennen, Ryan C. Barron, Eric Michalak2026-06-12
📊 statistics

Identifiability Without Gaussianity: Symbolic World Models and Near-Infinite Temporal Consistency

यह शोध पत्र भौतिकी-आधारित प्रतीकात्मक आर्किटेक्चर (Physics-Grounded Symbolic Architecture - PGSA) को यह सिद्ध करने के लिए प्रस्तुत करता है कि कारण संबंधी गतिकी (causal dynamics) में प्रतीकात्मक ग्राउंडिंग, गैर-गॉसियन प्रणालियों के लिए सटीक रैखिक पहचान क्षमता (exact linear identifiability) और लगभग अनंत कालिक निरंतरता (near-infinite temporal consistency) को सक्षम बनाती है, जिससे सांख्यिकीय वर्ल्ड मॉडल्स की मौलिक सीमाओं पर विजय प्राप्त होती है जो गॉसियन प्रक्रियाओं तक ही सीमित हैं।

Seth Dobrin, Łukasz Chmiel2026-06-12
💬 NLP

EDEN: A Large-Scale Corpus of Clinical Notes for Italian

यह शोध पत्र EDEN को प्रस्तुत करता है, जो आपातकालीन विभागों के लगभग 4 मिलियन गुमनाम इतालवी नैदानिक नोट्स का सबसे बड़ा स्वतंत्र रूप से उपलब्ध संग्रह है, जिसमें लार्ज लैंग्वेज मॉडल विकास और संरचित सूचना निष्कर्षण कार्यों के बेंचमार्क को समर्थन देने के लिए डिज़ाइन किया गया एक मैन्युअल रूप से एनोटेटेड उपसमूह शामिल है।

Tiziano Labruna, Guido Bertolini, Pietro Ferrazzi, Bernardo Magnini2026-06-12
💬 NLP

Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

यह शोध पत्र MINARD पेश करता है, जो एक नवीन पाइपलाइन और FigTalk बेंचमार्क है जिसे वैज्ञानिक चित्रों और उनके स्रोत शोध पत्रों से वर्णनात्मक, क्षेत्र-आधारित वॉकथ्रू वीडियो उत्पन्न करने के लिए डिज़ाइन किया गया है, जो जटिल विज़ुअल पाइपलाइनों को चरण-दर-चरण, पेपर-सटीक कहानी के माध्यम से समझाने के लिए वर्तमान प्रणालियों के अंतराल को प्रभावी ढंग से संबोधित करता है।

Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber2026-06-12