💬 Category

cs.CL

11611 पेपर

💬 NLP

Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

यह अध्ययन प्रदर्शित करता है कि व्युत्क्रम स्केलिंग संबंध (inverse scaling relationship), जहाँ बड़े ट्रांसफॉर्मर-आधारित भाषा मॉडल मानव वाक्य प्रसंस्करण कठिनाई की कम सटीक भविष्यवाणी करते हैं, पठन समय से आगे बढ़कर fMRI डेटा पर भी लागू होता है।

Yi-Chien Lin, William Schuler2026-02-04
💬 NLP

Understanding Verbatim Memorization in LLMs Through Circuit Discovery

यह शोध पत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी और ट्रांसफॉर्मर सर्किट डिस्कवरी का उपयोग यह प्रकट करने के लिए करता है कि एलएलएम (LLMs) में शाब्दिक स्मृति (verbatim memorization) को शुरू करने बनाम उसे बनाए रखने के लिए विशिष्ट न्यूरल सबग्राफ जिम्मेदार हैं, जहाँ शुरुआत संदर्भ-निर्भर होती है जबकि रोकथाम तंत्र डोमेनों के बीच मजबूती से स्थानांतरित होते हैं।

Ilya Lasy, Peter Knees, Stefan Woltran2026-02-04
💬 NLP

LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals

यह शोध पत्र LUMINA को प्रस्तुत करता है, जो एक सुदृढ़ ढांचा है जो वितरण संबंधी दूरी (distributional distance) और टोकन विकास ट्रैकिंग के माध्यम से बाहरी संदर्भ और आंतरिक ज्ञान के उपयोग के बीच संतुलन को मात्रात्मक रूप से निर्धारित करके रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों में मतिभ्रम (hallucinations) का पता लगाता है, और व्यापक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता के बिना मौजूदा विधियों की तुलना में बेहतर प्रदर्शन प्राप्त करता है।

Samuel Yeh, Sharon Li, Tanwi Mallick2026-02-04
💬 NLP

Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

यह शोध पत्र पहचानता है कि लार्ज विजन-लैंग्वेज मॉडल्स (Large Vision-Language Models) में स्थानिक पूर्वाग्रह (spatial bias), विजन एनकोडर के बजाय विजन एनकोडर और लैंग्वेज मॉडल के बीच अटेंशन मिसमैच (attention mismatches) से उत्पन्न होता है, और बिना किसी आर्किटेक्चरल संशोधन के इस पूर्वाग्रह को कम करने और स्थानिक सुदृढ़ता (spatial robustness) को बढ़ाने के लिए एक हल्का एडेप्टिव ग्लोबल कॉन्टेक्स्ट इंजेक्शन (Adaptive Global Context Injection - AGCI) तंत्र प्रस्तावित करता है।

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang2026-02-04
💬 NLP

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक टोकन-लेवल सुरक्षा संरेखण विधि पेश करता है जो तत्काल [EOS] रिफ्यूज़ल सिग्नल उत्सर्जित करने के लिए रैंडमाइज्ड मास्किंग का लाभ उठाता है, जो DIJA जैसे किसी भी-क्रम (any-order) और किसी भी-चरण (any-step) हमलों को प्रभावी रूप से बेअसर करता है और साथ ही रीयल-टाइम मॉनिटरिंग और काफी तेज़ सुरक्षित समाप्ति को सक्षम बनाता है।

Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No2026-02-04
💬 NLP

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

यह शोध पत्र Q-Tuning को प्रस्तुत करता है, जो एक एकीकृत रूपरेखा (unified framework) है जो उच्च-मूल्य वाले निर्देशात्मक डेटा को रणनीतिक रूप से बनाए रखने के लिए एरर-अनसर्टेन्टी प्लेन (Error-Uncertainty Plane) के माध्यम से सैंपल और टोकन प्रूनिंग को संयुक्त रूप से अनुकूलित करता है, जिससे मूल प्रशिक्षण डेटा के केवल 12.5% का उपयोग करते हुए सुपरवाइज्ड फाइन-ट्यूनिंग में अत्याधुनिक प्रदर्शन प्राप्त होता है।

Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Xingzhang Ren, Fei Huang, Huiqiang Jiang, Junya (…)2026-02-04
💬 NLP

Do AI Models Perform Human-like Abstract Reasoning Across Modalities?

यह शोध पत्र यह प्रदर्शित करता है कि एआई (AI) के अमूर्त तर्क (abstract reasoning) का मूल्यांकन केवल सटीकता के आधार पर करना भ्रामक है, क्योंकि यह उन टेक्स्ट-आधारित कार्यों में क्षमताओं को बढ़ा-चढ़ाकर दिखाता है जहाँ मॉडल सतही स्तर के शॉर्टकट पर निर्भर होते हैं और उन दृश्य कार्यों में उन्हें कम करके आंकता है जहाँ मॉडल अक्सर इच्छित अमूर्तता को समझने के बावजूद उन्हें सही ढंग से लागू करने में विफल रहते हैं।

Claas Beger, Ryan Yi, Shuhao Fu, Kaleda Denton, Arseny Moskvichev, Sarah W. Tsai, Sivasankaran Rajamanickam, Melanie Mit (…)2026-02-04
💬 NLP

Reusing Overtrained Language Models Saturates Scaling

यह शोध पत्र अनुभवजन्य रूप से यह प्रदर्शित करता है कि आगे के प्रीट्रेनिंग के लिए अत्यधिक प्रशिक्षित (overtrained) भाषा मॉडलों का पुन: उपयोग करने से घटते प्रतिफल (diminishing returns) प्राप्त होते हैं, क्योंकि स्केलिंग दक्षता प्रारंभिक प्रीट्रेनिंग कॉर्पस के आकार के साथ लघुगणकीय (logarithmically) रूप से घटती है, जो मल्टी-स्टेज ट्रेनिंग रणनीतियों में एक मौलिक ट्रेड-ऑफ को प्रकट करती है।

Seng Pei Liew, Takuya Kato2026-02-04
💬 NLP

Causality Guided Representation Learning for Cross-Style Hate Speech Detection

यह शोध पत्र CADET का प्रस्ताव करता है, जो एक कॉज़ल रिप्रेजेंटेशन लर्निंग फ्रेमवर्क है जो लेटेंट फैक्टर्स को अलग करने और कन्फाउंडर्स को नियंत्रित करने के लिए एक कॉज़ल ग्राफ के माध्यम से नफरत भरे भाषण (हेट स्पीच) के सृजन को मॉडल करता है, जिससे विविध शैलियों और प्लेटफार्मों में स्पष्ट और निहित दोनों प्रकार के नफरत भरे भाषणों का सुदृढ़ पता लगाना सक्षम होता है।

Chengshuai Zhao, Shu Wan, Paras Sheth, Karan Patwa, K. Selçuk Candan, Huan Liu2026-02-04