💬 Category

cs.CL

11683 पेपर

💬 NLP

The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation

यह शोध पत्र एलएलएम (LLM) के भावनात्मक स्वर को नियंत्रित करने के लिए एक्टिवेशन स्टीयरिंग (activation steering) का पहला मानव मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि मध्यम स्टीयरिंग स्ट्रेंथ (steering strength) टेक्स्ट की गुणवत्ता को बनाए रखते हुए विशिष्ट भावनाओं को प्रभावी ढंग से बढ़ाती है, जिसमें मानव और स्वचालित रेटिंग के बीच मजबूत संरेखण है और अल्पाका (Alpaca) से लामा-3 (LlaMA-3) में अपग्रेड करने पर बेहतर निरंतरता देखी गई है।

Diaoulé Diallo, Katharina Dworatzyk, Sophie Jentzsch, Peer Schütt, Sabine Theis, Tobias Hecking2026-01-30
💬 NLP

LMK > CLS: Landmark Pooling for Dense Embeddings

यह शोधपत्र लैंडमार्क (LMK) पूलिंग को प्रस्तुत करता है, जो एक नवीन रिप्रजेंटेशन लर्निंग रणनीति है जो अनुक्रमों (sequences) को लैंडमार्क टोकन सम्मिलित करने वाले चंक्स (chunks) में विभाजित करती है ताकि स्थानीय प्रमुख विशेषताओं और दीर्घ-संदर्भ एक्सट्रपलेशन (long-context extrapolation) के बीच प्रभावी ढंग से संतुलन बनाया जा सके, जिससे लघु-संदर्भ प्रदर्शन को बनाए रखते हुए दीर्घ-संदर्भ कार्यों पर पारंपरिक [CLS] और मीन पूलिंग विधियों से बेहतर प्रदर्शन किया जा सके।

Meet Doshi, Aashka Trivedi, Vishwajeet Kumar, Parul Awasthy, Yulong Li, Jaydeep Sen, Radu Florian, Sachindra Joshi2026-01-30
💬 NLP

Note2Chat: Improving LLMs for Multi-Turn Clinical History Taking Using Medical Notes

यह शोध पत्र Note2Chat का प्रस्ताव करता है, जो एक नोट-संचालित ढांचा है जो मेडिकल रिकॉर्ड को संवाद डेटा में परिवर्तित करता है और बड़े भाषा मॉडलों (LLMs) की मल्टी-टर्न क्लिनिकल हिस्ट्री टेकिंग और डायग्नोस्टिक सटीकता को महत्वपूर्ण रूप से बढ़ाने के लिए तीन-चरणीय फाइन-ट्यूनिंग रणनीति के साथ एक नवीन सिंगल-टर्न रीजनिंग प्रतिमान (पैराडाइम) का उपयोग करता है।

Yang Zhou, Zhenting Sheng, Mingrui Tan, Yuting Song, Jun Zhou, Yu Heng Kwan, Lian Leng Low, Yang Bai, Yong Liu2026-01-30
💬 NLP

Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves

यह शोध पत्र "Dreamer" को पेश करता है, जो डेप्थ-रिकरेंट अटेंशन मिश्रणों (depth-recurrent attention mixtures) का एक मॉड्यूलर फ्रेमवर्क है जो हिडन-साइज़ बॉटलनेक को दूर करता है और कुशल लेटेंट रीजनिंग (latent reasoning) को सक्षम बनाता है, जिससे अत्याधुनिक मॉडलों की तुलना में काफी कम प्रशिक्षण टोकन के साथ बेहतर प्रदर्शन प्राप्त होता है।

Jonas Knupp, Jan Hendrik Metzen, Jeremias Bohn, Georg Groh, Kristian Kersting2026-01-30
💬 NLP

Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

यह शोध पत्र ई-कॉमर्स प्रासंगिकता मॉडलिंग के लिए एक नवीन ढांचे का प्रस्ताव करता है जो मल्टी-परस्पेक्टिव चेन-ऑफ-थॉट को डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन के साथ जोड़कर और परिष्कृत तर्क क्षमताओं की कुशल, कम-विलंबता वाले परिनियोजन को सक्षम करने के लिए लेटेंट रीजनिंग नॉलेज डिस्टिलेशन को पेश करके एकल-परिप्रेक्ष्य तर्क और उच्च अनुमान विलंबता की सीमाओं को संबोधित करता है।

Baopu Qiu, Hao Chen, Yuanrong Wu, Changtong Zan, Chao Wei, Weiru Zhang, Xiaoyi Zeng2026-01-30
💬 NLP

Semantic Content Determines Algorithmic Performance

यह शोध पत्र "WhatCounts" को प्रस्तुत करता है, जो एक परमाणु बेंचमार्क (atomic benchmark) है जो यह प्रदर्शित करता है कि अत्याधुनिक एलएलएम (LLMs) वास्तव में अपरिवर्तनीय एल्गोरिदम को लागू करने में विफल रहते हैं, क्योंकि सरल गणना कार्यों पर उनका प्रदर्शन केवल गिनी जा रही वस्तुओं की अर्थपूर्ण सामग्री के आधार पर 40% से अधिक अनिश्चित रूप से भिन्न होता है, जो केवल तर्क जटिलता से परे छिपे हुए इनपुट-निर्भर पूर्वाग्रहों को प्रकट करता है।

Martiño Ríos-García, Nawaf Alampara, Kevin Maik Jablonka2026-01-30
💬 NLP

ILRR: Inference-Time Steering Method for Masked Diffusion Language Models

यह शोध पत्र ILRR को प्रस्तुत करता है, जो मास्कड डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक लर्निंग-फ्री इन्फरेंस-टाइम स्टीयरिंग फ्रेमवर्क है जो लचीले एट्रिब्यूट कंट्रोल और न्यूनतम कंप्यूटेशनल ओवरहेड के साथ काफी बेहतर स्टीयरिंग सटीकता प्राप्त करने के लिए आंतरिक एक्टिवेशन्स को एक रेफरेंस सीक्वेंस के साथ गतिशील रूप से संरेखित करता है।

Eden Avrahami, Eliya Nachmani2026-01-30
💬 NLP

AdaptBPE: From General Purpose to Specialized Tokenizers

यह शोधपत्र AdaptBPE का प्रस्ताव करता है, जो एक हल्का पोस्ट-ट्रेनिंग स्ट्रैटेजी है जो कम उपयोगिता वाले टोकन को अडैप्टेशन कॉर्पस से अधिक बार आने वाले टोकनों से चुनिंदा रूप से बदलकर विशिष्ट डोमेन या भाषाओं के लिए सामान्य-उद्देश्य वाले सबवर्ड टोकनाइज़र को अनुकूलित करता है, जिससे पूरे मॉडल को पुन: प्रशिक्षित किए बिना संपीड़न (compression) और प्रदर्शन में सुधार होता है।

Vijini Liyanage, François Yvon2026-01-30
💬 NLP

Scale-Dependent Semantic Dynamics Revealed by Allan Deviation

वाक्य एम्बेडिंग (sentence embeddings) पर एलन डेविएशन (Allan deviation) लागू करके, यह अध्ययन पाठ की सिमेंटिक गतिशीलता को एक स्टोकेस्टिक प्रक्षेपपथ (stochastic trajectory) के रूप में अभिलक्षणित करता है, जो विशिष्ट अल्प-कालिक स्केलिंग व्यवस्थाओं (short-time scaling regimes) को प्रकट करता है जो रचनात्मक लेखन को तकनीकी लेखन से अलग करती हैं और मानव संज्ञान की तुलना में बड़े भाषा मॉडलों (large language models) में दीर्घकालिक स्थिरता क्षितिज (long-term stability horizon) में व्यवस्थित कमी को उजागर करती है।

Debayan Dasgupta2026-01-30
💬 NLP

Why Attention Patterns Exist: A Unifying Temporal Perspective Analysis

यह शोध पत्र TAPPA को प्रस्तुत करता है, जो एक एकीकृत टेम्पोरल फ्रेमवर्क है जो क्वेरी सेल्फ-सिमिलैरिटी और गणितीय विश्लेषण के माध्यम से विविध LLM अटेंशन पैटर्न की व्याख्या करता है, और यह प्रदर्शित करता है कि इन अंतर्दृष्टि का लाभ उठाने से KV कैश कंप्रेशन और मॉडल प्रूनिंग कार्यों में प्रदर्शन में सुधार होता है।

Qingyue Yang, Jie Wang, Xing Li, Yinqi Bai, Xialiang Tong, Huiling Zhen, Jianye Hao, Mingxuan Yuan, Bin Li2026-01-30