💬 Category

cs.CL

10792 पेपर

💬 NLP

Representation-Guided Parameter-Efficient LLM Unlearning

यह शोध पत्र रिप्रेजेंटेशन-गाइडेड लो-रैंक अनलर्निंग (REGLU) का प्रस्ताव करता है, जो एक नवीन पैरामीटर-कुशल विधि है जो रिप्रेजेंटेशन स्पेस के ज्यामितीय गुणों का लाभ उठाकर एक इष्टतम सबस्पेस में LoRA को इनिशियलाइज़ करने और अपडेट को रिटेन सेट रिप्रेजेंटेशन्स के ऑर्थोगोनल कॉम्प्लीमेंट तक सीमित करने के माध्यम से भूलने और बनाए रखने (forget-retain) के बीच के समझौते को दूर करती है, जिससे मॉडल उपयोगिता को संरक्षित करते हुए बेहतर अनलर्निंग गुणवत्ता प्राप्त की जा सकती है।

Zeguan Xiao, Lang Mo, Yun Chen, Lei Yang, Jiehui Zhao, Lili Yang, Guanhua Chen2026-04-21
💬 NLP

DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

यह शोध पत्र DuConTE का प्रस्ताव करता है, जो एक द्वि-स्तर (dual-granularity) वाला टेक्स्ट एनकोडर है जो टेक्स्ट-एट्रिब्यूटेड ग्राफ्स के लिए शब्द-स्तरीय और नोड-स्तरीय सिमेंटिक निर्भरताओं को पकड़ने हेतु कैस्केडेड लैंग्वेज मॉडल्स के अटेंशन मैकेनिज्म में ग्राफ टोपोलॉजी को एकीकृत करता है, जिससे अत्याधुनिक प्रदर्शन प्राप्त होता है।

Lexuan Liang, Tao Zou, Xuxiang Ta, Zekun Qiu2026-04-21
💬 NLP

Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

यह शोध पत्र एक हाइब्रिड CoT-PoT एनसेम्बलिंग फ्रेमवर्क पेश करता है जो तर्क सटीकता में महत्वपूर्ण सुधार करता है और सेल्फ-कंसिस्टेंसी की कम्प्यूटेशनल लागत को 9.3 गुना कम करता है, जिससे 78.6% कार्यों को केवल दो नमूनों के साथ हल किया जा सकता है।

Raman Saparkhan, Majd Hawasly, Md Rizwan Parvez, Mohammad Raza2026-04-21
💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

CoAct एक नवीन ढांचा है जो उच्च-गुणवत्ता वाले प्राथमिकता डेटा की कमी को दूर करने के लिए रणनीतिक मानव-AI सहयोग के माध्यम से सेल्फ-रिवॉर्डिंग और एक्टिव लर्निंग को सहक्रियात्मक रूप से जोड़ता है, जिससे GSM8K, MATH और WebInstruct जैसे रीजनिंग बेंचमार्क पर महत्वपूर्ण प्रदर्शन सुधार प्राप्त होता है।

Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding2026-04-21
💬 NLP

ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

यह शोध पत्र ONTO को प्रस्तुत करता है, जो एक नवीन कॉलमर सीरियलाइजेशन फॉर्मेट है जो कार्य सटीकता से समझौता किए बिना, मानव पठनीयता और पदानुक्रमित संरचना को बनाए रखते हुए, दोहराव वाले फ़ील्ड नामों को समाप्त करके LLM इनपुट टोकन की खपत और इन्फरेंस लेटेंसी को महत्वपूर्ण रूप से कम करता है।

Harshavardhanan Deekeswar2026-04-21
💬 NLP

PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

यह शोध पत्र PoliLegalLM को प्रस्तुत करता है, जो राजनीतिक और कानूनी मामलों के लिए एक विशिष्ट डोमेन-आधारित लार्ज लैंग्वेज मॉडल है, जो समान आकार के और काफी बड़े मॉडलों की तुलना में कानूनी बेंचमार्क और वास्तविक दुनिया के कार्यों पर बेहतर प्रदर्शन प्राप्त करने के लिए निरंतर प्रीट्रेनिंग (continued pretraining), सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) और प्राथमिकता-आधारित सुदृढीकरण शिक्षण (preference-based reinforcement learning) को संयोजित करने वाले एक एकीकृत प्रशिक्षण ढांचे का उपयोग करता है।

Yuting Huang, Yinghao Hu, Qian Xiao, Wenlin Zhong, Yiquan Wu, Taishi Zhou, Moke Chen, Changlong Sun, Kun Kuang, Fei Wu2026-04-21
💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

यह शोध पत्र CoSearch का प्रस्ताव करता है, जो एक फ्रेमवर्क है जो सिमेंटिक ग्रुपिंग और कंपोजिट रिवार्ड्स के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के माध्यम से एक मल्टी-स्टेप रीजनिंग एजेंट और एक जनरेटिव डॉक्यूमेंट रैंकिंग मॉडल को संयुक्त रूप से प्रशिक्षित करता है, और यह प्रदर्शित करता है कि दोनों घटकों को एक साथ अनुकूलित करना उन मौजूदा दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है जो रिट्रीवल को एक फिक्स्ड टूल के रूप में मानते हैं।

Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani2026-04-21
💬 NLP

Beyond Fine-Tuning: In-Context Learning and Chain-of-Thought for Reasoned Distractor Generation

यह शोधपत्र एक तर्क-संवर्धित इन-कॉन्टेक्स्ट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो बहुविकल्पीय प्रश्नों के लिए अत्याधुनिक, तर्क-संरेखित विकर्षकों (distractors) को उत्पन्न करने हेतु अनसुपरवाइज्ड सिमेंटिक रिट्रीवल के साथ लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जो छह विविध बेंचमार्क पर मौजूदा फाइन-ट्यूनिंग-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करता है।

Elaf Alhazmi, Quan Z. Sheng, Wei Emma Zhang2026-04-21
💬 NLP

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

यह शोध पत्र यह प्रकट करता है कि वर्तमान LLM-आधारित एजेंटों में "पर्यावरणीय जिज्ञासा" (environmental curiosity) का अभाव है, जो उच्च पहचान दरों के बावजूद अपने परिवेश में खोजे गए अप्रत्याशित, कार्य-प्रासंगिक सूचनाओं को पहचानने और उनका लाभ उठाने में अक्सर विफल रहते हैं, जो एक ऐसी सीमा है जो टूल की उपलब्धता, कंप्यूट और प्रशिक्षण डेटा जैसे कारकों द्वारा संचालित होती है और अंततः उनके समग्र प्रदर्शन को बाधित करती है।

Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne2026-04-21
💬 NLP

Characterizing Model-Native Skills

यह शोध पत्र अनुक्रम-स्तरीय सक्रियणों (sequence-level activations) से सीधे एक व्याख्या योग्य ऑर्थोगोनल आधार (interpretable orthogonal basis) निकालकर भाषा मॉडल के कौशल को चित्रित करने के लिए एक "मॉडल-नेटिव" दृष्टिकोण का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि यह आंतरिक प्रतिनिधित्व पारंपरिक मानव-परिभाषित वर्गीकरणों की तुलना में तर्क (reasoning) और सुरक्षा कार्यों के लिए काफी अधिक प्रभावी डेटा चयन और इन्फरेंस-टाइम स्टीयरिंग को सक्षम बनाता है।

Feiyang Kang, Mahavir Dabas, Myeongseob Ko, Ruoxi Jia2026-04-21