💬 NLP

Do Models Know Why They Changed Their Mind? Interpretability and Faithfulness of Chain-of-Thought Under Knowledge Conflict

यह शोध पत्र प्रकट करता है कि जहाँ भाषा मॉडलों में चेन-ऑफ-थॉट तर्क मुख्य रूप से ज्ञान का एक स्थिर, निर्णय-अपरिवर्तनीय प्रदर्शन है जो ज्ञान संघर्षों के दौरान उनके विकल्पों की निष्ठापूर्वक व्याख्या करने में विफल रहता है, वहीं स्व-रेटेड आत्मविश्वास निर्णयों की भविष्यवाणी करने के लिए एक कमजोर लेकिन वास्तविक संकेत प्रदान करता है, जो यह सुझाव देता है कि तर्क संबंधी तर्कों का विश्लेषण करने की तुलना में आत्मविश्वास की निगरानी करना अधिक प्रभावी है।

Pruthvinath Jeripity Venkata2026-05-28
🤖 machine learning

Fine-Tuning Dynamics of In-Context Factual Recall in Transformers

यह शोध पत्र इन-कॉन्टेक्स्ट फैक्टुअल रिकॉल (IC-recall) कार्य को पेश करता है ताकि यह अध्ययन किया जा सके कि ट्रांसफॉर्मर्स इन-कॉन्टेक्स्ट लर्निंग के दौरान पूर्व-संग्रहीत तथ्यात्मक ज्ञान का लाभ कैसे उठाते हैं, जो यह सिद्ध करता है कि एक-परत वाले मॉडल पर सुपरवाइज्ड फाइन-ट्यूनिंग केवल पॉलीलॉगैरिद्मिक नमूनों का उपयोग करके छिपे हुए संबंधों का सफलतापूर्वक अनुमान लगाने और उत्तरों को पुनः प्राप्त करने के लिए एक विशिष्ट पेयरवाइज़ अटेंशन पैटर्न की ओर अभिसरित होती है।

Ruomin Huang, Eshaan Nichani, Jason D. Lee, Rong Ge2026-05-28
🤖 machine learning

Locality-Aware Redundancy Pruning for LLM Depth Compression

यह शोध पत्र LoRP का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free), वन-शॉट डेप्थ प्रूनिंग फ्रेमवर्क है, जो प्रदर्शन को बनाए रखते हुए लार्ज लैंग्वेज मॉडल्स में रेडंडेंसी को प्रभावी ढंग से कम करने के लिए एक नवीन 'रिप्रेजेंटेशन लोकैलिटी स्कोर' के आधार पर लेयर रिमूवल को गतिशील रूप से आवंटित करता है।

Vincent-Daniel Yun, Youngrae Kim, Woosang Lim, YoungJin Heo, Minkyu Kim, Sunwoo Lee2026-05-28
🤖 machine learning

Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

यह शोध पत्र CARL को प्रस्तुत करता है, जो एक क्षमता-जागरूक सुदृढीकरण शिक्षण (competence-aware reinforcement learning) ढांचा है जो प्राकृतिक सीमाओं पर मॉडल रोलआउट को विभाजित करके टूल-उपयोग निर्णयों को सेगमेंट-स्तरीय क्रेडिट आवंटित करता है, जिससे LLMs को यह स्वायत्त रूप से सीखने में सक्षम बनाया जाता है कि वे पैरामीट्रिक ज्ञान पर कब भरोसा करें बनाम बाहरी उपकरणों पर, और विशेष रूप से छोटे मॉडलों में अनावश्यक टूल कॉल्स को कम करते हुए सटीकता में महत्वपूर्ण सुधार करता है।

Abhijit Kumar, Zoey Wu, Mohit Suley2026-05-28
🤖 machine learning

Density-aware Sample-specific Attack

यह शोध पत्र एक घनत्व-जागरूक (density-aware), नमूना-विशिष्ट बैकडोर हमले का प्रस्ताव करता है जो ट्रिगर निर्माण को स्वच्छ डेटा वितरण के निम्न-घनत्व वाले क्षेत्रों में ज़हरीले नमूनों को निर्देशित करके अनुकूलित करता है, जिससे मौजूदा विधियों की तुलना में फाइन-ट्यूनिंग और न्यूरॉन-प्रूनिंग सुरक्षाओं के विरुद्ध बेहतर हमले की सफलता दर और मजबूती प्राप्त होती है।

Qiyuan Wang, Yao Li, Raymond K. W. Wong2026-05-28
🤖 machine learning

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

यह शोध पत्र रेजिडुअलाइज्ड टेम्पोरल स्पार्स ऑटोएनकोर्स (Residualized Temporal Sparse Autoencoders) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो डिफ्यूजन मॉडल एक्टिवेशन ट्रेजेक्टरीज को एक प्रारंभिक अवस्था और रैखिक रूप से अप्रत्याशित अवशेषों (residuals) में विघटित करता है ताकि स्पार्स, टेम्पोरली स्ट्रक्चर्ड व्याख्या योग्य विशेषताओं की खोज और विश्लेषण को सक्षम बनाया जा सके।

Calvin Yeung, Prathyush Poduval, Ali Zakeri, Zhuowen Zou, Mohsen Imani2026-05-28
🤖 machine learning

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions

यह शोध पत्र रेसिडुअलाइज्ड स्पार्स ऑटोएनकोर्स (ReSAEs) को प्रस्तुत करता है, जो एक ऐसी विधि है जो युग्मित ट्रांसफॉर्मर परतों के बीच के अनस्पष्ट अवशेषों (unexplained residuals) पर मल्टी-लेयर स्पार्स ऑटोएनकोर्स को प्रशिक्षित करती है ताकि डिकोडर रेडंडेंसी को कम किया जा सके और पारंपरिक लेयर-वाइज़ दृष्टिकोणों की तुलना में मल्टी-लेयर इंटरवेंशन की प्रभावशीलता में महत्वपूर्ण सुधार किया जा सके।

Prathyush Poduval, Calvin Yeung, Neel Desai, Mohsen Imani2026-05-28
💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

DecomposeRL एक अर्ध-पर्यवेक्षित (semi-supervised), सुराग योग्य (traceable) क्लेम वेरिफिकेशन फ्रेमवर्क है जो एक डेटा-क्यूरेशन फनल और GRPO-आधारित सुदृढीकरण शिक्षण (reinforcement learning) का लाभ उठाकर एक संक्षिप्त 7B मॉडल को प्रशिक्षित करता है, जो बहुत बड़े बेसलाइन्स के समान प्रदर्शन प्राप्त करने के साथ-साथ व्याख्यात्मक तर्क ट्रेसेस (interpretable reasoning traces) भी उत्पन्न करता है।

Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro2026-05-28
🧬 biology

From Detection to Mechanism: Cross-Attention Graph Neural Networks Enable Drug-Drug Interaction Type Prediction An Ablation Study with Acetylsalicylic Acid Validation

यह अध्ययन प्रदर्शित करता है कि चार-हेड क्रॉस-अटेंशन से उन्नत एक डुअल मैसेज पासिंग न्यूरल नेटवर्क, विशिष्ट ड्रग-ड्रग इंटरेक्शन तंत्र की भविष्यवाणी करने में कॉनकैटिनेशन-आधारित और टेनरी ग्राफ आर्किटेक्चर दोनों से काफी बेहतर प्रदर्शन करता है, जैसा कि होल्ड-आउट एसिटिलसालिसिलिक एसिड पेयर्स पर पूर्ण सटीकता द्वारा सत्यापित किया गया है।

Juergen Dietrich2026-05-28
🤖 machine learning

SPAR: Support-Preserving Action Rectification

यह शोध पत्र SPAR प्रस्तुत करता है, जो एक सपोर्ट-प्रिजर्विंग एक्शन रेक्टिफिकेशन फ्रेमवर्क है जो लर्निंग को एक फ्रोजन बिहेवियर क्लोनिंग पॉलिसी के लोकल रेसिडुअल रिफाइनमेंट के रूप में पुनर्गठित करके और वैल्यू मैक्सिमाइजेशन एवं डेटा डिस्ट्रीब्यूशन फिटिंग के बीच अंतर्निहित संघर्ष को हल करने के लिए लेटेंट सेल्फ-इमिटेशन का उपयोग करके स्टेट-ऑफ-द-आर्ट ऑफलाइन पॉलिसी इम्प्रूवमेंट प्राप्त करता है।

Jiaxin Zhao, Weihang Pan, Xun Liang, Binbin Lin2026-05-28