💬 Category

cs.CL

9743 पेपर

💬 NLP

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

यह शोध पत्र ट्रांसफॉर्मर एलएलएम (LLM) में ट्रेनिंग-फ्री स्पार्स अटेंशन (training-free sparse attention) का सबसे बड़े पैमाने पर अनुभवजन्य विश्लेषण प्रस्तुत करता है, जो एक पद्धति वर्गीकरण स्थापित करता है और यह प्रकट करता है कि स्पार्स मॉडल समान लागत पर छोटे डेंस (dense) मॉडलों से बेहतर प्रदर्शन करते हैं, जबकि अनुक्रम चरण (sequence phase) और लंबाई के आधार पर भिन्न होने वाली स्पर्सिटी चयन रणनीतियों पर व्यावहारिक अंतर्दृष्टि प्रदान करते हैं।

Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti2026-06-24
💬 NLP

What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

यह शोध पत्र दो नए बेंचमार्क, VQA-Causal और VCR-Causal पेश करता है, जो यह प्रकट करते हैं कि वर्तमान विजन-लैंग्वेज मॉडल प्रशिक्षण डेटा में कारण संबंधी अभिव्यक्तियों की कमी के कारण कारण क्रम तर्क (causal order reasoning) में संघर्ष करते हैं, जबकि यह भी प्रदर्शित करते हैं कि हार्ड नेगेटिव्स के साथ लक्षित फाइन-ट्यूनिंग इस क्षमता को प्रभावी ढंग से सुधार सकती है।

Zhaotian Weng, Haoxuan Li, Xin Eric Wang, Kuan-Hao Huang, Jieyu Zhao2026-06-24
🤖 machine learning

Tuning without Peeking: Provable Generalization Bounds and Robust LLM Post-Training

यह शोधपत्र BBoxER को प्रस्तुत करता है, जो LLM पोस्ट-ट्रेनिंग के लिए एक प्रमाणित रूप से सुदृढ़ ब्लैक-बॉक्स इवोल्यूशनरी विधि है, जो निहित डेटा संपीड़न (implicit data compression) के माध्यम से सूचना बाधा (information bottleneck) उत्पन्न करके गोपनीयता और सामान्यीकरण सुनिश्चित करता है, और प्रतिबंधित या प्रतिकूल वातावरण में ग्रेडिएंट-आधारित अनुकूलन के लिए एक सुरक्षित विकल्प प्रदान करता है।

Ismail Labiad, Mathurin Videau, Matthieu Kowalski, Marc Schoenauer, Alessandro Leite, Julia Kempe, Olivier Teytaud2026-06-24
💬 NLP

Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators

यह शोध पत्र LLM मूल्यांकनकर्ताओं में अनुचित आत्म-वरीयता पूर्वाग्रह (self-preference bias) को कम करने के लिए हल्के इन्फरेंस-टाइम स्टीयरिंग वेक्टर्स (lightweight inference-time steering vectors) के उपयोग का प्रस्ताव करता है, जो पूर्वाग्रह में 97% तक की कमी प्राप्त करता है और यह भी प्रकट करता है कि ऐसे हस्तक्षेप वैध आत्म-वरीयता के लिए अस्थिर बने रहते हैं, जिससे सक्रियण-आधारित सुरक्षा उपायों (activation-based safeguards) की क्षमता और सीमाओं दोनों पर प्रकाश पड़ता है।

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Simon Fu, Narmeen Oozeer2026-06-24
🤖 machine learning

Removing Noise, not Finding Gold: Quality Filtering for Large-Scale Pretraining

यह शोध पत्र क्लासिफायर-आधारित गुणवत्ता फ़िल्टरिंग (CQF) का विश्लेषण करते हुए यह प्रकट करता है कि इसकी प्रभावशीलता केवल "स्वर्ण" मानकों की पहचान करने के बजाय उच्च और निम्न दोनों प्रकार के डेटा को अंतर्निहित रूप से फ़िल्टर करने से आती है, और डेटा गुणवत्ता के लिए एक अनुकूलन-संचालित मीट्रिक पेश करता है जिसे छोटे पैमाने के प्रॉक्सी प्रयोगों के माध्यम से विश्वसनीय रूप से अनुमानित किया जा सकता है।

Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin2026-06-24
💬 NLP

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

यह शोध पत्र MERGE को प्रस्तुत करता है, जो एक ऐसा परीक्षण है जो मौजूदा नेचुरल लैंग्वेज इन्फरेंस (Natural Language Inference) डेटासेट्स के न्यूनतम अभिव्यक्ति प्रतिस्थापन (minimal expression replacements) को स्वचालित रूप से उत्पन्न करने के लिए मास्क्ड लैंग्वेज मॉडल्स (Masked Language Models) का उपयोग करता है, जिससे यह प्रकट होता है कि वर्तमान अत्याधुनिक रीजनिंग मॉडल इन गैर-एडवर्सरियल वेरिएंट्स (non-adversarial variants) के प्रति मजबूती से सामान्यीकरण करने में संघर्ष करते हैं।

Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze2026-06-24
💬 NLP

Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations

यह शोध पत्र इस धारणा को चुनौती देता है कि लार्ज लैंग्वेज मॉडल इवैल्यूएटर्स (evaluators) स्वाभाविक रूप से आत्ममोह (narcissism) प्रदर्शित करते हैं, यह प्रदर्शित करते हुए कि देखा गया अधिकांश स्व-वरीयता (self-preference) वास्तव में इवैल्यूएटर की गुणवत्ता का एक सांख्यिकीय आर्टिफैक्ट (statistical artifact) है, जिसमें इस कन्फाउंड (confound) को नियंत्रित करने के बाद पिछले निष्कर्षों का केवल 51% ही महत्वपूर्ण रह जाता है।

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Mackenzie Puig-Hall, Narmeen Oozeer2026-06-24
💬 NLP

ModTGCN: Modularity-aware Graph Neural Networks for Text Classification

ModTGCN एक मॉड्यूलरिटी-जागरूक ग्राफ न्यूरल नेटवर्क है जो क्लास-कोहेरेंट कम्युनिटी स्ट्रक्चर को संरक्षित करने और बेहतर ट्रेनिंग स्केलेबिलिटी के लिए ग्राफ को डिकपल करने के लिए क्रॉस-एन्ट्रॉपी और एक मॉड्यूलरिटी-आधारित ऑब्जेक्टिव को संयुक्त रूप से अनुकूलित करके टेक्स्ट क्लासिफिकेशन को बढ़ाता है।

Rajarshi Misra, Aditya Sharma, Vinti Agarwal, Hari Om Aggrawal2026-06-24
💬 NLP

Quantifying Prior Dominance in RAG Systems

यह शोध पत्र 'नॉर्मलाइज्ड कॉन्टेक्स्ट यूटिलाइजेशन' (NCU) मेट्रिक प्रस्तुत करता है जो यह प्रकट करता है कि, पारंपरिक स्केलिंग लॉ के विपरीत, स्मॉल लैंग्वेज मॉडल्स अक्सर सख्त तथ्यात्मक निष्कर्षण कार्यों में बड़े या प्रोप्राइटरी मॉडल्स से बेहतर प्रदर्शन करते हैं क्योंकि वे "प्रायर डोमिनेंस" (Prior Dominance) से बचते हैं, जहाँ बड़े मॉडल्स अक्सर अपने आंतरिक पैरामीट्रिक मेमोरी के पक्ष में बाहरी साक्ष्यों को अनदेखा कर देते हैं।

Barak Or2026-06-24
💬 NLP

Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment

यह शोध पत्र प्रदर्शित करता है कि स्व-निर्मित पाठ पहचान (SGTR) फाइनट्यूनिंग मॉडल के संरेखित चरित्र को सुदृढ़ करके उभरते हुए मिसअलाइनमेंट (misalignment) को प्रभावी ढंग से रोकता है और उसे उलट देता है, जो यह सुझाव देता है कि ऐसा मिसअलाइनमेंट हानिकारक सामग्री की प्रत्यक्ष सीख के बजाय मॉडल की डिफ़ॉल्ट पहचान के अस्थिरीकरण से उत्पन्न होता है।

Arush Tagade, Shaoheng Zhou, Jiaxin Wen, Shi Feng2026-06-24