💬 Category

cs.CL

10949 पेपर

💬 NLP

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

यह अध्ययन पाँच फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) को 'कार्ड्स अगेंस्ट ह्यूमरिटी' खिलाकर उनके हास्य संरेखण (humor alignment) का बेंचमार्किंग करता है, जिससे यह पता चलता है कि यद्यपि वे यादृच्छिक संभावना (random chance) से बेहतर प्रदर्शन करते हैं, लेकिन मानवीय प्राथमिकताओं के साथ उनकी मामूली सहमति और मॉडल्स के बीच उच्च अंतर-सहमति यह संकेत देती है कि उनके हास्य निर्णय वास्तविक मानव-समान समझ के बजाय संरचनात्मक आर्टिफैक्ट्स (structural artifacts) से महत्वपूर्ण रूप से प्रभावित हैं।

Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie2026-04-13
🔢 mathematics

Optimal Multi-bit Generative Watermarking Schemes Under Worst-Case False-Alarm Constraints

यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए पूर्व में प्रस्तावित एक मल्टी-बिट जनरेटिव वॉटरमार्किंग योजना, वर्स्ट-केस फॉल्स-अलार्म बाधाओं के तहत उप-इष्टतम (सबऑप्टिमल) है और दो नए एनकोडिंग-डिकोडिंग निर्माण पेश करता है जो मिस-डिटेक्शन प्रायिकता पर सैद्धांतिक निचली सीमा (थ्योरेटिकल लोअर बाउंड) को प्राप्त करते हैं, जिससे इष्टतम वॉटरमार्किंग प्रदर्शन का पूर्णतः लक्षण वर्णन होता है।

Yu-Shin Huang, Chao Tian, Krishna Narayanan2026-04-13
💬 NLP

Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics

यह शोधपत्र यह सैद्धांतिक रूप से प्रदर्शित करते हुए कि कैसे आवृत्ति-पक्षपाती नमूनाकरण (frequency-biased sampling) और प्रशिक्षण गतिकी (training dynamics) वक्रता (curvature) और स्पर्शज्या दिशाओं (tangent directions) को आकार देते हैं, और मैकेनिस्टिक इंटरप्रिटेबिलिटी के माध्यम से यह प्रमाणित करते हुए कि सक्रियण-व्युत्पन्न स्पर्शज्या प्रॉक्सी (activation-derived tangent proxies), विभिन्न आर्किटेक्चरों में मानक नियंत्रणों की तुलना में काफी अधिक ग्रेडिएंट ऊर्जा और अनिसोट्रॉपी (anisotropy) को कैप्चर करते हैं, ट्रांसफॉर्मर मॉडल में अनिसोट्रॉपी के ज्यामितीय मूलों की जांच करता है।

Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot2026-04-13
💬 NLP

Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

यह शोध पत्र बड़े भाषा मॉडलों (large language models) में सांस्कृतिक संरेखण का आकलन करने के लिए एक नवीन मूल्यांकन कार्य के रूप में बहुभाषी कहानी नैतिक पीढ़ी (multilingual story moral generation) प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि GPT-4o और Gemini जैसे अत्याधुनिक मॉडल औसतन मानवीय नैतिक व्याख्याओं के साथ अच्छी तरह से संरेखित होते हैं, वे मानवीय कथा समझ में निहित समृद्ध क्रॉस-भाषाई विविधता को पकड़ने में विफल रहते हैं।

Sophie Wu, Andrew Piper2026-04-13
🤖 machine learning

p1p1: Better Prompt Optimization with Fewer Prompts

यह शोध पत्र p1p1 प्रस्तुत करता है, जो एक ऐसी विधि है जो उपयोगकर्ता प्रॉम्प्ट्स को फ़िल्टर करके उच्च विचलन (high variance) वाले सिस्टम प्रॉम्प्ट प्रदर्शन वाले एक छोटे उपसमूह का चयन करके प्रॉम्प्ट अनुकूलन में सुधार करती है, जिससे बेहतर सिस्टम प्रॉम्प्ट्स की अधिक प्रभावी पहचान सक्षम होती है और यह रीजनिंग बेंचमार्क पर मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

Zhaolin Gao (Sid), Yu (Sid), Wang, Bo Liu, Thorsten Joachims, Kianté Brantley, Wen Sun2026-04-13
🤖 machine learning

Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

यह शोध पत्र डिक्शनरी-अलाइन्ड कॉन्सेप्ट कंट्रोल (DACO) को प्रस्तुत करता है, जो 15,000 मल्टीमॉडल अवधारणाओं के एक क्यूरेटेड डेटासेट और एक स्पार्स ऑटोएनकोडर का लाभ उठाकर फ्रोजन मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के ग्रैनुलर, इन्फरेंस-टाइम स्टीयरिंग को सक्षम बनाता है, जो उनकी सामान्य क्षमताओं को संरक्षित करते हुए दुर्भावनापूर्ण प्रश्नों के विरुद्ध उनकी सुरक्षा को महत्वपूर्ण रूप से बढ़ाता है।

Jinqi Luo, Jinyu Yang, Tal Neiman, Lei Fan, Bing Yin, Son Tran, Mubarak Shah, René Vidal2026-04-13
🤖 machine learning

Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective

यह शोध पत्र यह प्रदर्शित करके चेन-ऑफ-थॉट डिस्टिलेशन (Chain-of-Thought distillation) में एक सार्वभौमिक क्षमता अंतराल की प्रचलित धारणा को चुनौती देता है कि प्रदर्शन में गिरावट अक्सर अंतर्निहित मॉडल सीमाओं के बजाय त्रुटिपूर्ण मूल्यांकन प्रोटोकॉल से उत्पन्न होती है, जिससे प्रभावी शिक्षक-छात्र युग्मों के चयन के लिए व्यावहारिक दिशा-निर्देश प्रदान किए जा सके।

Tokio Kajitsuka, Ukyo Honda, Sho Takase2026-04-13
💬 NLP

TaxPraBen: A Scalable Benchmark for Structured Evaluation of LLMs in Chinese Real-World Tax Practice

यह शोध पत्र TaxPraBen को प्रस्तुत करता है, जो 13 चीनी कर अभ्यास कार्यों—जिसमें जोखिम रोकथाम और रणनीति योजना जैसे वास्तविक परिदृश्य शामिल हैं—पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला स्केलेबल बेंचमार्क है—जो मॉडल्स के बीच प्रदर्शन में महत्वपूर्ण असमानताओं को प्रकट करता है और कानूनी रूप से विनियमित डोमेन में विशेष मूल्यांकन की आवश्यकता पर प्रकाश डालता है।

Gang Hu, Yating Chen, Haiyan Ding, Wang Gao, Jiajia Huang, Min Peng, Qianqian Xie, Kun Yu2026-04-13
💬 NLP

Litmus (Re)Agent: A Benchmark and Agentic System for Predictive Evaluation of Multilingual Models

यह शोध पत्र लिटमस (Re)Agent को प्रस्तुत करता है, जो एक DAG-संचालित एजेंटिक प्रणाली और 1,500 प्रश्नों का एक नियंत्रित बेंचमार्क है जिसे संरचित तर्क के माध्यम से अपूर्ण साक्ष्यों को संश्लेषित करके लक्षित भाषाओं में बहुभाषी मॉडल के प्रदर्शन का पूर्वानुमान लगाने के लिए डिज़ाइन किया गया है, जो उन परिदृश्यों में उत्कृष्ट सटीकता प्रदर्शित करता है जहाँ प्रत्यक्ष मूल्यांकन डेटा विरल होता है।

Avni Mittal, Shanu Kumar, Sandipan Dandapat, Monojit Choudhury2026-04-13
💬 NLP

Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning

यह शोध पत्र इस बात की जांच करता है कि कैसे सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) भाषा मॉडलों में कॉन्फिडेंस स्कोर और आउटपुट गुणवत्ता के बीच के सहसंबंध को कम करती है, यह प्रदर्शित करते हुए कि प्रशिक्षण वितरण की समानता जैसे कारकों के कारण ये मेट्रिक्स 'ऑफ-द-शेल्फ' (off-the-shelf) अविश्वसनीय हो जाते हैं और अधिक मजबूत अनिश्चितता परिमाणीकरण (uncertainty quantification) विधियों की तत्काल आवश्यकता पर प्रकाश डालते हैं।

Lorenzo Jaime Yu Flores, Cesare Spinoso di-Piano, Jackie Chi Kit Cheung2026-04-13