10947 पेपर
यह शोध पत्र PRAGMA को प्रस्तुत करता है, जो ट्रांसफॉर्मर-आधारित फाउंडेशन मॉडल्स का एक परिवार है, जिन्हें मास्क किए गए मॉडलिंग के माध्यम से बड़े पैमाने पर, विषम बैंकिंग इवेंट अनुक्रमों पर प्री-ट्रेन किया गया है, जो कच्चे डेटा से सामान्य-उद्देश्य वाले निरूपण (representations) सीखकर क्रेडिट स्कोरिंग और धोखाधड़ी का पता लगाने जैसे विविध वित्तीय कार्यों में उत्कृष्ट प्रदर्शन प्राप्त करते हैं।
यह शोध पत्र स्किप-कनेक्टेड पॉलिसी ऑप्टिमाइजेशन (SKPO) को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो डेंस रिवॉर्ड सेटिंग्स में उच्च-विचलन एडवांटेज एस्टीमेशन समस्याओं को हल करने के लिए एक स्किप कनेक्शन के साथ रीजनिंग को अपस्ट्रीम और डाउनस्ट्रीम चरणों में विभाजित करता है, जिससे गणितीय और सामान्य रीजनिंग बेंचमार्क पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
यह शोधपत्र MATU प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो संपूर्ण तर्क प्रक्षेपवक्रों (reasoning trajectories) का विश्लेषण करने और जटिल संचार गतिशीलता एवं टोपोलॉजी से उत्पन्न होने वाले विशिष्ट अनिश्चितता स्रोतों को अलग करने के माध्यम से, टेंसर अपघटन (tensor decomposition) का लाभ उठाकर लार्ज लैंग्वेज मॉडल-आधारित मल्टी-एजेंट सिस्टम में अनिश्चितता को परिमाणित करता है।
यह शोध पत्र इस बात की जांच करता है कि कैसे प्राथमिकता डेटा (preference data) जनरेटर-स्तरीय और सैंपल-स्तरीय गुणवत्ता अंतरों के बीच अंतर करके भाषा मॉडलों में तर्क संबंधी लाभ (reasoning gains) को संचालित करता है, यह पाते हुए कि चुने गए और अस्वीकृत ट्रेसेस (traces) के बीच क्षमता अंतराल को अधिकतम करने से आउट-ऑफ-डोमेन प्रदर्शन में सुधार होता है, जबकि सैंपल-स्तरीय गुणवत्ता द्वारा फ़िल्टर करना प्रशिक्षण दक्षता को बढ़ाता है।
यह शोध पत्र यह प्रदर्शित करता है कि जबकि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) संबंध निष्कर्षण (रिलेशन एक्सट्रैक्शन) के लिए आशाजनक हैं, छोटे ग्राफ-आधारित पार्सर उच्च संख्या में संबंधों वाले जटिल भाषाई ग्राफों पर उनसे काफी बेहतर प्रदर्शन करते हैं, जो ऐसे कार्यों के लिए हल्के पार्सरों को एक श्रेष्ठ विकल्प बनाता है।
यह अध्ययन पाँच फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) को 'कार्ड्स अगेंस्ट ह्यूमरिटी' खिलाकर उनके हास्य संरेखण (humor alignment) का बेंचमार्किंग करता है, जिससे यह पता चलता है कि यद्यपि वे यादृच्छिक संभावना (random chance) से बेहतर प्रदर्शन करते हैं, लेकिन मानवीय प्राथमिकताओं के साथ उनकी मामूली सहमति और मॉडल्स के बीच उच्च अंतर-सहमति यह संकेत देती है कि उनके हास्य निर्णय वास्तविक मानव-समान समझ के बजाय संरचनात्मक आर्टिफैक्ट्स (structural artifacts) से महत्वपूर्ण रूप से प्रभावित हैं।
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए पूर्व में प्रस्तावित एक मल्टी-बिट जनरेटिव वॉटरमार्किंग योजना, वर्स्ट-केस फॉल्स-अलार्म बाधाओं के तहत उप-इष्टतम (सबऑप्टिमल) है और दो नए एनकोडिंग-डिकोडिंग निर्माण पेश करता है जो मिस-डिटेक्शन प्रायिकता पर सैद्धांतिक निचली सीमा (थ्योरेटिकल लोअर बाउंड) को प्राप्त करते हैं, जिससे इष्टतम वॉटरमार्किंग प्रदर्शन का पूर्णतः लक्षण वर्णन होता है।
यह शोधपत्र यह सैद्धांतिक रूप से प्रदर्शित करते हुए कि कैसे आवृत्ति-पक्षपाती नमूनाकरण (frequency-biased sampling) और प्रशिक्षण गतिकी (training dynamics) वक्रता (curvature) और स्पर्शज्या दिशाओं (tangent directions) को आकार देते हैं, और मैकेनिस्टिक इंटरप्रिटेबिलिटी के माध्यम से यह प्रमाणित करते हुए कि सक्रियण-व्युत्पन्न स्पर्शज्या प्रॉक्सी (activation-derived tangent proxies), विभिन्न आर्किटेक्चरों में मानक नियंत्रणों की तुलना में काफी अधिक ग्रेडिएंट ऊर्जा और अनिसोट्रॉपी (anisotropy) को कैप्चर करते हैं, ट्रांसफॉर्मर मॉडल में अनिसोट्रॉपी के ज्यामितीय मूलों की जांच करता है।
यह शोध पत्र बड़े भाषा मॉडलों (large language models) में सांस्कृतिक संरेखण का आकलन करने के लिए एक नवीन मूल्यांकन कार्य के रूप में बहुभाषी कहानी नैतिक पीढ़ी (multilingual story moral generation) प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि GPT-4o और Gemini जैसे अत्याधुनिक मॉडल औसतन मानवीय नैतिक व्याख्याओं के साथ अच्छी तरह से संरेखित होते हैं, वे मानवीय कथा समझ में निहित समृद्ध क्रॉस-भाषाई विविधता को पकड़ने में विफल रहते हैं।
यह शोध पत्र प्रस्तुत करता है, जो एक ऐसी विधि है जो उपयोगकर्ता प्रॉम्प्ट्स को फ़िल्टर करके उच्च विचलन (high variance) वाले सिस्टम प्रॉम्प्ट प्रदर्शन वाले एक छोटे उपसमूह का चयन करके प्रॉम्प्ट अनुकूलन में सुधार करती है, जिससे बेहतर सिस्टम प्रॉम्प्ट्स की अधिक प्रभावी पहचान सक्षम होती है और यह रीजनिंग बेंचमार्क पर मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।