24429 पेपर
यह शोध पत्र तर्क देता है कि एआई अनुसंधान में 'स्टेट-ऑफ-द-आर्ट' के दावे अक्सर बेंचमार्क साक्ष्यों द्वारा समर्थित नहीं होते हैं, क्योंकि कुल स्कोर में सुधार अक्सर निरंतर और सुदृढ़ श्रेष्ठता के बजाय आउटलेर्स (outliers) पर निर्भर करते हैं, जो मॉडल के प्रदर्शन की अधिक ईमानदार और सटीक रिपोर्टिंग को आवश्यक बनाता है।
यह शोध पत्र विभिन्न आकारों और प्रतिमानों (paradigms) में 120 मॉडलों को प्रशिक्षित करके इलेक्ट्रोकार्डियोग्राम (ECG) मॉडलों के लिए स्केलिंग लॉ (scaling laws) की व्यवस्थित रूप से जांच करता है, जिससे यह पता चलता है कि जबकि स्व-पर्यवेक्षित शिक्षण (self-supervised learning) बेहतर डेटा और ट्रांसफर दक्षता प्रदान करता है, प्रभावी ECG फाउंडेशन मॉडलों का इष्टतम मार्ग केवल ब्रूट-फोर्स स्केलिंग पर निर्भर करने के बजाय आर्किटेक्चर (ResNet बनाम Transformer) को प्री-ट्रेनिंग प्रतिमान के साथ रणनीतिक रूप से संरेखित करने पर निर्भर करता है।
यह शोध पत्र A2RBench प्रस्तुत करता है, जो अद्वितीय समाधान सुनिश्चित करने के लिए चक्र निरंतरता (cycle consistency) का उपयोग करके औपचारिक रूप से सत्यापन योग्य अमूर्त तर्क बेंचमार्क उत्पन्न करने के लिए एक स्वचालित पाइपलाइन है, जो यह प्रकट करता है कि वर्तमान LLMs अमूर्त तर्क में मनुष्यों की तुलना में काफी खराब प्रदर्शन करते हैं और उच्च-आयामी कार्यों के साथ संघर्ष करते हैं।
रोवर एक नवीन संघर्ष समाधान प्रणाली है जो प्रोग्राम विश्लेषण और एक मल्टी-लेयर कोड प्रॉपर्टी ग्राफ को एकीकृत करके लार्ज लैंग्वेज मॉडल्स को उन्नत करती है ताकि संदर्भ-जागरूक प्रॉम्प्ट उत्पन्न किए जा सकें, जिससे यह जटिल कोड मर्जिंग संघर्षों को सटीक रूप से हल करने में मौजूदा उपकरणों से बेहतर प्रदर्शन करती है।
यह शोधपत्र ContractBench प्रस्तुत करता है, जो एक नियतात्मक (deterministic) बेंचमार्क है जो यह प्रकट करता है कि वर्तमान फ्रंटियर LLM एजेंट्स अक्सर ऑब्जर्वेशन कॉन्ट्रैक्ट्स (जैसे कि सेशन टोकन और URL) की टेम्पोरल वैधता और बाइट-लेवल अखंडता को बनाए रखने में विफल रहते हैं, एक ऐसी क्षमता जो मॉडल के आकार के साथ एकतुल्य रूप से (monotonically) नहीं बढ़ती है और जिसमें सुधार के लिए विशिष्ट फेल्योर-अवेयर ट्रेनिंग की आवश्यकता होती है।
OProver, Lean 4 में एजेंटिक औपचारिक प्रमेय प्रमाण (agentic formal theorem proving) के लिए एक एकीकृत ढांचा है जो इटरेटिव प्रूफ रिवीज़न को कंपाइलर फीडबैक और रिट्रीवल के साथ एकीकृत करता है, जो निरंतर प्रीट्रेनिंग, रिपेयर ट्रेजेक्टरीज पर सुपरवाइज्ड फाइन-ट्यूनिंग और कठिन मामलों पर रीइन्फोर्समेंट लर्निंग को संयोजित करने वाले एक नवीन प्रशिक्षण पाइपलाइन के माध्यम से कई बेंचमार्क में अत्याधुनिक प्रदर्शन प्राप्त करता है।
यह शोध पत्र CLAP को प्रस्तुत करता है, जो एक स्थान-जागरूक (location-aware) फ्रेमवर्क है जो सामान्य फ्रेमों पर प्रदर्शन से समझौता किए बिना, दुर्लभ, सुरक्षा-महत्वपूर्ण लॉन्ग-टेल ड्राइविंग परिदृश्यों में नियोजन त्रुटियों को महत्वपूर्ण रूप से कम करने के लिए फ्रोजन विजन-लैंग्वेज-एक्शन मॉडल्स के लेटेंट स्पेस में प्रति-रोडब्लॉक सॉफ्ट प्रॉम्प्ट्स को अनुकूलित करता है।
यह शोध पत्र LEAP को प्रस्तुत करता है, जो एक सीखने योग्य एंड-टू-एंड अनुकूली प्रूनिंग (adaptive pruning) विधि है जो बड़े भाषा मॉडलों में सुलभ अनस्ट्रक्चर्ड स्पैरसिटी लर्निंग (unstructured sparsity learning) को सक्षम करने के लिए प्रति-भार बर्नौली-वाया-गमबेल-सिग्मॉइड रिलैक्सेशन (per-weight Bernoulli-via-Gumbel-sigmoid relaxation) का उपयोग करता है, जो उच्च स्पैरसिटी स्तरों पर ज़ीरो-शॉट सटीकता में मौजूदा लेयर-वाइज़ बेसलाइन से काफी बेहतर प्रदर्शन करता है।
यह शोध पत्र "अटेंशन हाइजैकिंग" (Attention Hijacking) को प्रस्तुत करता है, जो एक नवीन प्रतिकूल हमला (adversarial attack) है जो आंतरिक अटेंशन वितरण को स्पष्ट रूप से एक निरंतर छवि-प्रधान पैटर्न की ओर निर्देशित करके विजन-लैंग्वेज मॉडल्स में रिस्पॉन्स मैनिपुलेशन की क्रॉस-क्वेरी ट्रांसफरेबिलिटी को बढ़ाता है, जिससे हेरफेर किए गए आउटपुट की विशिष्ट क्वेरी शब्दावली पर निर्भरता कम हो जाती है।
यह शोध पत्र प्रदर्शित करता है कि वर्तमान समस्या से मेल न खाने वाले एक छोटे, डोमेन-प्रशिक्षित मॉडल से गणितीय रूप से गलत ड्राफ्ट को एक मजबूत लर्नर के GRPO प्रशिक्षण संदर्भ में इंजेक्ट करना, मानक ऑन-पॉलिक फाइन-ट्यूनिंग और अन्य वेरिएंट्स की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे बिना SFT, रिवॉर्ड मॉडल या सिंथेसाइज्ड डेटा की आवश्यकता के, Mathstral-7B मॉडल के लिए MATH-500 पर 71.98% का एक नया स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त होता है।