10698 पेपर
यह शोध पत्र RefusalGuard प्रस्तुत करता है, जो एक ज्योमेट्री-प्रिजर्विंग (ज्यामिति-संरक्षण) फाइन-ट्यूनिंग फ्रेमवर्क है जो सुरक्षा-प्रासंगिक संरचनाओं के विरूपण को रोकने के लिए हिडन रिप्रेजेंटेशन स्पेस में अपडेट को बाधित करके भाषा मॉडलों में सुरक्षा क्षरण को कम करता है और साथ ही कार्य प्रदर्शन को बनाए रखता है।
यह शोध पत्र एजेंटिक कॉन्टेक्स्ट डिस्क्रिप्शन लैंग्वेज (ACDL) को प्रस्तुत करता है, जो एक मानकीकृत औपचारिक भाषा और विज़ुअलाइज़ेशन टूल है जिसे एजेंटिक LLM सिस्टम में इनपुट कॉन्टेक्स्ट की संरचना, गतिशीलता और विकास को सटीक रूप से वर्णित करने और संप्रेषित करने के लिए डिज़ाइन किया गया है, जो कॉन्टेक्स्ट इंजीनियरिंग के लिए एक एकीकृत मानक की वर्तमान कमी को संबोधित करता है।
यह शोध पत्र "मोइरा" (Moira) का प्रस्ताव करता है, जो एक भाषा-संचालित पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) ढांचा है जो उच्च-स्तरीय युग्म चयन (pair selection) और निम्न-स्तरीय निष्पादन (low-level execution) दोनों के लिए बड़े भाषा मॉडलों का उपयोग करता है, और युग्म व्यापार (pair trading) में क्रेडिट असाइनमेंट की चुनौतियों को संबोधित करने के लिए उन्हें विशेष रूप से पाठ्य फीडबैक पर आधारित प्रॉम्प्ट अपडेट के माध्यम से अनुकूलित करता है।
यह शोध पत्र LLM-संवर्धित सिमेंटिक स्टीयरिंग (LLM-augmented semantic steering) प्रस्तुत करता है, जो एक ऐसी विधि है जो विश्लेषकों को उदाहरण दस्तावेजों को समूहित करके और संबंधित ग्रंथों तक सिमेंटिक इरादे (semantic intent) का विस्तार करने के लिए एक लार्ज लैंग्वेज मॉडल का लाभ उठाकर निम्न-आयामी टेक्स्ट एम्बेडिंग प्रोजेक्शन को नया आकार देने की अनुमति देता है, जिससे अंतर्निहित मॉडलों को पुन: प्रशिक्षित किए बिना व्याख्या योग्य, इरादा-निर्भर वर्कस्पेस का निर्माण होता है।
यह शोध पत्र प्रदर्शित करता है कि शार्पनेस-अवेयर मिनिमाइजेशन (Sharpness-Aware Minimization), उच्च लर्निंग रेट्स, या संक्षिप्त एनीलिंग अवधियों जैसे तरीकों के माध्यम से प्रीट्रेनिंग ऑप्टिमाइजेशन को फ्लैटर मिनिमा (flatter minima) की ओर झुकाना, विभिन्न मॉडल आकारों और पोस्ट-ट्रेनिंग कार्यों में कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को महत्वपूर्ण रूप से कम करता है और डाउनस्ट्रीम प्रदर्शन में सुधार करता है।
यह शोध पत्र न्यूरल नेटवर्क में कॉज़ल एब्स्ट्रैक्शन (causal abstraction) के लिए एक नैदानिक पद्धति प्रस्तुत करता है जो इंटरचेंज इंटरवेंशन (interchange interventions) के आधार पर इनपुट स्पेस को सुस्पष्ट (well-interpreted) और अस्पष्ट (under-interpreted) क्षेत्रों में विभाजित करती है, जिससे शोधकर्ताओं को यह सटीक रूप से पहचानने में मदद मिलती है कि व्याख्या कहाँ विफल हो रही है और उच्च-स्तरीय कॉज़ल परिकल्पनाओं को परिष्कृत और बेहतर बनाने के लिए व्यावहारिक ह्यूरिस्टिक्स (heuristics) प्रदान करती है।
यह शोध पत्र यह प्रदर्शित करता है कि ज़ीरो-शॉट कॉन्फिडेंस सिग्नल, विशेष रूप से औसत टोकन लॉग-प्रोबेबिलिटी और एक नवीन रिट्रीवल-कंडीशनल सेल्फ-असेसमेंट विधि, लागत प्रभावी क्वेरी रूटिंग के लिए छोटे भाषा मॉडलों की शुद्धता का अनुमान लगाने में बिना किसी प्रशिक्षण डेटा के भी, सुपरवाइज्ड बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
यह शोध पत्र InfoLaw को प्रस्तुत करता है, जो एक नवीन डेटा-जागरूक स्केलिंग फ्रेमवर्क है जो प्रीट्रेनिंग को सूचना संचय (information accumulation) के रूप में मॉडल करता है ताकि विभिन्न डेटा मिश्रणों, गुणवत्ता भार (quality weights) और पुनरावृत्ति स्तरों के बीच LLM प्रदर्शन का सटीक अनुमान लगाया जा सके, जिससे ओवरट्रेन या डेटा-सीमित शासन (regimes) में भी इष्टतम डेटा रेसिपी चयन सक्षम हो सके।
यह शोध पत्र FiNE-Patents प्रस्तुत करता है, जो एक सूक्ष्म-स्तरीय (fine-grained) डेटासेट और एक नवीन LLM-आधारित वर्कफ़्लो है जो पेटेंट नवीनता के पूर्वानुमान को मोटे बाइनरी वर्गीकरण से बदलकर एक सूक्ष्म पुनर्प्राप्ति (retrieval) और तर्क कार्य में परिवर्तित करता है, जो विशिष्ट पूर्व कला (prior art) अंशों की पहचान करने में बेहतर प्रदर्शन और स्पूरियस सहसंबंधों (spurious correlations) के विरुद्ध मजबूती प्रदर्शित करता है।
यह शोध पत्र SCHEMA मूल्यांकन ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि अत्याधुनिक एआई मॉडल अक्सर प्रतिकूल दबाव के तहत विनाशकारी मेटाकॉग्निटिव क्षरण (metacognitive degradation) से ग्रस्त होते हैं, जो अस्तित्व संबंधी खतरों के कारण नहीं, बल्कि एक "अनुपालन जाल" (Compliance Trap) के कारण होता है जहाँ निर्देश का पालन करना ज्ञानमीमांसीय सीमाओं (epistemic boundaries) पर हावी हो जाता है, एक ऐसी विफलता जिसे उन्नत तर्क मॉडल गंभीर रूप से प्रदर्शित करते हैं जबकि कॉन्स्टिट्यूशनल एआई (Constitutional AI) जैसा संरेखण-विशिष्ट प्रशिक्षण इसे प्रभावी ढंग से रोक सकता है।