10698 पेपर
RECAP एक रिट्रेनिंग-मुक्त, इन्फरेंस-टाइम फ्रेमवर्क है जो संज्ञानात्मक मूल्यांकन सिद्धांत (कॉग्निटिव अप्रेज़ल थ्योरी) पर आधारित है, जो रोगी के इनपुट्स को ऑडिट करने योग्य तर्क चरणों में विभाजित करके मेडिकल डायलॉग सिस्टम की भावनात्मक बुद्धिमत्ता और पारदर्शिता को बढ़ाता है, जिससे विभिन्न मॉडल स्केल्स में मानवीय नैदानिक निर्णयों के साथ संरेखण में महत्वपूर्ण सुधार होता है।
यह शोध पत्र SimulSA को प्रस्तुत करता है, जो एक स्व-संवर्धन (self-augmentation) रणनीति है जो बड़े ऑडियो-भाषा मॉडलों (Large Audio-Language Models) को ऑफलाइन फाइन-ट्यूनिंग में थोड़ी मात्रा में यादृच्छिक रूप से कटे हुए (randomly truncated) स्पीच डेटा को शामिल करके, बिना किसी संरचनात्मक या डिकोडिंग संशोधन की आवश्यकता के, एक साथ स्पीच-टू-टेक्स्ट अनुवाद करने में सक्षम बनाती है।
यह शोध पत्र न्यायवाक्य तर्क (syllogistic logic) को एक बेंचमार्क के रूप में उपयोग करते हुए, बड़े भाषा मॉडलों (LLMs) में संरचनात्मकता (compositionality) और पुनरावृत्ति (recursiveness) की विशिष्ट सामान्यीकरण चुनौतियों की जांच करता है, जो यह प्रकट करता है कि जहाँ LLMs पुनरावृत्ति को अच्छी तरह से संभालते हैं, वहीं वे संरचनात्मकता के साथ संघर्ष करते हैं, और एक हाइब्रिड न्यूरो-सिंबोलिक आर्किटेक्चर प्रस्तावित करता है जो तंत्रिका दक्षता (neural efficiency) को प्रतीकात्मक पूर्णता (symbolic completeness) के साथ जोड़कर इन सीमाओं को प्रभावी ढंग से दूर करता है।
यह शोध पत्र को प्रस्तुत करता है, जो एक मेमोरी एजेंट फ्रेमवर्क है जो LLM-आधारित एजेंटों को प्रक्रियात्मक 'कैसे करें' (how-to) प्रश्न पूछकर और उन्हें संग्रहीत करके संवादात्मक वातावरण में आजीवन नियोजन (lifelong planning) में सुधार करने में सक्षम बनाता है, यह प्रदर्शित करते हुए कि अमूर्त, अवस्था-स्वतंत्र (state-independent) उत्तर सीखने के लिए सबसे प्रभावी होते हैं।
TokenTiming एक सार्वभौमिक स्पेक्युलेटिव डिकोडिंग विधि है जो अलग-अलग शब्दावलियों वाले मिसमैच्ड ड्राफ्ट और टारगेट मॉडल्स को संरेखित करने के लिए डायनेमिक टाइम वार्पिंग का लाभ उठाती है, जिससे बिना किसी मॉडल रिट्रेनिंग के कुशल LLM इन्फरेंस त्वरण सक्षम होता है।
यह शोध पत्र प्रदर्शित करता है कि प्रॉम्प्ट्स में भाषाई निहितार्थ (linguistic implicature) को शामिल करने से उपयोगकर्ता के इरादे को समझने और संदर्भानुसार प्रासंगिक प्रतिक्रियाएं उत्पन्न करने की लार्ज लैंग्वेज मॉडल्स की क्षमता में महत्वपूर्ण सुधार होता है, जिससे विशेष रूप से छोटे मॉडल्स के लिए मानव-AI संरेखण (human-AI alignment) और उपयोगकर्ता प्राथमिकता में वृद्धि होती है।
यह अध्ययन प्रकट करता है कि एलएलएम (LLM) साइटेशन मतिभ्रम (hallucination) कोई द्विआधारी विफलता नहीं है बल्कि एक पदानुक्रमित स्मृति प्रक्रिया है जहाँ तथ्यात्मक सटीकता प्रशिक्षण डेटा की पुनरावृत्ति के साथ लघुगणकीय रूप से (log-linearly) बढ़ती है, जो विशिष्ट थ्रेशोल्ड और घटक-विशिष्ट रिकॉल पैटर्न प्रदर्शित करती है जहाँ वेन्यू (venues), वर्ष या संख्यात्मक क्षेत्रों से पहले शीर्षक और लेखक सीखे जाते हैं।
यह शोध पत्र प्रदर्शित करता है कि मेमोरी-कुशल ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन (MeZO), एक्टिवेशन और ऑप्टिमाइज़र स्टेट्स को स्टोर करने की आवश्यकता को समाप्त करके, पारंपरिक बैकप्रोपैगेशन की तुलना में काफी बड़े मॉडल्स की ऑन-डिवाइस फाइन-ट्यूनिंग को सक्षम बनाता है, जिससे कड़े मेमोरी प्रतिबंधों के तहत बेहतर सटीकता के लिए बढ़े हुए वॉल-क्लॉक टाइम का व्यापार किया जाता है।
यह शोध पत्र तीन बड़े भाषा मॉडल परिवारों के 39 विन्यासों का 58 शब्द पहेलियों पर मूल्यांकन करता है, जो यह प्रकट करता है कि क्रॉस-फैमिली अंतर और मानव-संरेखित कठिनाई पैटर्न, पैरामीटर स्केलिंग से अधिक प्रभावी हैं, जबकि असामान्य वर्तनी वाले सामान्य शब्दों पर व्यवस्थित मॉडल विफलताओं को उजागर करता है जो वितरण संबंधी संभाव्यता (distributional plausibility) पर अत्यधिक निर्भरता के कारण होती हैं।
यह शोध पत्र प्रोग्रेस रेशियो एम्बेडिंग्स (PRE) को प्रस्तुत करता है, जो एक निरंतर त्रिकोणमितीय संकेत (continuous trigonometric signal) है जो सटीकता से समझौता किए बिना न्यूरल टेक्स्ट जनरेशन में सुदृढ़, सामान्यीकरण योग्य लंबाई नियंत्रण प्राप्त करने के लिए डिस्क्रीट काउंटडाउन विधियों की अस्थिरता को दूर करता है।