9899 पेपर
यह शोध पत्र "प्रोब प्रॉम्प्टिंग" (probe prompting) को प्रस्तुत करता है, जो एक पारदर्शी नियम-आधारित पाइपलाइन है जो क्रॉस-प्रॉम्ट एक्टिवेशन सिग्नेचर का उपयोग करके एट्रिब्यूशन ग्राफ में विशेषताओं को अवधारणा-संरेखित सुपरनोड्स (concept-aligned supernodes) में समूहित करती है, और न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ विभिन्न तथ्यात्मक डोमेन में उनके कारण संबंधी स्टीयरिंग व्यवहार (causal steering behavior) को सफलतापूर्वक मान्य करती है।
यह शोध पत्र RLVE को प्रस्तुत करता है, जो 400 प्रक्रियात्मक रूप से जनरेट किए गए, अनुकूलन योग्य सत्यापन योग्य वातावरणों (RLVE-Gym) के एक बड़े सूट का उपयोग करके भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (reinforcement learning) को स्केल करता है, जिससे समस्या की कठिनाई को गतिशील रूप से समायोजित किया जाता है, और इस प्रकार पारंपरिक स्थिर डेटा दृष्टिकोणों की तुलना में सामान्यीकरण योग्य तर्क क्षमताओं में महत्वपूर्ण सुधार किया जाता है।
यह शोध पत्र इस बात का पहला ज्यामितीय लक्षण वर्णन प्रदान करता है कि संदर्भ (context) लार्ज लैंग्वेज मॉडल्स में सत्य वेक्टर्स (truth vectors) को कैसे रूपांतरित करता है, जिससे यह प्रकट होता है कि संदर्भ आम तौर पर सत्य निरूपण के परिमाण (magnitude) को बढ़ाता है, जबकि बड़े मॉडल्स प्रासंगिक और विरोधाभासी संदर्भों के बीच अंतर मुख्य रूप से सक्रियण स्थान (activation space) में दिशात्मक परिवर्तनों के माध्यम से करते हैं न कि परिमाण के अंतरों के माध्यम से।
यह शोध पत्र रिकरेंट न्यूरल नेटवर्क की हिडन स्टेट ज्योमेट्री (hidden state geometry) का लाभ उठाकर सटीक और सुदृढ़ अनवेटेड फाइनाइट-स्टेट ट्रांसड्यूसर (unweighted Finite-State Transducers) को स्वचालित रूप से निर्मित करने के लिए एक नवीन विधि प्रस्तावित करता है, जो विभिन्न स्ट्रिंग-टू-स्ट्रिंग रीराइटिंग कार्यों में शास्त्रीय लर्निंग एल्गोरिदम की तुलना में पर्याप्त प्रदर्शन सुधार प्रदर्शित करता है।
यह शोध पत्र PolyGloss को प्रस्तुत करता है, जो एक बहुभाषी अनुक्रम-से-अनुक्रम (sequence-to-sequence) मॉडल है जो कच्चे पाठ से रूपिम-स्तर (morpheme-level) के ग्लॉस और विभाजन सीमाओं (segmentation boundaries) की संयुक्त रूप से भविष्यवाणी करता है, जिससे पिछले मॉडलों की व्याख्यात्मकता संबंधी सीमाओं को दूर किया जा सकता है और नए डेटासेटों के कुशल अनुकूलन का समर्थन करते हुए विभाजन, ग्लॉसिंग और संरेखण कार्यों में अत्याधुनिक बेसलाइन से बेहतर प्रदर्शन किया जा सकता है।
यह शोध पत्र CURE को प्रस्तुत करता है, जो एक डेटा-कुशल, त्रुटि-जागरूक करिकुलम लर्निंग फ्रेमवर्क है जो बिना किसी अतिरिक्त डेटा के स्वचालित चिकित्सा रिपोर्ट निर्माण में विजुअल ग्राउंडिंग, तथ्यात्मक निरंतरता और मतिभ्रम (hallucination) में कमी लाने के लिए मल्टी-टास्क ट्रेनिंग को गतिशील रूप से समायोजित करता है।
यह अध्ययन प्रदर्शित करता है कि भुगतान संबंधी दांव (payoff stakes) को बढ़ाना विरोधाभासी रूप से कई भाषाओं में LLM एजेंटों के बीच सहयोग को बढ़ाता है—एक ऐसा रुझान जो एलाइनमेंट ट्रेनिंग और मानव जैसी तर्कशक्ति द्वारा संचालित है जो विकासवादी गेम थ्योरी (evolutionary game theory) के अनुमानों का खंडन करता है—साथ ही यह भी दर्शाता है कि भाषाई फ्रेमिंग (linguistic framing) प्रोप्रायटरी और ओपन-वेट दोनों मॉडलों में रणनीतिक व्यवहार को महत्वपूर्ण रूप से आकार देती है।
यह शोध पत्र मैकेनिस्टिक डेटा एट्रिब्यूशन (MDA) को प्रस्तुत करता है, जो इ़नफ्लुएंस फंक्शन्स का उपयोग करने वाला एक ढांचा है जो व्याख्या योग्य LLM इकाइयों को विशिष्ट प्रशिक्षण डेटा से कार्य-कारण रूप से जोड़ता है, यह प्रकट करते हुए कि पुनरावृत्ति वाले संरचनात्मक पैटर्न सर्किट निर्माण को उत्प्रेरित करते हैं और लक्षित डेटा हस्तक्षेप इन-कॉन्टेक्स्ट लर्निंग क्षमताओं को सीधे नियंत्रित कर सकते हैं।
स्फेरिकल KV (Spherical KV) एक कुशल लॉन्ग-कॉन्टेक्स्ट इन्फरेंस विधि है जो एंगल-डोमेन अटेंशन (Angle-Domain Attention), जो सघन पुनर्निर्माण के बिना कॉम्पैक्ट स्फेरिकल की (spherical key) रिप्रजेंटेशन से सीधे अटेंशन लॉजिट्स की गणना करता है, और रेट-डिस्टॉर्शन रिटेंशन (Rate-Distortion Retention), जो एक निश्चित मेमोरी बजट के तहत टोकन रिटेंशन और प्रिसिजन को इष्टतम रूप से आवंटित करता है, को जोड़कर HBM बैंडविड्थ बाधाओं को संबोधित करता है।
यह शोध पत्र वैज्ञानिक समझ को बढ़ाने के लिए कोड स्निपेट्स और टेक्स्ट विवरणों को जोड़ने वाले एक नवीन द्विदिश लघु-कण खोज कार्य (bidirectional small-granularity search task) को प्रस्तुत करता है, जो GPT-4 द्वारा जनरेट किए गए प्रशिक्षण डेटा वाले एक नए डेटासेट और एक मॉड्यूलर मॉडल द्वारा समर्थित है जो इन-डोमेन और आउट-ऑफ-डोमेन दोनों सेटिंग्स में आशाजनक प्रदर्शन प्रदर्शित करता है।