10206 पेपर
यह शोध पत्र तर्क देता है कि बड़े भाषा मॉडल मानव पठन व्यवहार को मॉडल करने में कम प्रभावी हो गए हैं क्योंकि उनकी व्यापक प्रशिक्षण डेटा और स्मृति द्वारा संचालित श्रेष्ठ भविष्यवाणात्मक सटीकता मानवीय क्षमताओं से अधिक है, और यह मानव जैसी भाषाई भविष्यवाणी के साथ बेहतर तालमेल बिठाने के लिए मानव-समान स्मृति बाधाओं वाले मॉडल विकसित करने का समर्थन करता है।
यह शोध पत्र EconCausal को प्रस्तुत करता है, जो शीर्ष स्तर के आर्थिक अध्ययनों से प्राप्त 10,000 से अधिक संदर्भ-एनोटेटेड (context-annotated) कारण त्रिकों (causal triplets) का एक बड़े पैमाने का बेंचमार्क है, जो यह प्रकट करता है कि जबकि लार्ज लैंग्वेज मॉडल्स स्थिर संदर्भों को संभाल सकते हैं, वे तब अपने कारण संबंधी निर्णयों को संशोधित करने में काफी संघर्ष करते हैं जब पर्यावरणीय स्थितियाँ बदल जाती हैं या जब उनका सामना भ्रामक साक्ष्यों से होता है।
यह शोध पत्र VERA-V को प्रस्तुत करता है, जो एक वेरिएशनल इन्फरेंस फ्रेमवर्क है जो मल्टीमॉडल जेलब्रेक डिस्कवरी को टेक्स्ट-इमेज प्रॉम्प्ट्स पर एक संयुक्त पोस्टीरियर वितरण (joint posterior distribution) सीखने के रूप में पुनर्गठित करता है, जिससे ऐसे गुप्त और युग्मित (coupled) प्रतिकूल इनपुट्स उत्पन्न करने में सक्षम होता है जो विजन-लैंग्वेज मॉडल के गार्डरेल्स को बायपास करने में मौजूदा तरीकों से काफी बेहतर प्रदर्शन करते हैं।
यह शोध पत्र डिकोडर-ओनली (decoder-only) LLMs में एट्रिब्यूशन फेथफुलनेस (attribution faithfulness) का आकलन करते समय रिटेन्ड वर्ड काउंट्स (retained word counts) को नियंत्रित करने के लिए -Soft-NC और -Soft-NS मूल्यांकन ढांचे के साथ-साथ Grad-ELLM विधि प्रस्तुत करता है, जो मजबूत व्यापकता-उन्मुख प्रदर्शन प्राप्त करने के लिए ग्रेडिएंट और अटेंशन संकेतों को प्रभावी ढंग से संयोजित करती है।
यह शोधपत्र Med-CoReasoner को प्रस्तुत करता है, जो एक भाषा-सूचित सह-तर्क (co-reasoning) ढांचा है जो स्थानीय-भाषा विशेषज्ञता को अंग्रेजी तार्किक संरचनाओं के साथ एकीकृत करके चिकित्सा तर्क में बहुभाषी अंतराल को पाटता है, और नए MultiMed-X बेंचमार्क तथा प्रयोगों के माध्यम से इसकी प्रभावशीलता को प्रमाणित करता है जो विशेष रूप से कम-संसाधन वाली भाषाओं के लिए महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करते हैं।
यह शोध पत्र तर्क देता है कि भाषा मॉडल सरप्राइज़ल (surprisal), क्लोज़ सरप्राइज़ल (cloze surprisal) की तुलना में प्रोसेसिंग प्रयास (processing effort) की भविष्यवाणी करने में बेहतर है क्योंकि इसमें बेहतर रिज़ॉल्यूशन, अर्थपूर्ण रूप से समान शब्दों के बीच अंतर करने की क्षमता और कम आवृत्ति वाले शब्दों को सटीक रूप से संभालने की क्षमता है, साथ ही यह बेहतर क्लोज़ कार्यप्रणालियों और मानवीय पूर्वानुमान संवेदनशीलता में आगे के शोध का आह्वान करता है।
यह शोधपत्र सिंथेटिक कार्यों पर नियंत्रित प्रयोगों के माध्यम से आधुनिक ट्रांसफॉर्मर में मल्टीमॉडल इन-कॉन्टेक्स्ट लर्निंग (ICL) के तंत्रों की जांच करता है, जिससे यह पता चलता है कि रोटरी पोजीशन एम्बेडिंग्स (Rotary Position Embeddings) ICL के लिए डेटा जटिलता की दहलीज को बढ़ा देते हैं, जबकि एक प्राथमिक मोडैलिटी की उच्च विविधता, परिष्कृत इंडक्शन-शैली के सर्किट्स के माध्यम से, एक माध्यमिक मोडैलिटी में आश्चर्यजनक रूप से कम जटिलता के साथ मल्टीमॉडल ICL को उभरने में सक्षम बनाती है।
यह शोध पत्र एक इंटरैक्टिव एजेंटिक फ्रेमवर्क को प्रस्तावित करता है जिसमें एडेप्टिव एक्सप्लोरेशन पॉलिसीज़ और एक कठोर प्रोसेसिंग पाइपलाइन है ताकि लार्ज लैंग्वेज मॉडल्स की नॉलेज बाउंड्रीज़ को व्यवस्थित रूप से निकाला और मापा जा सके, जो विशिष्ट नॉलेज स्केलिंग लॉज़, स्पेशलाइज्ड और जनरल मॉडल्स के बीच परफॉरमेंस ट्रेड-ऑफ्स, और ट्रेनिंग डेटा कंपोजिशन द्वारा संचालित नॉलेज प्रोफाइल्स के मापने योग्य अंतरों को प्रकट करता है।
GraphDancer एक दो-चरणीय पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक ग्राफ-अवेयर करिकुलम का लाभ उठाता है ताकि छोटे भाषा मॉडलों को प्राकृतिक भाषा और फंक्शन कॉल्स के बीच अंतर-प्रवाह (interleaved) के माध्यम से विषम ग्राफों (heterogeneous graphs) पर प्रभावी ढंग से अन्वेषण और तर्क करने के लिए प्रशिक्षित किया जा सके, जिससे मजबूत क्रॉस-डोमेन सामान्यीकरण प्राप्त होता है जो बड़े बेसलाइन मॉडलों से बेहतर प्रदर्शन करता है।
यह शोध पत्र सेल्फ-वेरिफाइड डिस्टिलेशन (Self-Verified Distillation) का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग विधि है जो भाषा मॉडलों को एक कठोर तीन-चरणीय स्व-सत्यापन कैस्केड (three-stage self-verification cascade) के माध्यम से अपने स्वयं के संभावित समाधानों को उत्पन्न और फ़िल्टर करके गणित, विज्ञान और कोडिंग में अपनी तर्क क्षमताओं को स्वायत्त रूप से सुधारने में सक्षम बनाता है, जिससे बिना किसी बाहरी शिक्षक या ग्राउंड-ट्रुथ लेबल के कई मॉडल स्केल्स पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।