23845 पेपर
यह शोध पत्र एक एजेंटिक फ्रेमवर्क पेश करता है जिसमें एक ScripterAgent और DirectorAgent शामिल हैं, जो एक नए बेंचमार्क और मूल्यांकन मेट्रिक्स द्वारा समर्थित है, ताकि उच्च-स्तरीय अवधारणाओं को निष्पादन योग्य स्क्रिप्ट में अनुवादित करके संवाद और दीर्घ-अवधि वाले सिनेमाई वीडियो निर्माण के बीच के अर्थ संबंधी अंतर को पाटा जा सके, जिससे कथात्मक सुसंगतता और स्क्रिप्ट की सत्यनिष्ठा सुनिश्चित हो सके।
337 अध्ययनों का यह व्यवस्थित पुनरावलोकन निष्कर्ष निकालता है कि ट्रांसफॉर्मर-आधारित भाषा मॉडल महत्वपूर्ण वाक्यात्मक ज्ञान को समाहित करते हैं, विशेष रूप से औपचारिक परिघटनाओं और अंग्रेजी में, फिर भी वे क्रॉस-लिंगुअल सामान्यीकरण और वाक्य-अर्थ इंटरफेस में सीमाओं का सामना करते हैं, जबकि यह उनकी अंतर्निहित कम्प्यूटेशनल प्रक्रियाओं को पूरी तरह से समझने के लिए अधिक यांत्रिक और विविध अनुसंधान की महत्वपूर्ण आवश्यकता पर प्रकाश डालता है।
यह शोध पत्र SONIC-O1 को प्रस्तुत करता है, जो 13 डोमेन में 60 घंटों के वास्तविक ऑडियो-वीडियो डेटा से बना एक व्यापक, मानव-सत्यापित बेंचमार्क है, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की सारांश (summarization), प्रश्न उत्तर (question answering) और टेम्पोरल रीजनिंग (temporal reasoning) की क्षमताओं में प्रदर्शन संबंधी असमानताओं का मूल्यांकन करने और उन्हें प्रकट करने के लिए डिज़ाइन किया गया है।
यह शोधपत्र RankTuner को प्रस्तुत करता है, जो एक फाइन-ट्यूनिंग फ्रेमवर्क है जो 'रिलेटिव रैंक इंडिकेटर' नामक एक नवीन 'प्रोबेबिलिटी-एन्ट्रॉपी कैलिब्रेशन' सिग्नल का उपयोग करता है, जो टोकन को गतिशील रूप से पुन: भारित (reweight) करने के लिए नियोजित किया जाता है, जिससे अंतर्निहित अनिश्चितता को ध्यान में रखते हुए वास्तव में कम सीखे गए टोकन पर ध्यान केंद्रित करके गणितीय तर्क, कोड जनरेशन और आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफर में सुधार किया जाता है।
यह शोध पत्र श्रेणी सिद्धांत फंक्टर्स (category theory functors) के दृष्टिकोण से ट्रांसफॉर्मर्स में सादृश्य तर्क (analogical reasoning) को औपचारिक रूप देता है, जो सिंथेटिक कार्यों और यांत्रिक विश्लेषण के माध्यम से यह प्रदर्शित करता है कि यह संबंधात्मक संरचनाओं के ज्यामितीय संरेखण और फंक्टर अनुप्रयोग से उत्पन्न होता है, जिसके निष्कर्ष पूर्व-प्रशिक्षित लार्ज लैंग्वेज मॉडल्स के लिए भी सत्य हैं।
यह शोध पत्र ECHO का प्रस्ताव करता है, जो एक टेस्ट-टाइम सुदृढीकरण लर्निंग (reinforcement learning) ढांचा है जो एंट्रॉपी और कॉन्फिडेंस मेट्रिक्स को संयोजित करके वृक्ष-संरचित रोलआउट्स (tree-structured rollouts) को अनुकूल रूप से नियंत्रित करने और पॉलिसी अपडेट को परिष्कृत करने के लिए काम करता है, जिससे सीमित कम्प्यूटेशनल बजट के तहत रीजनिंग प्रदर्शन में सुधार करने के लिए रोलआउट कोलैप्स को रोकने और प्रारंभिक चरण के पूर्वाग्रह को कम करने में मदद मिलती है।
यह शोध पत्र यह पहचानता है कि एसिंक्रोनस पाइपलाइन पैरेललिज्म (asynchronous pipeline parallelism) में ग्रेडिएंट स्टेलेनेस (gradient staleness), हेसियन आइगेनबेसिस (Hessian eigenbasis) और कोऑर्डिनेट सिस्टम के बीच मिसअलाइनमेंट के कारण बढ़ जाती है, और एक "बेसिस रोटेशन" (basis rotation) फ्रेमवर्क का प्रस्ताव करता है ताकि इन बेसेस को पुनः संरेखित किया जा सके, जिससे बड़े पैमाने पर वितरित प्रशिक्षण (distributed training) के लिए प्रशिक्षण इटरेशन में काफी कमी आती है और स्केलेबिलिटी बहाल होती है।
यह शोध पत्र McDiffuSE को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो मास्क किए गए डिफ्यूजन मॉडल्स (Masked Diffusion Models) में स्लॉट इनफिलिंग क्रमों (slot infilling orders) को अनुकूलित करने के लिए मोंटे कार्लो ट्री सर्च (Monte Carlo Tree Search) का लाभ उठाता है, जिससे गैर-अनुक्रमिक पूर्णता रणनीतियों (non-sequential completion strategies) को प्रभावी ढंग से खोजकर गणितीय और कोड तर्क कार्यों पर जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है।
यह शोध पत्र टेम्परेचर स्केलिंग का एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है, जो मॉडल अनिश्चितता को बढ़ाने के इसके सामान्य प्रभाव को प्रदर्शित करता है, बड़े भाषा मॉडलों में विविधता बढ़ाने की धारणा को चुनौती देता है, और इसके अद्वितीय गुणों में नए ज्यामितीय और रैखिक लक्षण वर्णन संबंधी अंतर्दृष्टि प्रस्तुत करता है।
यह शोधपत्र कोलिज़ियम (Colosseum) का परिचय देता है, जो सहकारी बहु-एजेंट प्रणालियों में मिलीभगत (collusion) के ऑडिटिंग के लिए एक ढांचा है, जो यह प्रकट करता है कि एलएलएम (LLM) एजेंट अक्सर गुप्त माध्यमों से और "कागजी मिलीभगत" के माध्यम से उभरती हुई मिलीभगत प्रदर्शित करते हैं जहाँ वे मिलीभगत की योजना तो बनाते हैं लेकिन उसे निष्पादित करने में विफल रहते हैं।