10999 पेपर
यह शोध पत्र फ्रेंच-YMCA कॉर्पस का परिचय देता है, जो विविध स्रोतों से 2.2 करोड़ से अधिक शब्दों वाला एक बड़े पैमाने का, मुक्त-पहुंच भाषाई संसाधन है, जिसे विशेष रूप से उन भाषा मॉडलों को प्रशिक्षित करने के लिए डिज़ाइन किया गया है जो फ्रांसीसी भाषी बच्चों और किशोरों की विकसित होती भाषाई आवश्यकताओं को बेहतर ढंग से समझ सकें और उनके अनुकूल हो सकें।
यह शोधपत्र FrontierFinance को प्रस्तुत करता है, जो एक लॉन्ग-होराइजन बेंचमार्क है जिसमें उद्योग विशेषज्ञों द्वारा विकसित 25 जटिल वित्तीय मॉडलिंग कार्य शामिल हैं, जिसका उद्देश्य मानव पेशेवरों के विरुद्ध अत्याधुनिक LLMs के प्रदर्शन का मूल्यांकन और तुलना करना है, जिससे यह पता चलता है कि वर्तमान AI प्रणालियाँ अभी भी क्लाइंट-रेडी आउटपुट देने में पीछे रह जाती हैं।
यह शोध पत्र UNDO फ्लिप-फ्लॉप कार्य को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि हालांकि माम्बा-2 (Mamba-2) जैसे स्टेट स्पेस मॉडल सैद्धांतिक रूप से प्रतिवर्ती अर्थ संबंधी अवस्था प्रबंधन (reversible semantic state management) की क्षमता रखते हैं, फिर भी ग्रेडिएंट-आधारित अनुकूलन आवश्यक स्टैक-आधारित रोलबैक तंत्र को सीखने में विफल रहता है, जिससे प्रतिकूल प्रतिगमन (adversarial retraction) के तहत मॉडल अविश्वसनीय अनुमानी प्रणालियों (unreliable heuristics) में ढह जाते हैं।
यह शोध पत्र मल्टीपन (MultiPun) डेटासेट और एक जनरेशन पाइपलाइन प्रस्तुत करता है जो मल्टीमॉडल पन्स (multimodal puns) को समझने की लार्ज विजन-लैंग्वेज मॉडल्स की क्षमता का व्यवस्थित रूप से मूल्यांकन करता है, जो उनकी वर्तमान सीमाओं को प्रकट करता है और ऐसी रणनीतियों का प्रस्ताव देता है जो उनके पन बोध (pun comprehension) प्रदर्शन में महत्वपूर्ण सुधार करती हैं।
यह शोध पत्र BOSCH को पेश करता है, जो एक प्रशिक्षण-मुक्त (training-free) ब्लैक-बॉक्स बाइनरी ऑप्टिमाइज़ेशन विधि है जो LLMs में शॉर्ट-कॉन्टेक्स्ट स्लाइडिंग-विंडो अटेंशन के लिए अटेंशन हेड्स को गतिशील रूप से चुनती है, और विभिन्न अटेंशन अनुपातों की विशिष्ट आवश्यकताओं के अनुकूल होकर मौजूदा लेयर-लेवल और स्टैटिक हेड-लेवल ह्यूरिस्टिक्स से बेहतर प्रदर्शन करती है।
यह शोध पत्र ROTATE को प्रस्तुत करता है, जो एक डेटा-मुक्त विधि है जो वेट रोटेशन (weight rotations) को शब्दावली-स्थान कर्टोसिस (vocabulary-space kurtosis) को अधिकतम करने के लिए अनुकूलित करके, MLP न्यूरॉन्स को व्याख्या योग्य "शब्दावली चैनलों" (vocabulary channels) में अलग करती है, जिससे स्पार्स (sparse), निष्ठावान प्रतिनिधित्व प्राप्त होता है जो न्यूरॉन व्यवहार का वर्णन करने में एक्टिवेशन-आधारित बेसलाइन से बेहतर प्रदर्शन करता है।
यह शोध पत्र "एपिस्टेमिक ब्लाइंडिंग" (epistemic blinding) प्रस्तुत करता है, जो एक इन्फरेंस-टाइम प्रोटोकॉल है जो एंटिटी आइडेंटिफायर्स को गुमनाम बनाता है ताकि यह ऑडिट और परिमाणित किया जा सके कि लार्ज लैंग्वेज मॉडल्स किस हद तक याद किए गए प्रायर्स (priors) बनाम आपूर्ति किए गए डेटा पर निर्भर करते हैं, जो ड्रग टारगेट प्रायोरिटाइजेशन और वित्तीय स्क्रीनिंग में महत्वपूर्ण संदूषण को प्रकट करता है और साथ ही डिज़ाइन की गई विश्लेषणात्मक प्रक्रियाओं के प्रति सिस्टम के अनुपालन को सुनिश्चित करता है।
यह शोध पत्र प्रकट करता है कि कड़े डिकोडिंग के माध्यम से लार्ज लैंग्वेज मॉडल्स में संरचित प्रतिबिंब (structured reflection) को लागू करना आत्म-सुधार (self-correction) में सुधार करने में विफल रहता है और इसके बजाय एक नया "स्ट्रक्चर स्नोबॉलिंग" (structure snowballing) विफलता मोड उत्पन्न करता है, जहाँ सख्त फॉर्मेटिंग नियमों का पालन करने का संज्ञानात्मक भार मॉडल्स को गहरे अर्थ संबंधी दोषों को सुलझाने के बजाय सतही वाक्यात्मक संरेखण (superficial syntactic alignment) को प्राथमिकता देने के लिए प्रेरित करता है, जिससे एक अंतर्निहित "अलाइनमेंट टैक्स" (alignment tax) उजागर होता है।
यह शोध पत्र यह प्रदर्शित करता है कि भाषा मॉडल विशेष रूप से पैक किए गए लघु-संदर्भ (short-context) नमूनों पर प्रशिक्षित लॉजिट-आधारित ज्ञान आसवन (logit-based knowledge distillation) के माध्यम से दीर्घ-संदर्भ पुनर्प्राप्ति क्षमताओं को प्राप्त कर सकते हैं, जो चरण-वार रोटरी पोजीशनल एम्बेडिंग (Rotary Position Embedding) स्केलिंग का लाभ उठाता है और यह प्रकट करता है कि पोजीशनल जानकारी ट्रांसफॉर्मर परतों के माध्यम से कैसे प्रसारित होती है ताकि आसवन संकेत (distillation signal) को प्रभावित किया जा सके।
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल वास्तविक मनोवैज्ञानिक प्रोफाइलों से जीवन कथाएँ उत्पन्न करके और उन कथाओं से सटीक लक्षण स्कोर को पुनः प्राप्त करके व्यक्तिगत व्यक्तित्व अंतरों को मजबूती से एनकोड और डिकोड कर सकते हैं, जो मानव परीक्षण-पुनः परीक्षण निरंतरता के तुलनीय विश्वसनीयता स्तर प्राप्त करते हैं।