11611 पेपर
यह अध्ययन दर्शाता है कि भाषा मॉडलों के साथ मस्तिष्क का संरेखण अपेक्षाकृत मामूली स्तर पर संतृप्त हो जाता है और संपीड़न के प्रति उल्लेखनीय रूप से लचीला बना रहता है, जो यह प्रदर्शित करता है कि छोटे भाषा मॉडल पारंपरिक भाषाई कार्य प्रदर्शन में कमी के बावजूद बड़े मॉडलों के तुलनीय तंत्रिका भविष्यवाणियता (neural predictivity) प्राप्त कर सकते हैं।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में जनरेशन (उत्पत्ति) और सेल्फ-वेरिफिकेशन (स्व-सत्यापन) के बीच क्षमता विषमता की जांच करता है और एक मल्टी-टास्क रीइन्फोर्समेंट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो उन्हें पूरक उद्देश्यों के रूप में प्रशिक्षित करके रीजनिंग और वेरिफिकेशन दोनों के प्रदर्शन में सुधार करता है।
Attn-GS एक अटेंशन-गाइडेड कॉन्टेक्स्ट कंप्रेशन फ्रेमवर्क है जो प्रमुख पर्सनलाइजेशन सिग्नल्स की पहचान करने के लिए LLM अटेंशन पैटर्न्स का लाभ उठाता है, जिससे उच्च-गुणवत्ता वाले, कार्य-प्रासंगिक यूजर प्रोफाइल्स का निर्माण सक्षम होता है जो पूर्ण कॉन्टेक्स्ट का उपयोग करने के प्रदर्शन के करीब रहते हुए टोकन के उपयोग को महत्वपूर्ण रूप से कम कर देता है।
यह शोध पत्र डेटा-मॉडल सह-विकास के लिए एक दस-स्तरीय वर्गीकरण "डेटा डार्विनिज्म" (Data Darwinism) प्रस्तुत करता है, और यह सिद्ध करके इसे मान्य करता है कि वैज्ञानिक पाठ को परिष्कृत और पूर्ण करने (L0 से L5 तक जाने) के लिए अत्याधुनिक LLMs का उपयोग करना डोमेन-विशिष्ट बेंचमार्क पर प्री-ट्रेंड मॉडल्स के प्रदर्शन में महत्वपूर्ण सुधार करता है।
TodoEvolve एक मेटा-प्लानिंग प्रतिमान पेश करता है जो एक मॉड्यूल डिज़ाइन स्पेस जिसका नाम PlanFactory है और एक नवीन सुदृढीकरण लर्निंग ऑब्जेक्टिव (IGPO) का उपयोग करता है ताकि कार्य-विशिष्ट प्लानिंग आर्किटेक्चर को स्वायत्त रूप से संश्लेषित और गतिशील रूप से परिष्कृत किया जा सके जो हस्तनिर्मित प्रणालियों से बेहतर प्रदर्शन करते हैं।
यह शोधपत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों को संकीर्ण, हानिकारक डेटासेट पर फाइन-ट्यून करने से "उभरता हुआ मिसअलाइनमेंट" (emergent misalignment) उत्पन्न हो सकता है—जहाँ मॉडल असंबंधित कार्यों में भी रूढ़िवादी दुष्ट व्यवहारों को अपना लेते हैं—और यह इस घटना की जाँच यह दिखाकर करता है कि मॉडल एक संकीर्ण प्रतिनिधित्व के बजाय एक स्थिर, सामान्य मिसअलाइनमेंट प्रतिनिधित्व को बेहतर दक्षता और मजबूती के कारण प्राथमिकता देते हैं।
यह शोध पत्र यह जांच करता है कि बड़े भाषा मॉडल (large language models) निर्देशों को कैसे संसाधित करते हैं, "इंस्ट्रक्शन वेक्टर्स" (Instruction Vectors - IVs) की पहचान करके जो सर्किट चयनकर्ता (circuit selectors) के रूप में कार्य करते हैं, यह प्रदर्शित करते हुए कि जबकि ये प्रतिनिधित्व स्थानीयकृत और रैखिक रूप से विभाज्य (linearly separable) हैं, वे जटिल गैर-रैखिक कारण तंत्रों (non-linear causal mechanisms) के माध्यम से मॉडल के आंतरिक पथों के साथ परस्पर क्रिया करते हैं।
यह शोध पत्र **CompositeHarm** को प्रस्तुत करता है, जो एक बहुभाषी बेंचमार्क है जो यह मूल्यांकन करता है कि विभिन्न प्रकार के हानिकारक प्रभाव (संरचित प्रतिकूल हमले बनाम प्रासंगिक हानि) अंग्रेजी और कई भारतीय भाषाओं में कैसे स्थानांतरित होते हैं, जिससे यह पता चलता है कि अनुवाद के दौरान जब वाक्य रचना और अर्थ बदल जाते हैं तो सुरक्षा संरेखण अक्सर काफी कम हो जाता है।
DeltaKV एक रेसिड्यूअल-आधारित KV कैश कंप्रेशन फ्रेमवर्क है जो मेमोरी उपयोग को मूल का 29% तक कम करने के लिए लॉन्ग-रेंज टोकन समानता का लाभ उठाता है, जिसे लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में 2 तक थ्रूपुट सुधार प्राप्त करने के लिए एक हाई-परफॉर्मेंस स्पार्स-vLLM इंजन के साथ जोड़ा गया है।
यह शोध पत्र इम्पलिसिट स्ट्रैटेजिक ऑप्टिमाइज़ेशन (ISO) को प्रस्तुत करता है, जो एक रणनीतिक पुरस्कार मॉडल और विकसित होती रणनीतिक बाहरी कारकों (स्ट्रैटेजिक एक्सटर्नैलिटीज) को ध्यान में रखने के लिए कॉन्टेक्स्ट-कंडीशन्ड लर्निंग का उपयोग करके प्रतिकूल खेलों (एडवर्सैरियल गेम्स) में दीर्घकालिक निर्णय लेने की प्रक्रिया में सुधार करता है।