24528 पेपर
यह शोधपत्र यह प्रदर्शित करता है कि एक पूर्व-प्रशिक्षित वर्ल्ड मॉडल की लेटेंट ज्योमेट्री (latent geometry) को स्मूथनेस और यूनिफॉर्मिटी के लिए रेगुलराइज़ करके, लक्ष्य-उन्मुख नियोजन (goal-oriented planning) को एक हल्के इनवर्स-डायनामिक्स मैपिंग में अमोर्टाइज़ किया जा सकता है, जिससे इटरेटिव सर्च विधियों के तुलनीय या बेहतर प्रदर्शन प्राप्त होता है जबकि कम्प्यूटेशनल लागत को 100 गुना से अधिक कम किया जाता है।
यह शोध पत्र SoftGAC प्रस्तुत करता है, जो एक जनरेटिव एक्टर-क्रिटिक एल्गोरिदम है जो एकल फॉरवर्ड पास के साथ सुलभ अधिकतम एंट्रॉपी अनुकूलन को सक्षम करने के लिए एक स्टोकेस्टिक ब्रिज पॉलिसी का उपयोग करता है, जो मौजूदा डिफ्यूजन और फ्लो-मैचिंग बेसलाइन की तुलना में अनुमान लागत (inference costs) को काफी कम करते हुए निरंतर नियंत्रण बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
AdaPreLoRA एक नवीन LoRA ऑप्टिमाइज़र है जो वेट स्पेस पर एक Adafactor-आधारित डायगोनल क्रोनेकर प्रीकंडिशनरनर को अपनाकर और -भारित असंतुलन (imbalance) को न्यूनतम करने वाले एक क्लोज्ड-फॉर्म फैक्टर अपडेट को चुनकर फैक्टर-स्पेस प्रीकंडिशनर की सिंगुलैरिटी को संबोधित करता है, जिससे यह कम मेमोरी ओवरहेड बनाए रखते हुए विभिन्न मॉडलों और कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
यह शोध पत्र बड़े पैमाने के Mixture-of-Experts (MoE) मॉडलों को प्रीट्रेनिंग के दौरान कंप्रेस करने के लिए स्ट्रक्चर्ड प्रूनिंग और नॉलेज डिस्टिलेशन की व्यवस्थित जांच करता है, यह प्रदर्शित करते हुए कि प्रूनिंग बेहतर इनिशियलाइजेशन प्रदान करती है, क्रमिक कंप्रेशन शेड्यूल्स वन-शॉट विधियों से बेहतर प्रदर्शन करते हैं, और लैंग्वेज मॉडलिंग को मल्टी-टोकन प्रेडिक्शन डिस्टिलेशन के साथ संयोजित करने से काफी छोटे मॉडल में प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
यह शोध पत्र "कॉज़ल डाइमेंशनैलिटी" (कप्पा) को एक मॉडल-अंतर्निहित मीट्रिक के रूप में प्रस्तुत करता है जो एक ट्रांसफॉर्मर लेयर के कॉज़ल प्रभाव के प्रभावी रैंक को परिमाणित करता है, यह प्रकट करते हुए कि जहाँ प्रतिनिधित्व क्षमता (representational capacity) स्पार्स ऑटोएन्कोडर की चौड़ाई के साथ रैखिक रूप से बढ़ती है, वहीं कॉज़ल क्षमता उप-रैखिक स्तर पर संतृप्त हो जाती है जो मॉडल के आकार के प्रति अपरिवर्तित रहती है और नेटवर्क की गहराई केAcross विशिष्ट संरचनात्मक पैटर्न प्रदर्शित करती है।
MeshFIM एक Fill-in-the-Middle ऑटोरेग्रेसिव फ्रेमवर्क पेश करता है जो आसपास के संदर्भ (surrounding context) के आधार पर विशिष्ट क्षेत्रों को पुनर्जीवित करके लो-पॉली मेश के कुशल, उच्च-गुणवत्ता वाले स्थानीय संपादन और मरम्मत को सक्षम बनाता है, जिससे पारंपरिक 'ऑल-ओर-नथिंग' पुनर्जनन विधियों की अक्षमता और संरचनात्मक व्यवधान को दूर किया जा सकता है।
यह शोध पत्र रिस्टबैंड गॉसियन लॉस (Wristband Gaussian Loss) को प्रस्तुत करता है, जो एक नियत (deterministic), सैंपलिंग-मुक्त विधि है जो पॉइंट एम्बेडिंग्स को एक स्फीयर-इंटरवल मैनिफोल्ड पर दिशा और CDF-रूपांतरित त्रिज्या घटकों में विघटित करके उन्हें गॉसियन वितरणों में परिवर्तित करती है, जिससे काउंटरफैक्चुअल सैंपलिंग और डिपेंडेंट फैक्टर मॉडलिंग के लिए कुशल, कंपोजेबल लेटेंट रिप्रेजेंटेशन्स सक्षम होते हैं।
यह शोध पत्र लेक्सिकल अकॉस्टिक कोडिंग (LAC) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जहाँ पूर्व-प्रशिक्षित LLM एजेंट वेवफॉर्म्स को व्याख्यात्मक अंग्रेजी टेक्स्ट विवरणों में बदलकर और उन्हें क्लोज्ड-लूप रिफाइनमेंट के माध्यम से पुनर्गठित करके ध्वनि के संचार करते हैं, जो प्रभावी रूप से प्राकृतिक भाषा को ऑडियो के लिए एक परिमित-दर (finite-rate), हानिपूर्ण (lossy) ट्रांसपोर्ट प्रतिनिधित्व के रूप में उपयोग करता है।
FedGMI एक नवीन फेडेरेटेड लर्निंग फ्रेमवर्क है जो क्लाइंट डेटा को साझा अंतर्निहित वितरणों के संभावabilistic मिश्रणों के रूप में मॉडल करने के लिए वेरिएशनल ऑटोएनकोडर्स का लाभ उठाता है, जिससे डेटा विषमता और संचार बाधाओं को संबोधित करते हुए संरचित वैयक्तिकरण और मजबूत प्रदर्शन प्राप्त होता है।
यह शोध पत्र पहचानता है कि वर्तमान LLM अनलर्निंग विधियाँ अक्सर भ्रमित करने (hallucinating) या असंगत व्यवहार करने के कारण ईमानदारी से समझौता करती हैं, और ईमानदारी के अनलर्निंग की एक औपचारिक परिभाषा के साथ ReVa नामक एक नई विधि प्रस्तावित करता है जो विस्मरण प्रभावशीलता (forgetting effectiveness) और रिटेंड नॉलेज यूटिलिटी दोनों में महत्वपूर्ण सुधार करती है।