23404 ورقة بحثية
تقدم هذه الورقة نموذج ExplainerPFN، وهو نموذج تأسيسي للبيانات الجدولية يتيح تقديرًا من نوع "الصفر-خطوة" (zero-shot) وخاليًا من النماذج لنسب ميزات بأسلوب قيم شابلي (Shapley-value) عبر التعلم من بيانات سببية اصطناعية، مما يوفر بديلًا مبدئيًا للطرق التقليدية التي تتطلب الوصول إلى النموذج الأساسي أو التفسيرات المرجعية.
تقدم هذه الورقة البحثية آلية انتباه التكميم المتجه عبر الإنترنت (OVQ)، وهي طبقة لخلط التسلسلات تحقق تكاليف حوسبة خطية وتكاليف ذاكرة ثابتة مع تحسين أداء السياق الطويل بشكل كبير من خلال تحديثات الذاكرة المتفرقة، مما يوفر بديلاً تنافسياً للانتباه الذاتي بجزء ضئيل من استهلاك الذاكرة.
تقترح الورقة البحثية طريقة "تكميم تفكيك مستويات البت" (BPDQ)، وهي طريقة مبتكرة تستخدم شبكات تكميم متغيرة وتحسينًا من الدرجة الثانية لتحسين دقة النماذج اللغوية الكبيرة بشكل كبير عند عرض نطاق بتات منخفض للغاية (2-3 بت)، مما يتيح النشر الفعال لنموذج بحجم 72 مليار معلمة على وحدة معالجة رسومات استهلاكية واحدة.
تقترح الورقة البحثية "تحسين تفضيل المرساة الهندسي" (GAPO)، وهي طريقة محاذاة مبتكرة تستبدل سياسة المرجع الثابتة في "تحسين التفضيل المباشر" بمرساة تنافسية ديناميكية واعية هندسياً لإعادة وزن أزواج التفضيلات بشكل تكيفي، مما يعزز المتانة ضد الإشراف الضوضائي وعدم التطابق التوزيعي مع الحفاظ على الأداء القوي في المعايير القياسية.
تقترح الورقة البحثية RanSOM، وهو إطار تحسين موحد يقضي على الانحياز الناجم عن الانحناء في طرق الزخم من خلال توظيف أحجام خطوات عشوائية ومتطابقات من نوع "شتاين" لتحقيق معدلات تقارب مثالية لكل من المسائل المقيدة وغير المقيدة دون الحاجة إلى أخذ عينات مساعدة مكلفة.
تقدم هذه الورقة البحثية Extra-CoT، وهو إطار عمل مبتكر يحقق ضغطاً فائقاً لسلسلة الأفكار (Chain-of-Thought) مع حد أدنى من فقدان الدقة عبر الجمع بين ضاغطٍ يحافظ على المعنى الدلالي، والضبط الدقيق الخاضع للإشراف بنسب مختلطة، واستراتيجية تحسين النسبة الهرمية والمقيدة (CHRPO) لتمكين الاستدلال عالي الدقة والفعالية في النماذج اللغوية الكبيرة.
تقترح هذه الورقة استبدال مجموعة فرعية من رؤوس الانتباه القياسية في نماذج "ترانسفورمر" برؤوس "لابلاسيان" لإدخال تنعيم محكوم عبر الانتشار الرسومي، مما يثبت أن هذا التعديل يحسن الأداء عبر مهام التعلم الخاضع للإشراف، ونمذجة اللغة، والتعلم ذاتي الإشراف من خلال تعزيز هندسة تمثيل الرموز وتحدي الفرضية القائلة بأن التنعيم المفرط ضار بطبيعته.
تستخدم هذه الدراسة إطار عمل نموذج مختلط معزز بالتدرج ذو مرحلتين على بيانات نظام التعريف التلقائي (AIS) في القطب الشمالي للولايات المتحدة لإثبات أن المسافة إلى الساحل والعمق الباثيمتري هما المحركان الأساسيان لسرعة السفن، مع التمييز بفعالية بين السفن الثابتة والمتحركة لتوصيف الأنظمة الملاحية.
تقترح هذه الورقة "فسيفساء الأنماط" (MoMos)، وهي طريقة لتقييد المعلمات تعمل على تقليل التعقيد الخوارزمي للشبكات العصبية من خلال تنظيم الأوزان في كتل قابلة لإعادة الاستخدام، مما يؤدي إلى تحفيز القابلية للضغط أثناء التدريب مع الحفاظ على أداء النموذج.
تضع هذه الورقة أول حدود لتعقيد الندم وتعقيد العينة لخوارزمية Q-learning التقليدية عبر الإنترنت في عمليات ماركوف لاتخاذ القرار (MDPs) ذات الأفق اللانهائي والخصم، حيث تُثبت أنه بينما يعتمد أداء استكشاف بولتزمان بشكل حاسم على فجوات عدم المثالية، فإن مخطط -Greedy المُنعم المقترح يحقق ضمانات قريبة من المثالية ومستقرة تجاه الفجوات من خلال الاستفادة من حد تركيز جديد عالي الاحتمالية للتقريب العشوائي غير متجانس زمنياً.