25012 ورقة بحثية
يقدم DashAttention آلية انتباه هرمية متفرقة، تكيفية وكاملة القابلية للتفاضل باستخدام -entmax لاختيار أعداد متغيرة من كتل الـ KV ديناميكيًا، مما يحقق دقة فائقة في نمذجة السياقات الطويلة وسرعة استنتاج أعلى مقارنة بالطرق الحالية مثل NSA وInfLLMv2.
تقدم هذه الورقة البحثية بحث "إبستيميك إم سي تي إس" (EMCTS)، وهي طريقة تدمج عدم اليقين المعرفي في بحث شجرة مونت كارلو (Monte Carlo Tree Search) لتحسين كفاءة العينات وقدرات الاستكشاف بشكل كبير في البيئات ذات المكافآت الشحيحة مقارنة بنهجي ألفا زيرو (AlphaZero) وموزيرو (MuZero) القياسيين.
تقترح هذه الورقة طريقة الهجوم التقريبي والموزون (AWA) التي تتغلب على قيود هجمات إعادة بناء البيانات الحالية على التجميع الاتحادي الأفقي (FedAvg) من خلال استخدام الاستيفاء لتوليد تحديثات نموذج وسيطة ودالة خسارة موزونة لكل طبقة محسنة بأسلوب بايزي لتحسين جودة إعادة البناء بشكل كبير.
تقدم هذه الورقة البحثية "ضبط التلقين العالمي على مستوى المخطط الفرعي" (SUPT)، وهي طريقة متعددة الاستخدامات تقوم بتعيين سمات التلقين على مستوى المخطط الفرعي للتغلب على قيود السياق في أساليب ضبط تلقين المخططات الحالية، محققةً أداءً فائقاً على الضبط الدقيق في كل من سيناريوهات البيانات الكاملة والبيانات القليلة وبعدد أقل بكثير من المعلمات.
تحذر هذه الورقة من أن الاستخدام غير المنظم لنماذج اللغات الكبيرة العامة في قطاع تسوية أوضاع المهاجرين في كندا يشكل مخاطر كبيرة على الوافدين الجدد، وتحث على تطوير برامج لمحو الأمية في مجال الذكاء الاصطناعي وأدوات ذكاء اصطناعي متوافقة مع المجتمع وتحت إشراف بشري لضمان دعم آمن وفعال لعملية الاندماج.
تقدم هذه الورقة البحثية "فقد الأنبوب" (Tube Loss)، وهي دالة فقد مبتكرة لمهام الانحدار تتيح التقدير المتزامن لفترات التنبؤ عالية الجودة مع ضمان التغطية التقاربية، وإمكانية ضبط التموضع لالتقاط مناطق الاحتمالية الأكثر كثافة (لاسيما للتوزيعات الملتوية)، والتحسين الفعال عبر التدرج المنحدر، مما يظهر أداءً فائقاً عبر الآلات النواة، والشبكات العصبية، وأطر التنبؤ المطابق.
يُعد TrainMover بيئة تشغيل مرنة لتدريب نماذج تعلم الآلة واسعة النطاق، حيث يستفيد من الآلات المرنة والاحتياطية عبر ثلاث تقنيات رئيسية لتحقيق أدنى حد من وقت التوقف (حوالي 20 ثانية) وصفر من استهلاك الذاكرة الإضافي أثناء الانقطاعات، مما قد يقلل من ساعات عمل وحدات معالجة الرسومات المهدورة بنسبة 55% مقارنة بالحلول الحالية.
تقترح هذه الورقة نهجاً لتشكيل المكافأة شبه الموجه الذي يستفيد من الانتقالات ذات المكافآت غير الصفرية والصفرية من خلال تعزيز البيانات المبتكر لتعلم تمثيلات المسار، مما يتفوق بشكل كبير على النماذج المرجعية الخاضعة للإشراف في بيئات المكافآت الشحيحة مثل ألعاب أتاري والتحكم الروبوتي.
تقترح هذه الورقة البحثية "انتباه الوسائط المتبادل" (Modality-Mutual Attention - MMA)، وهو تعديل هيكلي خالٍ من المعلمات يستبدل الانتباه السببي في النماذج اللغوية الكبيرة متعددة الوسائط لتمكين رموز الصور من الانتباه إلى رموز النصوص، مما يؤدي إلى حل مشكلة عدم الاتساق بين الرؤية واللغة وتحقيق أداء هو الأفضل حالياً عبر 12 معياراً مرجعياً.
يُعد TokenButler متنبئاً خفيف الوزن وواعياً بالاستعلام، يقوم بتحديد الرموز (tokens) الحرجة ديناميكياً لإدارة ذاكرة التخزين المؤقت لـ KV بكفاءة عبر تقطير توزيعات الانتباه السببي المقنع، محققاً دقة استرجاع تقارب الدقة المثالية (near-oracle) وخفضاً كبيراً في زمن الاستجابة دون طرد الرموز بشكل دائم.