28108 ورقة بحثية
تقدم الورقة البحثية Hi-MoE، وهو إطار عمل هرمي لخليط من الخبراء (Mixture-of-Experts) يستخدم استراتيجية تحسين ثنائية المراحل لفرض توازن الحمل بين المجموعات وتخصص الخبراء داخل كل مجموعة في آن واحد، مما يؤدي إلى حل المقايضة بين استقرار التوجيه والتنوع مع تحقيق تحسينات كبيرة في الأداء مقارنة بالنماذج المرجعية الحالية.
تكشف هذه الورقة أن نماذج التعلم في السياق مقيدة ميكانيكيًا بمعاملة الرموز الموضحة كقاموس شامل، مما يؤدي إلى انهيار الدقة عندما تُملأ خانات التسمية برموز متجانسة أو حتى رموز صالحة دلاليًا، وهي ظاهرة تتركز في دوائر عصبية محددة تتجاوز الفهم الدلالي عبر استرجاع الرموز القائم على التنسيق.
تؤسس هذه الورقة إطاراً نظرياً يثبت أن إدراج الكتل المتبقية (residual blocks) في الشبكات المنظمة يحسن من مخاطر الاختبار بشكل مبرهن، وذلك عبر تفكيك فائدة القياس إلى مكاسب تمثيلية ناتجة عن نموذج "لوحة القفز" (jumpboard) ذي المخاطر الأدنى، وتعميم مضبوط عبر حدود تعقيد رادماخر (Rademacher complexity) القائمة على المعيار.
تتقصى هذه الورقة البحثية التمثيلات العصبية الضمنية (INRs) المدربة على دفعات من خلال تحديد أن الطبقة المثلى للتجميد تقابل أعلى رتبة استقرار للوزن، والكشف، من خلال تحليل المشفّر التلقائي المتناثر، عن أن نماذج SIREN وMLPs ذات الميزات الفورية تشفر تمثيلات مختلفة جوهرياً — بلاطات إحداثيات موضعية مقابل خطوط كفاف ممتدة عبر الصورة — مما يوفر أول فهم ميكانيكي للتمثيلات القابلة للنقل في الـ INRs.
تقدم هذه الورقة البحثية وتقيم تسلسلاً هرمياً لاستراتيجيات إعادة كتابة استعلامات استرجاع الكود القائمة على النماذج اللغوية الكبيرة، حيث تُظهر أنه في حين أن إعادة كتابة الاستعلام والمدونة باللغة الطبيعية الكاملة تعزز الأداء بشكل كبير للمشفرات خفيفة الوزن، إلا أن فوائدها تعتمد على السياق ويمكن التنبؤ بها من خلال مقياس جديد لإنتروبيا الرموز (Delta H) لتحسين المقايضة بين التكلفة والفائدة لإعادة الكتابة.
تُثبت هذه الورقة أن تطبيق الروابط الفائقة المقيدة بالمنوع (mHC) على نماذج فضاء الحالة (SSMs) يحسن بشكل كبير أداء نمذجة اللغة على مجموعة بيانات WikiText-2 من خلال تقييد خلط التدفق المتبقي بمصفوفات ثنائية العشوائية ودمج محولات متخصصة في التدفق، مما يحقق انخفاضاً في الحيرة مع زيادات طفيفة فقط في تكاليف الذاكرة والإنتاجية.
تقترح هذه الورقة البحثية إطار عمل SGC-RML، وهو إطار موحد وقابل للتفسير يدمج البيانات الواقعية متعددة الوسائط في أطلس أعراض مشترك مع تقدير عدم اليقين والمعايرة المطابقة لتمكين تقييم طولي موثوق وقابل للتدقيق ومتكيف لشدة مرض باركنسون في ظل وجود تسميات غير مكتملة وتحيز ناتج عن اختلاف الأجهزة.
تقترح هذه الورقة إطار عمل للشبكات العصبية الرسومية (GNN) يمثل الأنظمة الإنشائية في هيئة رسوم بيانية للتنبؤ بدقة وكفاءة بإزاحات الهياكل تحت الأحمال الخارجية، متفوقةً بذلك على الشبكات العصبية التقليدية ومقدمةً بديلاً سريعاً وقائماً على البيانات لتحليل طريقة العناصر المحدودة (FEM) المكلفة حاسوبياً من أجل المراقبة اللحظية للحالة الإنشائية.
يعالج FlashSVD الإصدار 1.5 الفجوة بين خفض العمليات الحسابية (FLOPs) النظري وسرعة الاستدلال الفعلية في نماذج المحولات (transformers) المضغوطة بتقنية SVD، وذلك من خلال تقديم بيئة تشغيل موحدة تستخدم نوى (kernels) مخصصة لكل مرحلة، وفك تشفير KV كثيف، وإعادة تشغيل رسوم CUDA البيانية (CUDA-graph replay) لتحقيق تسريع في سرعة فك التشفير يصل إلى 2.55 ضعفًا، مما يثبت أن التسريع العملي منخفض الرتبة يتطلب تصميمًا مشتركًا لبيئة التشغيل وليس مجرد خوارزميات ضغط فحسب.
تُعد RDKV طريقة مبتكرة لضغط ذاكرة التخزين المؤقت لـ KV، حيث تعمل على تحسين طرد الرموز والكمية بشكل مشترك من خلال إطار عمل معدل-التشويه، مما يحقق تقليلاً كبيراً في الذاكرة وتسريعاً في فك التشفير مع الحفاظ على دقة عالية في مهام السياق الطويل.