🤖 Category

cs.LG

24017 ورقة بحثية

🤖 machine learning

Hierarchical Mixture-of-Experts with Two-Stage Optimization

تقدم الورقة البحثية Hi-MoE، وهو إطار عمل هرمي لخليط من الخبراء (Mixture-of-Experts) يستخدم استراتيجية تحسين ثنائية المراحل لفرض توازن الحمل بين المجموعات وتخصص الخبراء داخل كل مجموعة في آن واحد، مما يؤدي إلى حل المقايضة بين استقرار التوجيه والتنوع مع تحقيق تحسينات كبيرة في الأداء مقارنة بالنماذج المرجعية الحالية.

Gleb Molodtsov, Alexander Miasnikov, Aleksandr Beznosikov2026-05-12
🤖 machine learning

In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification

تكشف هذه الورقة أن نماذج التعلم في السياق مقيدة ميكانيكيًا بمعاملة الرموز الموضحة كقاموس شامل، مما يؤدي إلى انهيار الدقة عندما تُملأ خانات التسمية برموز متجانسة أو حتى رموز صالحة دلاليًا، وهي ظاهرة تتركز في دوائر عصبية محددة تتجاوز الفهم الدلالي عبر استرجاع الرموز القائم على التنسيق.

Ming Liu2026-05-12
🤖 machine learning

A Qualitative Test-Risk Mechanism for Scaling Behavior in Normalized Residual Networks

تؤسس هذه الورقة إطاراً نظرياً يثبت أن إدراج الكتل المتبقية (residual blocks) في الشبكات المنظمة يحسن من مخاطر الاختبار بشكل مبرهن، وذلك عبر تفكيك فائدة القياس إلى مكاسب تمثيلية ناتجة عن نموذج "لوحة القفز" (jumpboard) ذي المخاطر الأدنى، وتعميم مضبوط عبر حدود تعقيد رادماخر (Rademacher complexity) القائمة على المعيار.

Daning Cheng, Zeyu Liu, Jun Sun, Fen Xia, Boyang Zhang, Dongping Liu, Yunquan Zhang2026-05-12
🤖 machine learning

What Cohort INRs Encode and Where to Freeze Them

تتقصى هذه الورقة البحثية التمثيلات العصبية الضمنية (INRs) المدربة على دفعات من خلال تحديد أن الطبقة المثلى للتجميد تقابل أعلى رتبة استقرار للوزن، والكشف، من خلال تحليل المشفّر التلقائي المتناثر، عن أن نماذج SIREN وMLPs ذات الميزات الفورية تشفر تمثيلات مختلفة جوهرياً — بلاطات إحداثيات موضعية مقابل خطوط كفاف ممتدة عبر الصورة — مما يوفر أول فهم ميكانيكي للتمثيلات القابلة للنقل في الـ INRs.

Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert2026-05-12
🤖 machine learning

mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters

تُثبت هذه الورقة أن تطبيق الروابط الفائقة المقيدة بالمنوع (mHC) على نماذج فضاء الحالة (SSMs) يحسن بشكل كبير أداء نمذجة اللغة على مجموعة بيانات WikiText-2 من خلال تقييد خلط التدفق المتبقي بمصفوفات ثنائية العشوائية ودمج محولات متخصصة في التدفق، مما يحقق انخفاضاً في الحيرة مع زيادات طفيفة فقط في تكاليف الذاكرة والإنتاجية.

Abdulvahap Mutlu, Şengül Doğan, Türker Tuncer2026-05-12
🤖 machine learning

SGC-RML: A reliable and interpretable longitudinal assessment for PD in real-world DNS

تقترح هذه الورقة البحثية إطار عمل SGC-RML، وهو إطار موحد وقابل للتفسير يدمج البيانات الواقعية متعددة الوسائط في أطلس أعراض مشترك مع تقدير عدم اليقين والمعايرة المطابقة لتمكين تقييم طولي موثوق وقابل للتدقيق ومتكيف لشدة مرض باركنسون في ظل وجود تسميات غير مكتملة وتحيز ناتج عن اختلاف الأجهزة.

Wenbin Wei, Ruixiang Gao, Suyuan Yao, Xuanzhen Zhao, Cheng Huang, Hen-Wei Huang2026-05-12
🤖 machine learning

GNN for Structural Displacement Prediction

تقترح هذه الورقة إطار عمل للشبكات العصبية الرسومية (GNN) يمثل الأنظمة الإنشائية في هيئة رسوم بيانية للتنبؤ بدقة وكفاءة بإزاحات الهياكل تحت الأحمال الخارجية، متفوقةً بذلك على الشبكات العصبية التقليدية ومقدمةً بديلاً سريعاً وقائماً على البيانات لتحليل طريقة العناصر المحدودة (FEM) المكلفة حاسوبياً من أجل المراقبة اللحظية للحالة الإنشائية.

Hung-Fu Chang, Tzu-Kang Lin, Yung-Li Cheng2026-05-12
🤖 machine learning

Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

تقترح هذه الورقة البحثية "دمج المسار المنظم" (TRM)، وهو إطار عمل مبتكر يعالج قيود التخزين وركود التحسين في التعلم المستمر من خلال إعادة صياغة دمج النماذج كعملية تحسين ضمن فضاء مسار فرعي معزز لتحقيق أداء رائد.

Xi Wang, Cheng Deng2026-05-12
🤖 machine learning

FlashSVD v1.5: Making Low-Rank Transformers Inference Actually Fast

يعالج FlashSVD الإصدار 1.5 الفجوة بين خفض العمليات الحسابية (FLOPs) النظري وسرعة الاستدلال الفعلية في نماذج المحولات (transformers) المضغوطة بتقنية SVD، وذلك من خلال تقديم بيئة تشغيل موحدة تستخدم نوى (kernels) مخصصة لكل مرحلة، وفك تشفير KV كثيف، وإعادة تشغيل رسوم CUDA البيانية (CUDA-graph replay) لتحقيق تسريع في سرعة فك التشفير يصل إلى 2.55 ضعفًا، مما يثبت أن التسريع العملي منخفض الرتبة يتطلب تصميمًا مشتركًا لبيئة التشغيل وليس مجرد خوارزميات ضغط فحسب.

Wenhao Wu, Zishan Shao, Kangning Cui, Jinhee Kim, Yixiao Wang, Hancheng Ye, Danyang Zhuo, Yiran Chen2026-05-12
🤖 machine learning

Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias

تقدم هذه الورقة البحثية "تحسين السياسة المعتمد على التلقين التأملي" (R2PO)، وهو إطار عمل للنماذج اللغوية الكبيرة يتكون من مرحلتين ويعزز البحث عن السياسات عبر الاستفادة من الأدلة التفصيلية على مستوى المسار بدلاً من المكافآت القياسية لتشخيص الإخفاقات وتوجيه المراجعات، مع معالجة نمط فشل "تحيز البروز" تحديداً لتحقيق أداء أسرع وأكثر استقراراً وقريباً من المثالية عبر بيئات متنوعة.

Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito2026-05-12