🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

تقدم هذه الورقة استراتيجية "النمو المتعامد" التي تعيد تدوير نقاط فحص نماذج "خليط الخبراء" (Mixture-of-Experts) المتقاربة الموجودة عبر توسيع عمقها وعرضها، مما يثبت أن هذا النهج يتفوق بشكل كبير على التدريب من الصفر تحت ميزانية حوسبية متطابقة من خلال الاستفادة من "التكاليف الغارقة" السابقة لتحقيق دقة أعلى.

Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong2026-05-18
🔢 mathematics

A Split-Client Approach to Second-Order Optimization

تقدم هذه الورقة إطار عمل Split-Client، وهو طريقة تحسين من الدرجة الثانية متكيفة مع التأخير تعمل على فك الارتباط بين حسابات التدرج والانحناء لتحقيق تسريع فائق في وقت التنفيذ الفعلي ومعدلات تقارب خالية من الضبط عبر مطابقة أداء Lazy Hessian الأمثل مع تقديم تقارب أسرع تحت ظروف هيكلية محددة.

El Mahdi Chayti, Martin Jaggi2026-05-18
🤖 machine learning

Transformers are Inherently Succinct

تُثبت هذه الورقة أن نماذج المحولات ذات الدقة الثابتة هي بطبيعتها أكثر إيجازاً بشكل أسي من المنطق الزمني الخطي، والشبكات العصبية المتكررة، والأتمتة المحدودة، وهي خاصية تجعل مشكلات التحقق الأساسية مثل الفراغ والتكافؤ من فئة EXPSPACE-complete.

Pascal Bergsträßer, Ryan Cotterell, Anthony W. Lin2026-05-18
🤖 machine learning

Monotone and Separable Set Functions: Characterizations and Neural Models

تقدم هذه الورقة دالات المجموع الرتيبة والقابلة للفصل (MAS) للحفاظ على ترتيب احتواء المجموع، وتضع حدوداً نظرية لوجودها وأبعادها، وتقترح نموذجاً عصبياً "ضعيف الـ MAS" مستقراً للمجموعات الأرضية اللانهائية، وتثبت فعاليتها في مهام احتواء المجموع من خلال كل من ضمانات التقريب الشامل والنتائج التجريبية.

Soutrik Sarangi, Yonatan Sverdlov, Nadav Dym, Abir De2026-05-18
🤖 machine learning

SemanticOpt: Towards LLM-Based Semantic Black-Box Optimization

يُعد SemanticOpt إطار عمل مبتكر يعزز النماذج اللغوية الكبيرة من أجل التحسين الدلالي للصندوق الأسود عبر ضبطها بدقة على مسارات بايزية مهيكلة ومثرية بسياق لغوي طبيعي، مما يمكنها من الاستفادة بفعالية من المعرفة بالمجال والتفوق على كل من المحسنات الكلاسيكية والمحسنات القائمة على النماذج اللغوية الكبيرة في السيناريوهات التجريبية المكلفة.

Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luko (…)2026-05-18
🤖 machine learning

Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity

تقترح هذه الورقة البحثية "تنظيم تركيز الأوزان" (WCR)، وهو منظم جديد أثناء التدريب يعمل على تضخيم مجموعة فرعية صغيرة من المعلمات المعلوماتية مع كبح غيرها لتحسين متانة تقليم المقدار بضربة واحدة بشكل كبير تحت ظروف التشتت العالي عبر مختلف مهام التعلم العميق.

Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee2026-05-18
🤖 machine learning

Gradient-Based Join Ordering

تقترح هذه الورقة نهجاً جديداً لترتيب عمليات الربط يعتمد على التدرج، حيث يقوم بتخفيف خطط الاستعلام المنفصلة إلى فضاء مستمر باستخدام نماذج تكلفة وقيود قابلة للتفاضل، مما يتيح تحسيناً أكثر كفاءة وفعالية مقارنة بطرق البحث المنفصلة التقليدية.

Tim Schwabe, Maribel Acosta2026-05-18
📊 statistics

Adaptive Conformal Prediction for Quantum Machine Learning

تقدم هذه الورقة التنبؤ الكمي المطابق التكيفي (AQCP)، وهو خوارزمية تضمن تقدير اليقين الموثوق لتعلم الآلة الكمي من خلال الحفاظ على ضمانات التغطية المستهدفة رغم الضجيج متغير الزمن المتأصل في الأجهزة الكمية، متفوقة بذلك على التنبؤ المطابق الكمي القياسي في الاستقرار والصلاحية.

Douglas Spencer, Samual Nicholls, Michele Caprio2026-05-18
💬 NLP

DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

تقدم الورقة البحثية نموذج DR Tulu، وهو نموذج بحث عميق مفتوح المصدر تم تدريبه عبر التعلم التعزيزي باستخدام معايير التقييم المتطورة (RLER) التي تطور معايير التقييم بالتزامن مع السياسة، مما يمكّنه من التفوق على الوكلاء المفتوحين الحاليين ومنافسة الأنظمة المملوكة في مهام البحث طويلة المدى مع كونه أكثر فعالية من حيث التكلفة بشكل كبير.

Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Sam (…)2026-05-18
🤖 machine learning

A Differentiable Measure of Algebraic Complexity: Provably Exact Discovery of Group Structures

تقدم هذه الورقة HyperCube، وهو أسلوب تحليل تينسور ذي قيم مؤثرة قابل للتفاضل يوفر أول مقياس دقيق ومثبت جبرياً للتعقيد الجبري لاكتشاف البنى الزمرية من البيانات عبر إثبات أن تقليل دالة الهدف الخاصة به يفرض ضمناً خاصيتي التجميع والوحدوية، مما يحل حدسية "هوه" لعام 2025 ويُمكّن من الاكتشاف القائم على التدرج للقواعد الجبرية المنفصلة دون بحث توافقي.

Dongsung Huh, Lior Horesh, Halyun Jeong2026-05-18