cs.LG ورقة بحثية

DynaSTy: A Framework for SpatioTemporal Node Attribute Prediction in Dynamic Graphs

تُعد DynaSTy إطار عمل قائمًا على المحولات (transformer) من البداية إلى النهاية، يتنبأ بخصائص العقد متعددة الخطوات في الرسوم البيانية الديناميكية من خلال دمج مصفوفات التجاور المتغيرة زمنيًا كتحيزات انتباه قابلة للتكيف، وتوظيف استراتيجيات تدريب متخصصة للتخفيف من تراكم الأخطاء، مما يجعلها تتفوق على النماذج المرجعية الحالية للرسوم البيانية الثابتة.

Namrata Banerji, Tanya Berger-Wolf2026-05-20

📊 statistics

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

تثبت هذه الورقة نظرياً أنه في التحسين العشوائي غير المستقر، تفرض متغيرات خوارزمية الانحدان الاشتقاقي المتدرج (SGD) القائمة على الزخم عقوبة حتمية تتمثل في تضخيم الانحراف، مما يسبب تأخراً نظامياً في التتبع ويجعلها دون المستوى الأمثل بشكل مثبت مقارنة بخوارزمية (SGD) التقليدية في الأنظمة التي يهيمن عليها الانحراف.

Sharan Sahu, Cameron J. Hogan, Martin T. Wells2026-05-20

📊 statistics

Efficient and Minimax Optimal In-context Nonparametric Regression with Transformers

تُثبت هذه الورقة أن نموذج "ترانسفورمر" مُدرب مسبقاً بمعلمات لوغاريتمية وعدد أقل بكثير من تسلسلات ما قبل التدريب يمكنه تحقيق معدلات تقارب مثالية (minimax optimal) للانحدار غير المعلمي داخل السياق، وذلك من خلال التقريب الفعال لمقدرات متعدد الحدود المحلية عبر قواعد متعددة الحدود مرجحة بنواة وعملية الانحدار الاشتقاقي.

Michelle Ching, Ioana Popescu, Nico Smith, Tianyi Ma, William G. Underwood, Richard J. Samworth2026-05-20

🤖 machine learning

Feature-Space Smoothing: Certified Robustness of Deep Representations

تقترح هذه الورقة البحثية تنعيم فضاء الميزات (FS)، وهو إطار عمل للمتانة المعتمدة يقوم بتحويل مشفرات الميزات إلى نسخ منعمّة ذات حدود تشابه جيب التمام مضمونة تحت تأثير الاضطرابات، معززة بـ "معزز التنعيم الغاوسي" (GSB) القابل للتركيب والتشغيل لتحسين المتانة في نماذج مثل النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) دون الحاجة إلى إعادة التدريب.

Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang2026-05-20

🤖 machine learning

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

تقترح هذه الورقة البحثية طريقة "التعزيز بالتحويل لـ GRPO" (TA-GRPO)، وهي وسيلة تخفف من تلاشي التدرج وانهيار التنوع في استنتاج النماذج اللغوية الكبيرة عبر توليد إعادة صياغات للأسئلة مكافئة للمسائل الأصلية لإنشاء مكافآت مختلطة ومسارات استنتاج متنوعة، مما يؤدي إلى تحسين الأداء بشكل كبير في الاختبارات المرجعية الرياضية والعلمية المعقدة.

Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla2026-05-20

🤖 machine learning

Depth, Not Data: An Analysis of Hessian Spectral Bifurcation

تتحدى هذه الورقة الرؤية السائدة بأن بنية "الكتلة والنتوء" (bulk-and-spike) الطيفية لمصفوفة هسيان في الشبكات العصبية العميقة ناتجة حصرياً عن عدم توازن البيانات، وتُظهر بدلاً من ذلك أن هذا التشعب ينشأ كلياً من بنية الشبكة ويتناسب خطياً مع العمق.

Shenyang Deng, Boyao Liao, Zhuoli Ouyang, Tianyu Pang, Yaoqing Yang2026-05-20

🔬 materials science

Learning ORDER-Aware Multimodal Representations for Composite Materials Design

تقدم هذه الورقة البحثية إطار العمل ORDER، وهو إطار للتدريب المسبق متعدد الوسائط يستفيد من الترتيب لنمذجة فضاءات التصميم المستمرة للمواد المركبة بفعالية في ظل ندرة البيانات، متفوقاً بذلك على الأساليب الحالية في مهام التنبؤ بالخصائص، والاسترجاع، وتوليد البنية المجهرية.

Xinyao Li, Hangwei Qian, Jingjing Li, Lei Zhu, Ivor Tsang2026-05-20

🤖 machine learning

Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL

تقدم الورقة البحثية إطار العمل PULSE، وهو إطار عمل فعال في الاتصالات للتدريب اللاحق لتعلم التعزيز الموزع للنماذج اللغوية الكبيرة، والذي يستغل ملاحظة أن 99% من تحديثات الأوزان غير مرئية في دقة BF16 لتحقيق تقليل في عرض نطاق التزامن بنسبة تزيد عن 100 ضعف مع الحفاظ على أداء مطابق أو متطابق تماماً.

Erfan Miahi, Eugene Belilovsky2026-05-20

🔬 physics

WIND: Weather Inverse Diffusion for Zero-Shot Atmospheric Modeling

تقدم الورقة البحثية نموذج WIND، وهو نموذج أساسي جوي يعمل بتقنية "التعلم الصفري" (zero-shot) يستفيد من انتشار الفيديو ذاتي الإشراف لتعلم نموذج مسبق غير مرتبط بمهمة محددة، مما يمكّنه من حل مشكلات متنوعة في الطقس والمناخ — بما في ذلك التنبؤ، وتصغير النطاق، وإعادة البناء — من خلال أخذ عينات المسائل العكسية دون الحاجة إلى أي ضبط دقيق خاص بمهمة معينة.

Michael Aich, Andreas Fürst, Florian Sestak, Carlos Ruiz-Gonzalez, Niklas Boers, Johannes Brandstetter2026-05-20

🤖 machine learning

Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design

تحلل هذه الورقة البحثية بشكل منهجي حيز تصميم التعلم التعزيزي لنماذج الانتشار، وتثبت أن استخدام مُقدِّر احتمالية قائم على الحد الأدنى للاحتمال (ELBO) يتم حسابه من العينة النهائية المولدة هو العامل الحاسم الذي يُمكِّن من التحسين الفعال والمستقر، متفوقاً بشكل كبير على الطرق الحالية في كل من معايير السرعة والمكافأة.

Jaemoo Choi, Yuchen Zhu, Wei Guo, Petr Molodyk, Bo Yuan, Jinbin Bai, Yi Xin, Molei Tao, Yongxin Chen2026-05-20

→ السابق التالي ←