cs.LG ورقة بحثية

Efficient and Minimax Optimal In-context Nonparametric Regression with Transformers

تُثبت هذه الورقة أن نموذج "ترانسفورمر" مُدرب مسبقاً بمعلمات لوغاريتمية وعدد أقل بكثير من تسلسلات ما قبل التدريب يمكنه تحقيق معدلات تقارب مثالية (minimax optimal) للانحدار غير المعلمي داخل السياق، وذلك من خلال التقريب الفعال لمقدرات متعدد الحدود المحلية عبر قواعد متعددة الحدود مرجحة بنواة وعملية الانحدار الاشتقاقي.

Michelle Ching, Ioana Popescu, Nico Smith, Tianyi Ma, William G. Underwood, Richard J. Samworth2026-05-20

🤖 machine learning

Feature-Space Smoothing: Certified Robustness of Deep Representations

تقترح هذه الورقة البحثية تنعيم فضاء الميزات (FS)، وهو إطار عمل للمتانة المعتمدة يقوم بتحويل مشفرات الميزات إلى نسخ منعمّة ذات حدود تشابه جيب التمام مضمونة تحت تأثير الاضطرابات، معززة بـ "معزز التنعيم الغاوسي" (GSB) القابل للتركيب والتشغيل لتحسين المتانة في نماذج مثل النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) دون الحاجة إلى إعادة التدريب.

Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang2026-05-20

🤖 machine learning

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

تقترح هذه الورقة البحثية طريقة "التعزيز بالتحويل لـ GRPO" (TA-GRPO)، وهي وسيلة تخفف من تلاشي التدرج وانهيار التنوع في استنتاج النماذج اللغوية الكبيرة عبر توليد إعادة صياغات للأسئلة مكافئة للمسائل الأصلية لإنشاء مكافآت مختلطة ومسارات استنتاج متنوعة، مما يؤدي إلى تحسين الأداء بشكل كبير في الاختبارات المرجعية الرياضية والعلمية المعقدة.

Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla2026-05-20

🤖 machine learning

Depth, Not Data: An Analysis of Hessian Spectral Bifurcation

تتحدى هذه الورقة الرؤية السائدة بأن بنية "الكتلة والنتوء" (bulk-and-spike) الطيفية لمصفوفة هسيان في الشبكات العصبية العميقة ناتجة حصرياً عن عدم توازن البيانات، وتُظهر بدلاً من ذلك أن هذا التشعب ينشأ كلياً من بنية الشبكة ويتناسب خطياً مع العمق.

Shenyang Deng, Boyao Liao, Zhuoli Ouyang, Tianyu Pang, Yaoqing Yang2026-05-20

🔬 materials science

Learning ORDER-Aware Multimodal Representations for Composite Materials Design

تقدم هذه الورقة البحثية إطار العمل ORDER، وهو إطار للتدريب المسبق متعدد الوسائط يستفيد من الترتيب لنمذجة فضاءات التصميم المستمرة للمواد المركبة بفعالية في ظل ندرة البيانات، متفوقاً بذلك على الأساليب الحالية في مهام التنبؤ بالخصائص، والاسترجاع، وتوليد البنية المجهرية.

Xinyao Li, Hangwei Qian, Jingjing Li, Lei Zhu, Ivor Tsang2026-05-20

🤖 machine learning

Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL

تقدم الورقة البحثية إطار العمل PULSE، وهو إطار عمل فعال في الاتصالات للتدريب اللاحق لتعلم التعزيز الموزع للنماذج اللغوية الكبيرة، والذي يستغل ملاحظة أن 99% من تحديثات الأوزان غير مرئية في دقة BF16 لتحقيق تقليل في عرض نطاق التزامن بنسبة تزيد عن 100 ضعف مع الحفاظ على أداء مطابق أو متطابق تماماً.

Erfan Miahi, Eugene Belilovsky2026-05-20

🔬 physics

WIND: Weather Inverse Diffusion for Zero-Shot Atmospheric Modeling

تقدم الورقة البحثية نموذج WIND، وهو نموذج أساسي جوي يعمل بتقنية "التعلم الصفري" (zero-shot) يستفيد من انتشار الفيديو ذاتي الإشراف لتعلم نموذج مسبق غير مرتبط بمهمة محددة، مما يمكّنه من حل مشكلات متنوعة في الطقس والمناخ — بما في ذلك التنبؤ، وتصغير النطاق، وإعادة البناء — من خلال أخذ عينات المسائل العكسية دون الحاجة إلى أي ضبط دقيق خاص بمهمة معينة.

Michael Aich, Andreas Fürst, Florian Sestak, Carlos Ruiz-Gonzalez, Niklas Boers, Johannes Brandstetter2026-05-20

🤖 machine learning

Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design

تحلل هذه الورقة البحثية بشكل منهجي حيز تصميم التعلم التعزيزي لنماذج الانتشار، وتثبت أن استخدام مُقدِّر احتمالية قائم على الحد الأدنى للاحتمال (ELBO) يتم حسابه من العينة النهائية المولدة هو العامل الحاسم الذي يُمكِّن من التحسين الفعال والمستقر، متفوقاً بشكل كبير على الطرق الحالية في كل من معايير السرعة والمكافأة.

Jaemoo Choi, Yuchen Zhu, Wei Guo, Petr Molodyk, Bo Yuan, Jinbin Bai, Yi Xin, Molei Tao, Yongxin Chen2026-05-20

💬 NLP

Diffusion-State Policy Optimization for Masked Diffusion Language Models

تقترح الورقة البحثية "تحسين سياسة حالة الانتشار" (DiSPO)، وهي طريقة إضافية تعزز نماذج اللغة الانتشارية المقنعة من خلال تحسين قرارات ملء الرموز الوسيطة مباشرة عبر آلية تفرع وتقييم، مما يؤدي إلى تحسين الأداء في المهام المعقدة مثل الرياضيات والتخطيط دون الحاجة إلى حوسبة إضافية أو خطوات محسّن.

Daisuke Oba, Hiroki Furuta, Naoaki Okazaki2026-05-20

🧬 biology

How does longer temporal context enhance multimodal narrative video processing in the brain?

تُظهر هذه الدراسة أن زيادة السياق الزمني لمقاطع الفيديو تعزز بشكل كبير من التوافق بين الدماغ والنماذج للنماذج اللغوية الكبيرة متعددة الوسائط (ولكن ليس لنماذج الفيديو أحادية الوسائط)، مما يكشف عن تطابق هرمي بين المقاييس الزمنية للتكامل العصبي الأطول في مناطق الدماغ العليا والطبقات العميقة للنماذج اللغوية الكبيرة متعددة الوسائط أثناء فهم السرد.

Prachi Jindal, Anant Khandelwal, Manish Gupta, Bapi S. Raju, Subba Reddy Oota, Tanmoy Chakraborty2026-05-20

→ السابق التالي ←