cs.LG ورقة بحثية

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities

تثبت هذه الورقة التقارب العالمي لعملية الانحدار الاشتقاقي في الزمن المستمر للشبكات العصبية الضحلة والواسعة ذات اللاخطيات المحدودة وأوزان المخرجات المتجهة، وذلك من خلال إثبات أن جميع القيم الصغرى غير العالمية هي قيم غير مستقرة، مما يوسع النتائج السابقة المتعلقة بشبكات (ReLU) وشبكات (sigmoid) ذات المخرجات القياسية لتشمل طبقات الانتباه متعدد الرؤوس.

Romain Petit, Clarice Poon, Gabriel Peyré2026-05-12

🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

تقدم هذه الورقة البحثية DLR-Lock، وهي آلية دفاعية تحمي النماذج اللغوية ذات الأوزان المفتوحة من الضبط الدقيق غير المصرح به عن طريق استبدال طبقات MLP القياسية بشبكات متبقية منخفضة الرتبة وعميقة تستغل عدم التماثل بين الاستدلال والتدريب لخلق عوائق ذاكرة وتحسين باهظة للمهاجمين التكيفيين مع الحفاظ على أداء النموذج.

Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi2026-05-12

🤖 machine learning

Elucidating Representation Degradation Problem in Diffusion Model Training

تحدد هذه الورقة "تدهور التمثيل" كعائق تدريب رئيسي في نماذج الانتشار ناتج عن عدم التوافق في قابلية الاسترداد المستهدفة، وتقترح "انتشار التمثيل الموضح" (ERD)، وهو إطار عمل جاهز للاستخدام يعمل على إعادة تخصيص جهد التحسين ديناميكيًا لاستقرار التعلم وتسريع التقارب.

Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu2026-05-12

🔢 mathematics

Fixed-Point Neural Optimal Transport without Implicit Differentiation

تقدم هذه الورقة إطار عمل مستقر لنقل الأمثلية يعتمد على شبكة واحدة، يعيد صياغة ثنائية كانتوروفيتش كمسألة نقطة ثابتة تقريبية، مما يتيح تدريباً فعالاً دون تحسين تنافري أو تمايز ضمني، مع استعادة دقيقة لخرائط النقل عبر مهام متنوعة عالية الأبعاد.

Yesom Park, Eric Gelphman, Stanley Osher, Samy Wu Fung2026-05-12

📊 statistics

Factual recall in linear associative memories: sharp asymptotics and mechanistic insights

تستخدم هذه الورقة الفيزياء الإحصائية لتوصيف السعة التخزينية للذاكرات الترابطية الخطية بدقة، مبرهنةً أن نموذجاً مفكك الارتباط مكافئاً للنظام الأصلي يمكنه تخزين ما يصل إلى $p_c \log p_c / d^2 = 1/2$ من الارتباطات، وكاشفةً أن الحلول المثلى تحقق ذلك عبر رفع الدرجات الصحيحة فوق عتبة القيم القصوى للمخرجات المنافسة مباشرةً بدلاً من تعزيز المحاذات بشكل واسع.

Alessio Giorlandino, Sebastian Goldt, Antoine Maillard2026-05-12

🤖 machine learning

Muown: Row-Norm Control for Muon Optimization

تقدم الورقة البحثية Muown، وهو مُحسِّن جاهز للاستخدام (drop-in optimizer) يتحكم صراحةً في متجهات مقدار الصف (row-magnitude vectors) لمنع انحراف المعيار الطيفي (spectral norm drift) في Muon، مما يؤدي إلى تحسين استقرار التدريب، وتقليل الحساسية تجاه اضمحلال الوزن (weight decay)، وتحقيق إدراك (perplexity) فائق عبر مختلف أحجام النماذج.

Kai Lion, Florian Hübler, Bingcong Li, Antonio Orvieto, Niao He2026-05-12

🤖 AI

PhyGround: Benchmarking Physical Reasoning in Generative World Models

تقدم الورقة البحثية PhyGround، وهو معيار مرجعي شامل يتميز بـ 250 مطالبة منسقة، وتصنيف مكون من 13 قانوناً، وحكم متخصص في النماذج اللغوية البصرية (PhyJudge-9B) لتقييم وتشخيص قدرات الاستدلال الفيزيائي لنماذج الفيديو التوليدية بصرامة من خلال تعليق بشري واسع النطاق ومحكم الجودة.

Juyi Lin, Arash Akbari, Yumei He, Lin Zhao, Haichao Zhang, Arman Akbari, Xingchen Xu, Zoe Y. Lu, Enfu Nan, Hokin Deng, E (…)2026-05-12

🤖 machine learning

Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

تقدم هذه الورقة معياراً للتعلم الذاتي الذاتي يُقيّم ما إذا كانت التوقعات التي تولدها النماذج لتكملات النصوص الرياضية تُحسّن درجات الاحتمالية مقارنة بضوابط السياق فقط، مما يميز بفعالية بين قدرات النموذج وجهود الاستدلال مع تحديد نقاط الضعف المحتملة في آليات الاختصار في التقييم.

Daniel Ranard2026-05-12

🤖 machine learning

Policy Gradient Methods for Non-Markovian Reinforcement Learning

تقدم هذه الورقة إطار عمل يرتكز على المكافأة للتعلم المعزز غير الماركوفي يعمل على تحسين ديناميكيات حالة الوكيل وسياسات التحكم بشكل مشترك، مما يؤسس لنظرية تدرج سياسة جديدة وخوارزمية ASMPG مع ضمانات تقارب نظرية وأداء تجريبي متفوق على النماذج التنبؤية المرجعية.

Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos2026-05-12

🧬 biology

On periodic distributed representations using Fourier embeddings

تقترح هذه الورقة استخدام تضمينات دورية ذات قيم حقيقية وعالية الأبعاد للتغلب على قيود المقاييس الزاوية القياسية في تمثيل الإشارات الدورية، وتوضح تحديداً كيفية بناء نوى ديريكليه ونوى غاوس الدورية ضمن إطار عمل المؤشرات الدلالية المكانية.

Jakeb Chouinard2026-05-12

→ السابق التالي ←