🤖 Category

cs.LG

24017 ورقة بحثية

🤖 machine learning

Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo

تقترح هذه الورقة البحثية خوارزمية "الاضمحلال ذو البوابة الجيبية" (Cosine-Gated Adam-Decay - CGAD)، وهي مُحسِّن خارجي جاهز للاستخدام وواعٍ بالعمر لآلية "دي لوكو" (DiLoCo) غير المتزامنة، يقوم بتوسيع التدرجات الزائفة باستخدام دالة اضمحلال وقطع جيب تمام للتخفيف من حدة تقادم البيانات، مما يوفر استقرارًا محسّنًا وحدًا نظريًا للتقارب مستقلاً عن التأخير الأقصى مقارنة بالنماذج المرجعية القياسية القائمة على "نيستروف" و"آدم" عبر مختلف أحجام نماذج "لاما" (Llama).

Vatsal Shah, Jiahao Sun2026-05-12
🤖 machine learning

AlphaExploitem: Going Beyond the Nash Equilibrium in Poker by Learning to Exploit Suboptimal Play

تقدم الورقة البحثية AlphaExploitem، وهو وكيل تعلم تعزيزي قائم على المحولات الهرمية يوسع نطاق AlphaHoldem لاستغلال الخصوم غير المثاليين بفعالية في لعبة البوكر من خلال الاستفادة من بيانات تاريخ اليد وتنوع خصوم التدريب، مع الحفاظ على الأداء القوي ضد استراتيجيات توازن ناش.

Vlad Murgoci, Matthijs Spaan, Yaniv Oren2026-05-12
🤖 machine learning

Revisiting Mixture Policies in Entropy-Regularized Actor-Critic

تقترح هذه الورقة مُقدِّر إعادة المعلمة الهامشية (MRP) للتغلب على التباين العالي لطرق نسبة الاحتمال القياسية في سياسات المزيج، مما يثبت أن هذا النهج يمكّن سياسات المزيج من مضاهاة أو تجاوز أداء السياسات الغاوسية في مهام التعلم التعزيزي للفعل المستمر.

Jiamin He, Samuel Neumann, Jincheng Mei, Adam White, Martha White2026-05-12
🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

تُظهر الورقة البحثية أن الجمع بين بنيات "خليط الخبراء" (MoE) وآليات تكرار الطبقات والخروج المبكر يُمكّن النماذج اللغوية من التفوق على نماذج "ترانسفورمر" القياسية في كفاءة التوسع مع تقليل تكاليف الذاكرة والاستدلال بشكل كبير.

Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May2026-05-12
🤖 AI

WorldSpeech: A Multilingual Speech Corpus from Around the World

تقدم الورقة البحثية WorldSpeech، وهو متن لغوي ضخم متعدد اللغات يحتوي على 65,000 ساعة من البيانات الصوتية والنصية المتوافقة عبر 76 لغة، مما يحسن بشكل كبير أداء التعرف التلقائي على الكلام للغات ذات الموارد المنخفضة من خلال تقليل معدلات خطأ الكلمات بمتوسط قدره 63.5%.

Antonis Asonitis, Luca A. Lanzendörfer, Frédéric Berdoz, Roger Wattenhofer2026-05-12
🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

تقدم الورقة البحثية CIVeX، وهو مُتحقق من التدخل السببي يضمن الاستخدام الموثوق للأدوات في الوكلاء اللغويين عبر رسم خرائط للإجراءات المقترحة إلى استعلامات سببية هيكلية لضمان آثار سببية قابلة للتحديد، مما يمنع التنفيذات الخاطئة في تدفقات العمل المختلطة حيث تفشل ضمانات التحقق القياسية.

Fabio Rovai2026-05-12
🤖 machine learning

Prediction Bottlenecks Don't Discover Causal Structure (But Here's What They Actually Do)

تقدم هذه الورقة معياراً موحداً للتفنيد لإثبات أن الادعاء القائل بأن اختناقات التنبؤ تكتشف البنية السببية هو ادعاء باطل، كاشفةً بدلاً من ذلك أن المزايا الملحوظة هي في الغالب عوامل مربكة متعلقة بحجم العينة أو تأثيرات غير مرتبطة بمنهجية محددة تتفوق عليها الأساليب الكلاسيكية مثل سببية غرانجرر (Granger causality) ولاسو (Lasso).

Ankit Hemant Lade, Sai Krishna Jasti, Indar Kumar, Aman Chadha2026-05-12
🤖 machine learning

Navigating LLM Valley: From AdamW to Memory-Efficient and Matrix-Based Optimizers

تقدم هذه الدراسة مراجعة شاملة لخوارزميات التحسين للنماذج اللغوية الكبيرة، حيث تصنف الأساليب من النهج الكلاسيكية من الدرجة الأولى إلى المحسنات المتقدمة القائمة على المصفوفات مثل Muon، مع الدعوة إلى إجراء تقييم مرجعي صارم ومراعٍ للحجم يقيم بشكل مشترك التقارب، والاستقرار، وكفاءة الذاكرة، وتعقيد التنفيذ.

Aditya Ranganath2026-05-12
🤖 machine learning

Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift

تقدم هذه الورقة البحثية "SeqRejectron"، وهي خوارزمية للتعلم بالتقليد الانتقائي تتيح للوكلاء الامتناع بأمان عن التصرف في ظل تحولات ديناميكية تعسفية من خلال بناء قاعدة توقف خالية من الأفق مع ضمانات مثبتة لتعقيد العينات.

Surbhi Goel, Jonathan Pei, James Wang2026-05-12
🤖 AI

Emergent Semantic Role Understanding in Language Models

تُثبت هذه الورقة أن فهم الأدوار الدلالية يظهر جزئياً في نماذج المحولات المكونة من فك تشفير فقط (decoder-only transformers) والمجمدة أثناء مرحلة ما قبل التدريب، كما يتضح من خلال المسابير الخطية، رغم أن الأداء الكامل يتطلب الضبط الدقيق، كما يصبح التمثيل الداخلي لهذه الأدوار موزّعاً بشكل متزايد مع زيادة حجم النموذج.

Carla Griffiths, Mirco Musolesi2026-05-12