🤖 Category

cs.LG

24017 ورقة بحثية

🤖 machine learning

UFO: A Unified Flow-Oriented Framework for Robust Continual Graph Learning

تقترح هذه الورقة إطار عمل UFO، وهو إطار عمل موحد موجه نحو التدفق يعالج التحديات المزدوجة المتمثلة في النسيان الكارثي والإشراف الضوضائي في التعلم المستمر للرسوم البيانية، وذلك من خلال توظيف النمذجة التوليدية القائمة على التدفق لإعادة التشغيل واستخدام تسجيل الموثوقية على مستوى العينة للتخفيف من المعرفة الفاسدة.

Danhui Zhang, Zhe Wang, Qing Qing, Jiarui Liu, Wentao Gao, Ziqi Xu, Mingliang Hou, Xikun Zhang, Renqiang Luo2026-05-12
🤖 machine learning

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

تُثبت هذه الورقة أن تزويد نماذج المحولات (transformers) برموز سياقية كامنة مستمرة يُمكّنها من تنفيذ خوارزميات التعلم عبر الإنترنت بكفاءة، مثل "الأغلبية الموزونة" (weighted majority) و"تعلم كيو" (Q-learning)، مما يسمح للنماذج الصغيرة بالتفوق بشكل ملحوظ على النماذج اللغوية الكبيرة (LLMs) في المهام التكيفية طويلة الأمد.

Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia2026-05-12
🤖 machine learning

Key-Value Means

تقدم الورقة البحثية "أوساط المفتاح والقيمة" (Key-Value Means - KVM)، وهي آلية تكرار كتلية (block-recurrence) مبتكرة لآلية الانتباه توحد فوائد نماذج المحولات (Transformers) والشبكات العصبية المتكررة الخطية (linear RNNs) من خلال تمكين تدريب فعال قابل للتوازي عبر الكتل مع نمو مرن للحالة ووقت استباقي (prefill time) دون تربيعي، وكل ذلك باستخدام عمليات قياسية وبأقل قدر من المعلمات الإضافية.

Daniel Goldstein, Eugene Cheah2026-05-12✓ Author reviewed ⓘ
⚛️ high-energy experiments

Dissecting Jet-Tagger Through Mechanistic Interpretability

تطبق هذه الورقة تقنيات التفسير الآلي على نموذج "بارتيكل ترانسفورمر" (Particle Transformer) لتصنيف الكوارك العلوي، كاشفةً أن دائرة مكونة من ست رؤوس متفرقة تحاكي بفعالية أداء النموذج الكامل عبر استخدام تمثيل قائم على مسبب الارتباط الطاقي لتحديد البنية الفرعية ثنائية الرؤوس، مما يثبت أن الانحدار الاشتقاقي يمكنه إعادة اكتشاف سمات ذات معنى فيزيائي في فيزياء النفاثات دون إشراف.

Saurabh Rai, Sanmay Ganguly2026-05-12
🤖 machine learning

The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

تُثبت هذه الورقة أن قوانين القياس للمشفرات التلقائية المتناثرة عبر طبقات الشبكة العصبية ليست عالمية، بل يتم تحديدها بدلاً من ذلك من خلال البنية الهندسية الكامنة لمنطوِق التنشيط، وتحديداً انحنائه وأبعاده الجوهرية، والتي تملي بشكل يمكن التنبؤ به مستويات خطأ إعادة البناء وأُسس العرض بطريقة قابلة للنقل عبر النماذج المختلفة.

Eslam Zaher, Maciej Trzaskowski, Quan Nguyen, Fred Roosta2026-05-12
🔢 mathematics

The Observable Wasserstein Distance

تقدم هذه الورقة "مسافة واسرستاين الملحوظة"، وهي إطار عمل فعال حاسوبياً يستمد حدوداً دنيا لمسافة واسرستاين عن طريق إسقاط مقاييس الاحتمال على الخط الحقيقي عبر ملاحظات لبتشيتز-1، مما يؤسس تسلسلاً هرمياً نظرياً يضمن الاسترداد الفريد بناءً على بُعد تغطية المقياس لدعم المقياس.

Edivaldo Lopes dos Santos, Leandro Vicente Mauri, Washington Mio, Tom Needham2026-05-12
🤖 machine learning

NaiAD: Initiate Data-Driven Research for LLM Advertising

تقدم الورقة البحثية NaiAD، وهي أول مجموعة بيانات شاملة للإعلانات الأصلية في النماذج اللغوية الكبيرة (LLM-native advertising) تضم ما يقرب من 59,000 استجابة مدمجة بالإعلانات وخط إنتاج توليدي منفصل، مما يمكّن النماذج من تحسين تجربة المستخدم والإيرادات التجارية في آن واحد من خلال استراتيجيات دلالية متميزة وتعلم سياقي قابل للتحكم.

Yihang Zhang, Zimeng Huang, Ren Zhai, Yipeng Kang, Tonghan Wang2026-05-12
🤖 machine learning

Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

تقدم هذه الورقة VIGOR، وهو أسلوب تعلّم تعزيزي خالٍ من المُحقِّق (verifier-free) يستفيد من مكافآت معيار التدرج الجوهري المستمدة من نموذج السياسة نفسه لتحسين أداء النماذج اللغوية الكبيرة في الاستدلال الرياضي وتوليد الكود بشكل فعال دون الاعتماد على مُحقِّقات خارجية أو تسميات ذهبية.

Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang2026-05-12
🤖 machine learning

Novel GPU Boruta algorithms for feature selection from high-dimensional data

تقترح هذه الورقة نسختين من خوارزمية "بوروتا" (Boruta) لاختيار الميزات مع تسريع عبر وحدة معالجة الرسومات، مما يثبت أنها تحسن كفاءة الحوسبة بشكل كبير لمجموعات البيانات الضخمة مع الحفاظ على دقة مماثلة للطريقة الأصلية القائمة على وحدة المعالجة المركزية، رغم أن النسخة القائمة على الشوائب قد تبالغ في تقدير أهمية بعض الميزات.

Xurui Li, Zhiguo Gan, Jiaming Zhang, Zheng Liu, Diannan Lu2026-05-12
🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

إن G-Zero هو إطار عمل تطوري مشترك وخالٍ من المتحقق (verifier-free)، يتيح التحسين الذاتي مفتوح النهاية للنماذج اللغوية الكبيرة عبر استخدام مكافأة "تلميح-δ\delta" (Hint-δ\delta) جوهرية لتدريب نموذج "المقترح" (Proposer) على توليد استعلامات وتلميحات تحدّية، والتي يتعلم منها نموذج "المولد" (Generator) عبر خوارزمية التفضيل المباشر (DPO)، مما يتجاوز قيود الحكام الخارجيين.

Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin (…)2026-05-12