cs.LG ورقة بحثية

GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization

تقترح هذه الورقة استخدام النماذج اللغوية كبدائل انتقائية معززة بالتعلم التعزيزي للتنبؤ بأداء نوى وحدات معالجة الرسومات (GPU kernels)، مما يقلل من عمليات التقييم المكلفة على الأجهزة ويُمكّن من اكتشاف نوى أسرع ضمن ميزانيات قياس محدودة.

Zaid Khan, Justin Chih-Yao Chen, Jaemin Cho, Elias Stengel-Eskin, Mohit Bansal2026-06-01

🤖 machine learning

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

تقدم هذه الورقة البحثية طريقة "BaLoRA" (التكيف منخفض الرتبة المتوازن)، وهي طريقة تقوم بإسقاط تكرارات التكيف منخفض الرتبة على متشعب متوازن للقضاء على عدم ثبات المعلمات، مما يؤدي إلى تحسين تكييف مشهد الخسارة وتسريع التقارب مع الحفاظ على الأداء.

Valérie Castin, Kimia Nadjahi, Pierre Ablin, Gabriel Peyré2026-06-01

💬 NLP

Consolidating Rewarded Perturbations for LLM Post-Training

تقدم هذه الورقة CoRP، وهي طريقة ما بعد التدريب خالية من التدرج تعمل على دمج الاضطرابات الغاوسية الموزونة بالمكافأة في تحديث واحد للنموذج عبر استغلال البنية منخفضة الرتبة، مما يحقق مكاسب كبيرة في الأداء مقارنة بالنموذج الأساسي مع القضاء على عبء الاستدلال متعدد الممرات الذي تفرضه النهج القائمة على المجموعات مثل RandOpt.

Zheyu Zhang, Shuo Yang, Gjergji Kasneci2026-06-01

📊 statistics

Assign and Add: A Mechanistic Study of Compositional Arithmetic

تستقصي هذه الورقة البحثية كيف تحقق نماذج "ترانسفورمر" الصغيرة التعميم التركيبي في بيئة مضبوطة من تعيين المتغيرات والجمع النمطي، مما يكشف أن النماذج تعيد استخدام الآليات الداخلية لكل من المدخلات المباشرة وغير المباشرة وتتقدم عبر مراحل تعلم متميزة للتعميم بشكل طبيعي على التوليفات غير المرئية.

Brady Exoo, Alberto Bietti, John Sous2026-06-01

🧬 biology

Scalable Inference-Time Annealing with Surrogate Likelihood Estimators

تقدم هذه الورقة البحثية طريقة التلدين القابل للتوسع عند الاستدلال (SITA)، التي تتغلب على عدم القدرة الحسابية لتقنيات التلدين الحالية عند الاستدلال للأنظمة الجزيئية الكبيرة من خلال استخدام النماذج القائمة على الطاقة لتوفير احتمالات بديلة سريعة، مما يحقق أداء أخذ عينات رائد في مجال الببتيدات دون حسابات تباعد مكلفة.

Daniel Peñaherrera, Rishal Aggarwal, David Ryan Koes2026-06-01

🤖 machine learning

On Efficient Scaling of GNNs via IO-Aware Layers Implementations

تتناول هذه الورقة البحثية اختناقات الوصول إلى الذاكرة في الشبكات العصبية الرسومية (Graph Neural Networks) من خلال اقتراح تنفيذات لنواة وحدة معالجة الرسومات (GPU kernel) مدركة لعمليات الإدخال والإخراج لثلاث عائلات رئيسية من الطبقات — وهي SpMM، والتقليص (reduction)، والانتباه (attention) — والتي تحقق تسريعاً كبيراً وتقليلاً في استهلاك الذاكرة عبر هياكل رسومية متنوعة مقارنة بالأطر البرمجية الحالية.

Daria Fomina, Daniil Krasylnikov, Alexey Boykov, Andrey Dolgovyazov, Vyacheslav Zhdanovskiy, Fedor Velikonivtsev2026-06-01

🤖 machine learning

How can embedding models bind concepts?

تتقصى هذه الورقة البحثية سبب تعثر نماذج الرؤية واللغة مثل CLIP في عملية ربط المفاهيم رغم احتوائها على معلومات كائنية قابلة للاسترداد، كاشفةً أن وظائف الربط عالية التعقيد لديها تعيق التعميم، بينما تتعلم نماذج المحولات (transformer) المنضبطة المدربة ببيانات كافية تفاعلات ضربية منخفضة التعقيد تتيح ربطاً منهجياً.

Arnas Uselis, Darina Koishigarina, Seong Joon Oh2026-06-01

🤖 machine learning

On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders

تحدد هذه الورقة البحثية القيم المتطرفة في التنشيط على مستوى الأبعاد باعتبارها السبب الرئيسي لموت الميزات في المشفّرات التلقائية المتناثرة، حيث تُظهر أن شدة القيم المتطرفة العالية تزيح القيم قبل التنشيط إلى قيم سالبة دائمة، وتقترح عملية توسيط المتوسط كحل فعال للقضاء على هذه المشكلة عبر نماذج متنوعة.

Elana Simon, Etowah Adams, James Zou2026-06-01

🧬 biology

Chem-PerturBridge: a harmonized compendium of small molecule perturbation transcriptomic effects

تقدم هذه الورقة Chem-PerturBridge، وهو مستودع متناغم يضم أكثر من 1.25 مليون عينة ترانسكريبتومية عبر 37,000 مركّب و136 سياقاً خلوياً، مما يتيح تحليلاً صارماً لاتفاق البيانات عبر المجموعات ويحسن نماذج تعلم تمثيل المركبات بشكل كبير مقارنة بالنماذج المرجعية الحالية.

Artur Szałata, Olga Novitskaia, Maiia Shulman, Matthew Mella, Altynbek Zhubanchaliyev, Fabian J. Theis2026-06-01

🤖 machine learning

Value Functions as Supermartingale Certificates

تؤسس هذه الورقة صلة نظرية تُظهر أن دوال القيمة للسياسات التي تستوفي خصائص $\omega$ -regular تشفر شهادات ستريت (Streett) من نوع "سوبر مارتينجال" (supermartingale)، مما يجسر الفجوة بين التحقق الصوري والتعلم التعزيزي لتمكين التخليق المنهجي للشهادات عبر فضاءات الحالات المتناهية، واللانهائية كعدّية، والمتصلة.

Alessandro Abate, Daniel Contro, Mirco Giacobbe, Agustín Martínez-Suñé, Diptarko Roy2026-06-01

→ السابق التالي ←