cs.LG ورقة بحثية

Native Hierarchical and Compositional Representations with Subspace Embeddings

تقترح هذه الورقة نهجاً جديداً لتعلم التمثيل يستبدل التضمينات المتجهية التقليدية بفضاءات فرعية خطية قابلة للتفاضل، مما يتيح النمذجة الأصلية للتسلسلات الهرمية، والتركيبية، والاستلزام المنطقي من خلال الاحتواء الهندسي والعمليات الجبرية الخطية مع الحفاظ على التوافق مع البحث المتجهي الفعال.

Gabriel Moreira, Zita Marinho, Manuel Marques, João Paulo Costeira, Chenyan Xiong2026-06-01

🤖 machine learning

Beyond Tokens: Enhancing RTL Quality Estimation via Structural Graph Learning

تقدم هذه الورقة البحثية StructRTL، وهو إطار عمل جديد للتعلم ذاتي الإشراف المعتمد على الرسوم البيانية والمدرك للبنية، والذي يستفيد من رسوم تدفق بيانات التحكم والتقطير المعرفي من قوائم الشبكات (netlists) ما بعد التعيين (post-mapping) ليتفوق بشكل كبير على الأساليب الحالية القائمة على النماذج اللغوية الكبيرة (LLM) في تقدير مقاييس جودة تصميم RTL مثل المساحة والتأخير.

Yi Liu, Hongji Zhang, Yiwen Wang, Dimitris Tsaras, Lei Chen, Mingxuan Yuan, Qiang Xu2026-06-01

🤖 machine learning

HUNT: High-Speed UAV Navigation and Tracking in Unstructured Environments via Instantaneous Relative Frames

تقدم الورقة البحثية HUNT، وهو إطار عمل يعمل في الوقت الفعلي يُمكّن الطائرات بدون طيار عالية السرعة من التنقل ذاتياً في البيئات غير المهيكلة والانتقال بسلاسة إلى تتبع الأهداف باستخدام الملاحظات اللحظية الموجودة على متنها فقط، مما يلغي الحاجة إلى التحديد العالمي للموقع.

Alessandro Saviolo, Jeffrey Mao, Giuseppe Loianno2026-06-01

🤖 AI

Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning

تحدد هذه الورقة الانهيار الطيفي لهيسيان (Hessian spectral collapse) كسبب جذري لفقدان اللدونة في التعلم المستمر العميق، وتستنتج شروطاً نظرية تربط ديناميكيات نيت (NTK dynamics) بانحناء هيسيان، وتقترح مزيجاً من الحفاظ الفعال على رتبة الميزات وتنظيم L2 للحفاظ بنجاح على اللدونة عبر المهام.

Arjun Prakash, Naicheng He, Kaicheng Guo, Saket Tiwari, Ruo Yu Tao, Tyrone Serapio, Amy Greenwald, George Konidaris2026-06-01

🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

تقدم هذه الورقة البحثية ZO-Finetuner، وهو مُحسِّن قائم على التعلم من الرتبة الصفرية (zeroth-order optimizer) يتعلم تلقائياً استراتيجيات اضطراب فعالة من خلال تصميم موفر للذاكرة، مما يتيح التدريب لمرة واحدة لكل نموذج وأداءً فائقاً عبر مهام متنوعة في مرحلة ما بعد التنزيل مقارنة بالأساليب الثابتة الحالية من الرتبة الصفرية.

Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang2026-06-01

💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

تجادل هذه الورقة بأن التفسير الآلي هو في جوهره مشكلة تقدير إحصائي تعاني من تباين ذاتي مرتفع في درجات الوساطة السببية، مما يتسبب في جعل مسارات اكتشاف الدوائر تنتج نتائج غير مستقرة وهشة تستوجب التحول نحو الصرامة في المتانة الإحصائية والإبلاغ عن الاستقرار.

Maxime Méloux, François Portet, Maxime Peyrard2026-06-01

🤖 machine learning

Re-examining Low Rank adaptation for private LLM fine-tuning

تجادل هذه الورقة بأن الضجيج متماثل المناحي في خوارزمية الانحدار الاشتقاقي العشوائي (SGD) المعتمدة على الخصوصية التفاضلية يعطل البنية الطبيعية منخفضة الرتبة لتدرجات النماذج اللغوية الكبيرة، وتقترح استعادة ملف القيم المفردة الأصلي لتحسين كفاءة العينات بشكل كبير دون المساس بضمانات الخصوصية.

Ali Dadsetan, Frank Rudzicz2026-06-01

📊 statistics

Reinforced sequential Monte Carlo for amortised sampling

تقدم هذه الورقة البحثية "مونت كارلو المتسلسل المعزز" (Reinforced Sequential Monte Carlo)، وهو إطار عمل مبتكر يدمج بين أخذ العينات العصبية المستهلكة المدربة عبر تعلم التعزيز بحد الأقصى للإنتروبيا مع طرق مونت كارلو المتسلسلة لتحقيق تدريب مستقر خارج السياسة وتحسين دقة أخذ العينات للتوزيعات غير المعيرة عبر كل من الأهداف الاصطناعية والجزيئية.

Sanghyeok Choi, Sarthak Mittal, Víctor Elvira, Jinkyoo Park, Esmeralda S. Whitammer2026-06-01

📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

تقدم هذه الورقة البحثية NAMEx، وهو إطار عمل مبتكر لدمج الخبراء في نماذج خليط الخبراء المتفرقة (Sparse Mixture of Experts)، والذي يستفيد من تفاوض ناش (Nash Bargaining) والزخم المعقد لتحقيق تعاون متوازن وتسارع في التقارب، مبرهناً على أداء فائق عبر مختلف المهام والنماذج واسعة النطاق.

Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan (…)2026-06-01

🤖 machine learning

Go-UT-Bench: A Fine-Tuning Dataset for LLM-Based Unit Test Generation in Go

لمعالجة عدم توازن بيانات التدريب الذي يعيق النماذج اللغوية الكبيرة عن توليد اختبارات الوحدة للغة Go بفعالية، قدم المؤلفون Go-UT-Bench، وهو مجموعة بيانات لضبط النموذج بدقة تتكون من 5,264 زوجًا من الكود والاختبار، مما يحسن أداء النموذج بشكل كبير عبر مختلف بنيات النماذج اللغوية الكبيرة.

Yashshi Pipalani, Hritik Raj, Rajat Ghosh, Vaishnavi Bhargava, Debojyoti Dutta2026-06-01

→ السابق التالي ←