cs.LG

TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment

تقدم هذه الورقة البحثية "تحسين سياسة مطابقة المسار" (TMPO)، وهي طريقة محاذاة مبتكرة لنماذج الانتشار تستبدل تعظيم المكافأة القياسية بمطابقة التوزيع على مستوى المسار عبر هدف "توازن المسار بـ Softmax" و"أخذ عينات الشجرة العشوائية الديناميكية" للتخفيف بفعالية من اختراق المكافأة، مما يحقق توازناً أمثلاً بين التنوع التوليدي وأداء المهمة.

Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning

يقدم هذا البحث SoftBlobGIN، وهو إطار عمل خفيف الوزن وقابل للتوصيل والتشغيل يقوم بإسقاط تمثيلات نماذج لغة البروتين على الرسوم البيانية للاتصال لتعلم بنيات فرعية وظيفية قابلة للتفسير ومعتمدة على البنية، مما يحسن بشكل كبير الأداء في تصنيف الإنزيمات وكشف مواقع الارتباط مع توفير تفسيرات بيولوجية قابلة للتدقيق دون إعادة تدريب نموذج اللغة الأساسي.

AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines

تقدم هذه الورقة AESOP، وهو إطار عمل يستغل البنية الديناميكية لمسارات استنتاج التعلم العميق لإثقال موارد النظام عبر اختيار مسارات التنفيذ بشكل استراتيجي، محققاً تضخماً أكبر بكثير في الحوسبة وزمن الاستجابة مقارنة بهجمات النموذج الواحد، مما يجبر المدافعين على الاختيار بين انهيار الإنتاجية أو فقدان هائل للبيانات.

SURGE: Surrogate Gradient Adaptation in Binary Neural Networks

تقترح الورقة البحثية إطار عمل SURGE، وهو إطار عمل جديد لتعويض التدرج قابل للتعلم يتميز بمعوض تدرج ثنائي المسار ومقياس تدرج تكيفي، لمعالجة عدم تطابق التدرج وفقدان المعلومات في الشبكات العصبية الثنائية، وذلك من خلال فك الارتباط في تدفق التدرج عبر فروع مساعدة متوازية كاملة الدقة، مما يحقق أداءً هو الأفضل في فئته عبر مهام متنوعة.

Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures

تقدم هذه الورقة إطار عمل للتخصيص عند وقت الاختبار (Test-Time Personalization) يعمل على توسيع نطاق الاستدلال من خلال أخذ العينات واختيار المرشحين، ويشخص إخفاقات نموذج المكافأة القياسي عبر قانون قياس موحد يحدد الانهيار على مستوى المستخدم و"اختراق المكافأة" (reward hacking) على مستوى الاستعلام، ويقترح نموذج مكافأة شخصي احتمالي للتخفيف من هذه المشكلات بفعالية وتحقيق مكاسب أداء متسقة.

Finite Volume-Informed Neural Network Framework for 2D Shallow Water Equations: Rugged Loss Landscapes and the Importance of Data Guidance

تقدم هذه الورقة البحثية إطار عمل "Data-Guided FVM-PINN"، الذي يستبدل المتبقي القياسي للصيغة القوية بخسارة الحجم المحدود القابلة للتفاضل لمعالجة فشل التدريب القائم على الفيزياء فقط في معادلات المياه الضحلة، مما يثبت أن حتى البيانات الرصدية المتفرقة تعد بالغة الأهمية للتغلب على تضاريس الخسارة الوعرة ومنع انهيار الشبكة إلى حلول تافهة.

DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism

يُعد DisagMoE نظام تدريب مبتكر لنموذج "خليط الخبراء" (Mixture-of-Experts) يعمل على تعزيز الكفاءة في المجموعات الحاسوبية واسعة النطاق من خلال فصل طبقات الانتباه وطبقات التغذية الأمامية إلى مجموعات منفصلة من وحدات معالجة الرسومات باستخدام خط أنابيب متعدد المراحل، مما يضمن تداخلاً فعالاً بين عمليات الاتصال والحوسبة للتغلب على اختناقات اتصالات "الكل إلى الكل" (all-to-all) وتحقيق تسريع في التدريب يصل إلى 1.8 ضعفاً.

When and How to Canonize: A Generalization Perspective

تؤسس هذه الورقة إطاراً نظرياً يثبت أن أداء التعميم للنماذج المكنونة يعتمد بشكل حاسم على انتظام طريقة التكنين، مما يثبت أن تسلسل منحنى هيلبرت يوفر تعقيداً حدودياً وحدوداً فائقة مقارنة بالترتيب المعجمي الأسي، وبالتالي يقدم أول تبرير رسمي لنجاحه التجريبي في معالجة السحب النقطية.

ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network

تقترح الورقة البحثية طريقة ACSAC، وهي طريقة "ممثل-ناقد" (actor-critic) ذات حجم قطع تكيفي تستخدم شبكة "Q" قائمة على محول سببي (causal Transformer) لاختيار أحجام قطع الأفعال المثلى ديناميكيًا بناءً على العوائد المتوقعة المعتمدة على الحالة، وذلك للتغلب على قيود أحجام القطع الثابتة وتحقيق أداء رائد في مهام المناولة ذات الأفق الطويل والمكافآت الشحيحة.

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions