cs.LG ورقة بحثية

AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training

يقدم هذا البحث AdaptiveLoad، وهو إطار عمل للتحسين يتميز بموازنة أحمال ذات قيود مزدوجة ونواة CUDA مدمجة من نوع (LayerNorm-Modulate)، مما يعزز بشكل كبير كفاءة التدريب واستغلال وحدة معالجة الرسومات لنماذج محولات انتشار الفيديو واسعة النطاق من خلال معالجة عدم التوازن الحسابي الناتج عن أطوال التسلسل المتغيرة.

Yucheng Guo, Yongjian Guo, Zhong Guan, Haoran Sun, Wen Huang, Wanting Xu, Jing Long, Shuai Di, Junwu Xiong2026-05-19

🤖 machine learning

Transfer Learning for Customized Car Racing Environments

تستكشف هذه الورقة تطبيق التعلم بنقل المعرفة في التعلم التعزيزي العميق لبيئة OpenAI Car Racing، حيث تُثبت أن النهج القائم على النموذج يتفوق على النهج الخالي من النموذج، وأن نقل المعرفة من دائرة مصدرية يعزز بشكل كبير الأداء وكفاءة التعلم في البيئات المستهدفة المخصصة.

Benedict Florance Arockiaraj, Richard Chang, Wesley Yee2026-05-19

🤖 machine learning

InfoFlow: A Framework for Multi-Layer Transformer Analysis

تقدم هذه الورقة "InfoFlow"، وهو إطار نظري يوضح أن نماذج "Transformer" متعددة الطبقات تحقق تقريباً أكثر كفاءة بشكل ملحوظ لمهام استرجاع معينة مقارنة بالنماذج أحادية الطبقة، وذلك عبر الاستفادة من آليات هيكلية تتغلب على تكاليف المعلمات الأسية المرتبطة بانتباه "softmax" وفك تشفير المعلومات المقترن.

Penghao Yu, Haotian Jiang, Zeyu Bao, Qianxiao Li2026-05-19

💬 NLP

Universal Adversarial Triggers

تقدم هذه الورقة تقنية مبتكرة تجمع بين تصفية أجزاء الكلام والخسارة القائمة على الارتباك لتوليد محفزات عدائية عالمية طبيعية لغويًا لنماذج معالجة اللغات الطبيعية، مما يثبت فعاليتها في خفض دقة تحليل المشاعر بشكل جذري مع إظهار أن التدريب العدائي باستخدام هذه المحفزات يحسن بشكل كبير من متانة النموذج.

Benedict Florance Arockiaraj, Alexander Feng, Jianxiong Cai, Xiaoyu Cheng2026-05-19

🤖 machine learning

A More Word-like Image Tokenization for MLLMs

تقترح هذه الورقة البحثية "الترميز البصري المتفكك" (DiVT)، وهي طريقة مبتكرة تعمل على تجميع تضمينات رقع الصور في وحدات دلالية متماسكة وتعديل ميزانيات الرموز ديناميكيًا بناءً على تعقيد الصورة، مما يمكن النماذج اللغوية الكبيرة متعددة الوسائط من معالجة المدخلات البصرية بكفاءة أكبر وتوافق أعلى مع تقليل تكاليف الذاكرة وزمن الاستجابة بشكل كبير.

Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee2026-05-19

🤖 machine learning

Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning

تقدم الورقة البحثية CodeThinker، وهو إطار عمل للتعلم التعزيزي القائم على الاتساق يعزز التفكير البرمجي للنماذج اللغوية الكبيرة من خلال دمج التدريب الواعي بالتفكير خطوة بخطوة، وأخذ العينات الشعاعية الديناميكية، وآلية مكافأة الاتساق للتغلب على المكافآت الشحيحة واختراق المكافأة، محققاً أداءً هو الأفضل في فئته على المعايسات المرجعية ومحسناً المهام اللاحقة.

Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao2026-05-19

🤖 machine learning

MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

تقترح هذه الورقة البحثية طريقة MARR، وهي طريقة إعادة بناء المتبقي المتكيفة مع الوحدات (module-adaptive residual reconstruction) للكمية بعد التدريب منخفضة البت، والتي تستخدم استراتيجية قائمة على نظام التحكم التناسبي التكاملي التفاضلي (PID) لتعيين معاملات قياس خاصة بكل وحدة ديناميكيًا، مما يوازن بفعالية بين تصحيح الخطأ المتراكم وانحياز تقريب هسيان (Hessian-approximation bias) لتحسين الأداء بشكل كبير في النماذج اللغوية الكبيرة (LLMs) ونماذج المحولات الرؤيوية (ViTs).

Le Su, Xing Luo, Zhi Jin2026-05-19

🤖 machine learning

Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Rational Participation

تقدم هذه الورقة FedUCA، وهو إطار عمل للتعلم الاتحادي يعامل العملاء كوكلاء عقلانيين ويستخدم التجميع العشوائي المقيد بالمنفعة لتعظيم استبقاء العملاء وأداء النموذج العالمي من خلال ضمان تلبية فوائد التعاون لعتبات المنفعة الفردية.

M Yashwanth, Arunabh Singh, Ashok Nayak, Sai Kiran Bulusu, Anirban Chakraborty2026-05-19

📊 statistics

Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

تتقصى هذه الورقة كيف تقوم الشبكات العصبية ذات المعلمات الزائدة بحفظ التسميات الضوضائية والتعميم على المهام الحسابية في آن واحد، كاشفةً أنه بينما تعمل الضوضاء على كبح مخرجات بنية تعميم داخلية، يمكن استعادة هذه البنية بفعالية من خلال الطرق القائمة على التردد حتى في ظل وجود ضوضاء تسمية كثيفة.

Linyu Liu, Pinyan Lu2026-05-19

🤖 machine learning

Interaction-Breaking Adversarial Learning Framework for Robust Multi-Agent Reinforcement Learning

تقترح هذه الورقة إطار عمل "التعلم التنافسي لكسر التفاعل" (IBAL)، الذي يستخدم نهجاً قائماً على نظرية المعلومات لتوليد هجمات تعطل التفاعلات بين الوكلاء والدفاع ضدها، مما يعزز بشكل كبير من متانة وتنسيق أنظمة التعلم التعزيزي متعددة الوكلاء في ظل الاضطرابات المتنوعة وسيناريوهات فقدان الوكلاء.

Sunwoo Lee, Mingu Kang, Yonghyeon Jo, Seungyul Han2026-05-19

→ السابق التالي ←