🤖 Category

cs.LG

23915 ورقة بحثية

🤖 machine learning

Generative Actor-Critic with Soft Bridge Policies

تقدم هذه الورقة SoftGAC، وهو خوارزمية ممثل-ناقد توليدية تستخدم سياسة جسر عشوائية لتمكين التحسين الأقصى للإنتروبيا بشكل قابل للتتبع عبر تمريرة أمامية واحدة، محققة أداءً تنافسياً في معايير التحكم المستمر مع تقليل تكاليف الاستدلال بشكل كبير مقارنة بالنماذج المرجعية الحالية للانتشار ومطابقة التدفق.

Ke He, Le He, Shunpu Tang, Yafei Wang, Lisheng Fan2026-05-12
🤖 machine learning

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation

يُعد AdaPreLoRA مُحسِّنًا مبتكرًا لتقنية LoRA يعالج مشكلة التفرد في مسبق المترادفات للفضاء العاملي (factor-space preconditioner) عبر اعتماد مسبق مترادفات كرونيكر قطري (diagonal Kronecker preconditioner) قائم على Adafactor في فضاء الأوزان، واختيار تحديث عاملي ذي صيغة مغلقة يقلل من عدم التوازن المرجح بـ HtH_t، مما يحقق أداءً تنافسيًا عبر مختلف النماذج والمهام مع الحفاظ على انخفاض عبء الذاكرة.

Ziyun Liu, Fengmiao Bian, Jian-Feng Cai2026-05-12
🤖 machine learning

SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.

Shengkun Tang, Zekun Wang, Bo Zheng, Liangyu Wang, Rui Men, Siqi Zhang, Xiulong Yuan, Zihan Qiu, Zhiqiang Shen, Dayiheng (…)2026-05-12
🤖 machine learning

Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

تقدم هذه الورقة "الأبعاد السببية" (كابا) كمقياس جوهري للنموذج يحدد الرتبة الفعالة للتأثير السببي لطبقة المحول (transformer)، مما يكشف أنه بينما تتوسع القدرة التمثيلية خطياً مع عرض المشفّر التلقائي المتناثر (sparse autoencoder)، فإن القدرة السببية تتشبع عند مستوى دون خطي يظل ثابتاً تجاه حجم النموذج ويظهر أنماطاً هيكلية متميزة عبر عمق الشبكة.

Nilesh Sarkar, Dawar Jyoti Deka2026-05-12
🤖 AI

MeshFIM: Local Low-Poly Mesh Editing via Fill-in-the-Middle Autoregressive Generation

يقدم MeshFIM إطار عمل "الملء من المنتصف" (Fill-in-the-Middle) القائم على التوليد الذاتي، والذي يتيح تحريراً وإصلاحاً محلياً فعالاً وعالي الجودة للشبكات منخفضة المضلعات عبر إعادة توليد مناطق محددة مشروطة بالسياق المحيط، مما يتغلب على عدم الكفاءة والاضطراب الهيكلي الذي تسببه طرق إعادة التوليد التقليدية التي تعتمد مبدأ "الكل أو لا شيء".

Dingdong Yang, Jian Liu, Biwen Lei, Haohan Weng, Zhuo Chen, Song Guo, Hao Richard Zhang, Ali Mahdavi Amiri, Chunchao Guo2026-05-12
🤖 machine learning

The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition

تقدم هذه الورقة "خسارة معصم غاوس" (Wristband Gaussian Loss)، وهي طريقة حتمية خالية من أخذ العينات، تقوم بتحويل تضمينات النقاط إلى توزيعات غاوسية عبر تفكيكها إلى مكونات اتجاه ونصف قطر محول بـ CDF على متشعب كرة-فترة، مما يتيح تمثيلات كامنة فعالة وقابلة للتركيب لأخذ عينات مضادة للواقع ونمذجة العوامل المعتمدة.

Mikhail Parakhin, André M. Carvalho, Patrick Haluptzok2026-05-12
🤖 machine learning

Communicating Sound Through Natural Language

تقدم هذه الورقة "الترميز الصوتي المعجمي" (LAC)، وهو إطار عمل تتواصل فيه وكلاء النماذج اللغوية الكبيرة (LLM) المدربة مسبقًا عبر الصوت من خلال تحويل الموجات الصوتية إلى أوصاف نصية إنجليزية قابلة للتفسير وإعادة بنائها عبر صقل الحلقة المغلقة، مما يعامل اللغة الطبيعية فعليًا كتمثيل نقل فاقد ذي معدل محدود للصوت.

Emanuele Rossi, Emanuele Rodolà2026-05-12
🤖 machine learning

FedGMI: Generative Model-Driven Federated Learning for Probabilistic Mixture Inference

يُعد FedGMI إطار عمل جديد للتعلم الاتحادي يستفيد من المشفرات التلقائية التباينية لنمذجة بيانات العملاء كمزيج احتمالي من توزيعات جوهرية مشتركة، مما يحقق تخصيصاً مهيكلاً وأداءً قوياً مع معالجة عدم تجانس البيانات وقيود الاتصال.

Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief2026-05-12
🤖 machine learning

Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning

تحدد هذه الورقة أن طرق نسيان النماذج اللغوية الكبيرة الحالية غالباً ما تخل بالأمانة من خلال الهلوسة أو التصرف بشكل غير متسق، وتقترح تعريفاً رسمياً لنسيان الأمانة إلى جانب طريقة جديدة تسمى ReVa تعمل على تحسين فعالية النسيان وفائدة المعرفة المستبقاة بشكل كبير.

Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu2026-05-12
🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

تقدم الورقة البحثية نموذج ProcVLM، وهو نموذج رؤية ولغة يتعلم مكافآت التقدم المرتبطة بالإجراءات من خلال التفكير في الأفعال الذرية المتبقية والتغيرات البصرية، وقد تم تدريبه على مجموعة بيانات ضخمة مكونة من 60 مليون إطار (ProcCorpus-60M) لتوفير تغذية راجعة كثيفة وتمييزية للمناولة الروبوتية طويلة المدى.

Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing (…)2026-05-12