🤖 Category

cs.AI

24608 ورقة بحثية

🤖 machine learning

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

تقترح الورقة البحثية HELLoRA، وهي طريقة لضبط النماذج بكفاءة في المعلمات لنماذج خليط الخبراء (Mixture-of-Experts)، حيث تقوم بإلحاق وحدات تكييف منخفضة الرتبة (Low-Rank Adaptation) بالخبراء الأكثر تفعيلاً فقط، مما يقلل من المعلمات القابلة للتدريب والتكاليف الحسابية مع تحسين الأداء في المهام اللاحقة بشكل كبير مقارنة بطريقة LoRA القياسية.

Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang2026-05-20
🤖 machine learning

Simply Stabilizing the Loop via Fully Looped Transformer

تقترح الورقة البحثية "المحول ذو الحلقة الكاملة" (Fully Looped Transformer)، وهو بنية خالية من المعلمات تعمل على تثبيت ديناميكيات التدريب وتحسين الأداء في المهام اللاحقة عبر إدخال هيكل حلقي كامل وحقن الانتباه للتخفيف من تذبذب التدرج وانفجار المتبقي في كتل المحول المعاد استخدامها بشكل متكرر.

Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang2026-05-20
🤖 machine learning

Theory-optimal Quantization Based on Flatness

تقدم هذه الورقة البحثية التكميم القطري ثنائي الاتجاه (BDQ)، وهو إطار عمل جديد للتكميم بعد التدريب يستمد حلاً مثالياً نظرياً بناءً على مقياس "تسطيح" (Flatness) جديد لتشتيت القيم المتطرفة للتنشيط بفعالية، مما يحقق دقة هي الأفضل في فئتها في تكميم النماذج اللغوية الكبيرة ذات البتات المنخفضة.

Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu2026-05-20
🤖 AI

Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance

تدافع هذه الورقة الموقفة عن تطوير "مجسات بيانات" منهجية — وهي تسلسلات اصطناعية مشتقة من عمليات عشوائية محددة — للارتقاء لما وراء الاستدلالات التجريبية كثيفة الحوسبة، ولتحقيق فهم نظري ومبدئي لكيفية تأثير خصائص بيانات معينة بشكل جوهري على أداء النماذج اللغوية الكبيرة، وقدرتها على التعميم، ومتانتها عبر مختلف مراحل سير العمل.

Shiqiang Wang, Herbert Woisetschläger, Hans Arno Jacobsen, Mingyue Ji2026-05-20
🤖 machine learning

Adaptive Multi-Scale Goodness Aggregation for Forward-Forward Learning

تقدم هذه الورقة البحثية خوارزمية تجميع الجودة متعددة المقاييس التكيفية (AMSGA)، وهي امتداد مبتكر لخوارزمية "الأمام-للأمام" (Forward-Forward) تعمل على تعزيز الاستقرار والمتانة والتعميم من خلال تجميع التمثيلات متعددة المقاييس واستراتيجيات التدريب التكيفية، محققةً مكاسب أداء كبيرة في مجموعتي بيانات MNIST وFashion-MNIST مع الحفاظ على المعقولية البيولوجية وكفاءة الذاكرة.

Salar Beigzad, Vansh Verma2026-05-20
💻 computer science

RecoAtlas: From Semantic Plausibility to Set-Level Utility in LLM Recommendation Agents

تقدم هذه الورقة RecoAtlas، وهو معيار ومجموعة أدوات لتقييم وكلاء التسوق القائمين على النماذج اللغوية الكبيرة باستخدام مقاييس المنفعة المرتكزة على السلوك إلى جانب التماسك الدلالي، مما يثبت أن التفسيرات المنطقية لا تضمن مجموعات توصية فعالة وأن الأداء يتوسع مع قدرة النموذج والمواءمة مع الأدوات.

Imad Aouali, Flavian Vasile, Otmane Sakhi, Alexandre Gilotte, Benjamin Heymann2026-05-20
🤖 machine learning

Block-Based Double Decoders

تقدم الورقة البحثية "المفككات المزدوجة القائمة على الكتل" (Block-Based Double Decoders)، وهي بنية ترانسفورمر مبتكرة تجمع بين كفاءة التدريب لنماذج "المفكك فقط" (decoder-only) وكفاءة الاستدلال لنماذج "المشفر-المفكك" (encoder-decoders) عبر استخدام أقنعة انتباه قائمة على الكتل ذات سببية مزدوجة لتحقيق أداء توسع فائق مع تقليل تكاليف الذاكرة والحوسبة بشكل كبير.

Asher Labovich, Benjamin Bradley, Vanessa Alexander, Chaitanya Harsha2026-05-20
🤖 machine learning

Compositional Literary Primitives in Instruction-Tuned LLMs: Cross-Architectural SAE Features for Self, Style, and Affect

تحدد هذه الورقة وتتحقق من بنية تركيبية للمبادئ الأدبية الأولية —بما في ذلك بوابات التسمية، والسمات الذاتية، والمعدلات الأسلوبية— ضمن النماذج اللغوية الكبيرة المضبوطة بالتعليمات (Llama 3.1 وGemma 2) باستخدام المشفّرات التلقائية المتناثرة، مما يثبت أن توجيه السمات المستهدف يمكنه توليد مخرجات عاطفية وأسلوبية محددة بشكل موثوق عبر بنيات نماذج مختلفة بتكلفة حوسبية ضئيلة.

Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira2026-05-20
🤖 machine learning

Metric-Gradient Projection for Stable Multi-Agent Policy Learning

تقدم هذه الورقة البحثية طريقة HPML (التعلم متعدد الوكلاء المعتمد على إسقاط هودج)، وهي طريقة تعمل على تثبيت التعلم التعزيزي متعدد الوكلاء ذي المجموع العام عبر إسقاط حقل تحديث السياسة المشتركة على مكون تدرج متري عبر تفكيك هودج، مما يقلل من الديناميكيات الدورية ويحسن التقارب من خلال جهد ليابونوف.

Zuyuan Zhang, Sizhe Tang, Mahdi Imani, Tian Lan2026-05-20