cs.LG ورقة بحثية

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

تحدد هذه الورقة ثغرة "قابلية تحقق غير متماثلة" هيكلية في عملية نقل أجهزة الترميز (tokenizer transplantation) عبر النماذج اللغوية الكبيرة، حيث يمكن هندسة ناقلات معاملات محددة كـ "رموز كاسرة" (breaker tokens) تظل خاملة في النموذج المانح ولكنها تُحفز عمليات إعادة بناء عالية البروز في النموذج الأساسي، مما يؤدي إلى التهرب من فحوصات دمج الأوزان القياسية وتدابير التخفيف القائمة على تقنية (LoRA).

Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao2026-05-29

🔢 mathematics

Horizon Activation Mapping for Neural Networks in Time Series Forecasting

تقدم هذه الورقة تقنية "خرائط تنشيط الأفق" (Horizon Activation Mapping - HAM)، وهي تقنية تفسير بصري محايدة للنماذج تقوم بتحليل متوسطات معيار التدرج عبر السلاسل الزمنية الفرعية لتمكين الاختيار الدقيق للنماذج، والتحقق من صحتها، والمقارنات بين العائلات المختلفة لمختلف بنيات الشبكات العصبية في التنبؤ بالسلاسل الزمنية.

Krupakar Hans, V A Kandappan2026-05-29

🤖 AI

From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

تقدم الورقة البحثية "Rulers"، وهو إطار عمل ثلاثي المراحل أثناء الاستنتاج يعمل على تحويل المعايير البشرية إلى مواصفات مغلقة، ويفرض استناداً هيكلياً للأدلة، ويطبق معايرة لاحقة للتغلب على أوضاع الفشل الشائعة وتحقيق تقييم أكثر موثوقية ومواءمة للبشر من قبل النماذج اللغوية الكبيرة عبر مهام تقييم النصوص المتنوعة.

Yihan Hong, Huaiyuan Yao, Bolin Shen, Wanpeng Xu, Hua Wei, Yushun Dong2026-05-29

🔢 mathematics

Solving the Offline and Online Min-Max Problem of Non-smooth Submodular-Concave Functions: A Zeroth-Order Approach

تقترح هذه الورقة وتحلل خوارزمية من الدرجة صفر تجمع بين متدرات امتداد لوفاز (Lovász extension subgradients) والتنعيم الغاوسي لحل مسائل الحد الأدنى-الأقصى (min-max) غير الملساء التي تتضمن دالات محدبة-تحتية (submodular-concave)، مع إثبات التقارب إلى نقطة سرج $\epsilon$ في الإعداد غير المتصل (offline setting) وتحديد حد فجوة ثنائية عبر الإنترنت (online duality gap) يبلغ $O(\sqrt{N\bar{P}_N})$ .

Amir Ali Farzin, Yuen-Man Pun, Philipp Braun, Tyler Summers, Iman Shames2026-05-29

🤖 machine learning

Representation Unlearning: Forgetting through Information Compression

تقدم هذه الورقة البحثية "إلغاء تعلم التمثيل" (Representation Unlearning)، وهو إطار عمل يحقق إلغاء تعلم للآلة بكفاءة وموثوقية من خلال تعلم تحويل في فضاء التمثيل لضغط المعلومات المتعلقة بالبيانات المنسية مع الحفاظ على الفائدة للبيانات المستبقاة، مما يوفر بديلاً أكثر استقراراً وكفاءة من حيث الحوسبة لطرق تعديل المعلمات التقليدية.

Antonio Almudévar, Alfonso Ortega2026-05-29

🤖 machine learning

Bridging Functional and Representational Similarity via Usable Information

تقدم هذه الورقة إطاراً موحداً يكمّم تشابه التمثيل من خلال منظور المعلومات القابلة للاستخدام، مما يؤسس روابط رسمية بين أداء التجميع والمعلومات المتبادلة الشرطية، مع إثبات أن تشابه التمثيل نسبي للقدرة التنبؤية وهو كافٍ ولكنه ليس ضرورياً للتشابه الوظيفي.

Antonio Almudévar, Alfonso Ortega2026-05-29

🤖 machine learning

Procedural Pretraining: Warming Up Language Models with Abstract Data

تُثبت هذه الورقة أن "التدريب المسبق الإجرائي"، الذي يتضمن تعريض النماذج اللغوية في البداية لنسبة ضئيلة من البيانات الهيكلية المجردة الناتجة عن اللغات والخوارزميات الصورية، يعزز قدراتها على الاستنتاج بشكل كبير، ويسرع التقارب، ويقلل التكاليف الحسابية مقارنة بالتدريب المسبق القياسي باستخدام اللغة الطبيعية.

Liangze Jiang, Zachary Shinnick, Anton van den Hengel, Hemanth Saratchandran, Damien Teney2026-05-29

🤖 machine learning

Learn from A Rationalist: Distilling Intermediate Interpretable Rationales

تقترح هذه الورقة إطار عمل REKD، وهو إطار لتقطير المعرفة يعزز الأداء التنبؤي وقابلية التفسير لنماذج استخراج المبررات من خلال تدريب شبكات طالب أصغر للتعلم من مبررات وتنبؤات نموذج معلم أكثر قدرة، مما يتغلب على التحديات الحسابية لتعلم مجموعات الميزات الفرعية تحت الإشراف عن بُعد.

Jiayi Dai, Randy Goebel2026-05-29

🤖 machine learning

Unsupervised Hierarchical Skill Discovery

تقترح هذه الورقة طريقة غير خاضعة للإشراف قائمة على القواعد لتقسيم المسارات واكتشاف هياكل مهارات هرمية في بيئات عالية الأبعاد مثل ماينكرافت، مما يثبت أن الهياكل الهرمية الناتجة ذات المعنى الدلالي تتفوق على النماذج المرجعية الحالية وتسرع عملية التعلم التعزيزي في المهام اللاحقة.

Damion Harvey, Geraud Nangue Tasse, Benjamin Rosman, Branden Ingram, Steven James2026-05-29

🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

تقدم الورقة البحثية طريقة PEAR، وهي طريقة في مرحلة الضبط الدقيق الموجه (SFT) تستخدم أخذ العينات بالأهمية لإعادة وزن خسائر التدريب بناءً على عدم التطابق بين البيانات غير المتصلة (offline data) وسياسات التعلم المعزز المستقبلية، مما يحسن بشكل كبير أداء التعلم المعزز في المهام اللاحقة على مهام الاستدلال مقارنة بالضبط الدقيق الموجه القياسي.

Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng2026-05-29

→ السابق التالي ←