🤖 Category

cs.LG

22512 ورقة بحثية

🤖 machine learning

The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers

تثبت هذه الورقة أنه بينما تفشل قيود الرتبة الثابتة في استيعاب السعة الجوهرية لنماذج المحولات (Transformers) بسبب طبيعة الانتباه المشروطة بالمدخلات، فإن الرتبة الجوهرية الأصلية للانتباه القائمة على نواة الاستعلام-المفتاح (query-key kernel) تنجح في استعادة مبادئ الحد الإنتروبي للقصور، والقابلية للتحقيق، واستعادة التدرج لآليات انتباه الخطية و"softmax" على حد سواء.

Byeong Hoon Yoon2026-07-28
💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

تحدد هذه الورقة أن نماذج الرؤية واللغة ذات المشفر المزدوج تفشل في الاستدلال التركيبي بسبب واجهة تشابه "حقيبة المفاهيم"، وتقترح طريقة لا تتطلب تدريباً تسمى LCSE (تحرير الدرجة المقيد بالمنطق) التي تفصل استخراج الأدلة عن تنفيذ القيود لتحسين الدقة المنطقية بشكل كبير مع الحفاظ على أداء الاسترجاع.

Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides2026-07-28
🤖 machine learning

Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models

تقدم هذه الورقة أول دراسة في التفسير الآلي لآلية الانتباه الكامن متعدد الرؤوس (MLA)، كاشفةً أن عنق الزجاجة منخفض الرتبة الخاص بها يفصل بفعالية بين المحتوى والموقع عبر الحفاظ على هوية الكيان مع التخلص من المعلومات الموضعية، مما يعيد تشكيل تنظيم دوائر المحولات إلى طبقات استحثاث وطبقات مركز دلالي متميزة.

Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan2026-07-28
🤖 machine learning

Diffusion-Guided Search via Exponential Tilting (DiffTilt): An Application to Falsification of Safety-Critical Systems

تقدم هذه الورقة DiffTilt، وهو إطار توزيعي يستفيد من الإمالة الأسية لنموذج الانتشار للتغلب على الندرة الضربيه للإخفاقات الحرجة للسلامة من خلال تمكين أخذ العينات بالأهمية في الفضاء المشترك للبيئات والتنفيذات، مما يؤدي بشكل مبرهن إلى تضخيم احتمالات الإخفاق والتفوق على طرق أخذ العينات الشرطية التقليدية في تفنيد الأنظمة الحرجة للسلامة.

Tanmay Khandait, Preetom Biswas, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Giulia Pedrielli2026-07-28
🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

تستعرض هذه الورقة بنيات واستراتيجيات ما قبل التدريب وطرق التحسين للنماذج التأسيسية للتنبؤ بالسلاسل الزمنية بنمط "التعلم الصفري" (zero-shot)، وتثبت أن الضبط الدقيق لهذه النماذج على مجموعات بيانات محددة يحسن دقة التنبؤ باستمرار مقارنة بالنماذج المرجعية ذات التعلم الصفري.

Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier2026-07-28
🤖 machine learning

In-Context Learning as Implicit Policy Gradient

تؤسس هذه الورقة رابطاً نظرياً بين التعلم داخل السياق المشروط بالدرجة وبين تحسين تدرج السياسة، حيث تُثبت أن آليات الانتباه الذاتي يمكن أن تنفذ ضمناً تحديثات مرجحة بالمكافأة، وتقدم تحققاً تجريبياً بأن النماذج اللغوية الكبيرة تستفيد بفعالية من درجات التقييم لتحويل توزيعات المخرجات نحو الأمثلة ذات الأداء العالي.

Masahiro Kaneko, Timothy Baldwin2026-07-28
📊 statistics

Adaptive Multi-Scale Forecasting and Gate-Localized Conformal Prediction for Multivariate Nonstationary Time Series

يقدم البحث إطار عمل ABF-T-GLCP، وهو إطار عمل غير مرتبط بنموذج محدد يوحد التنبؤ النقطي متعدد المقاييس التكيفي مع التنبؤ المطابق الموضعي بالبوابة (Gate-Localized Conformal Prediction) لتحقيق فترات عدم يقين متسقة وضيقة ومعايرة جيدًا للسلاسل الزمنية متعددة المتغيرات غير المستقرة من خلال الاستفادة من تمثيلات الحالة التنبؤية المشتركة.

Ziling Ma, Junshu Jiang, Ángel López-Oriona, Ying Sun, Hernando Ombao2026-07-28
🔢 mathematics

Data-Driven Diffusion Processes on Differential Forms via the Projected Ambient Connection Laplacian

تقدم هذه الورقة إطار عمل قائم على البيانات يوسع خرائط الانتشار (diffusion maps) لتشمل الأشكال التفاضلية ذات الدرجة التعسفية على السحب النقطية عبر إنشاء مؤثر ذي قيم مصفوفية بواسطة تمثيل مصفوفة متبادلة مبتكر، مما يتيح التقريب العددي المباشر لمتجه "لابلاس" الاتصال المحيطي ومعادلة الحرارة دون الحاجة إلى هياكل شبكية.

Alvaro Almeida Gomez, Jorge Duque Franco2026-07-28
🤖 machine learning

Domain-Prior-Regularized Graph Modeling for Anomaly Detection in Cyber-Physical Systems

تقترح الورقة البحثية إطار عمل DPR-GM، وهو إطار للكشف عن الشذوذ قائم على التنبؤ للأنظمة السيبرانية الفيزيائية ذات البيانات الشحيحة، والذي يدمج معرفة تصميم النظام عبر نموذج لغوي كبير (LLM) لبناء رسم بياني ثابت ومنتظم بمرجعيات معرفية للمجال، مما يجعله يتفوق على النماذج المرجعية الحالية من خلال تجنب الارتباطات الزائفة والتوبولوجيا غير المستقرة.

Youngseok Hwang, Joonsung Kwon, Geonwoo Lee, Hyunwoo Park2026-07-28
🤖 machine learning

ParasGB: A Graph Benchmark Suite for Parasitic Estimation on AMS Circuits

تقدم هذه الورقة ParasGB، وهي أول مجموعة اختبار مفتوحة المصدر تضم شبكات RC واسعة النطاق وعالية الدقة من تصميمات مثبتة في عمليات التصنيع الفعلي، لتمكين التقييم القابل للتكرار ومعالجة التحديات المتعلقة بالشبكات العصبية الرسومية المستخدمة في التقدير الأولي للطفيليات في الدوائر التناظرية والتماثلية المختلطة.

Jiajun Zou, Jiawei Liu, Ao Liu, Junnong Tian, Yibin Zhang, Chengjie Liu, Yuxi Wang, Shan Shen, Wenhua Gu, Jun Yang, Wenj (…)2026-07-28