24235 ورقة بحثية
تقدم الورقة البحثية SOCKET، وهي آلية انتباه متفرقة مبتكرة تستبدل تقنية التجزئة حساسة الموضع (Locality-Sensitive Hashing) الصلبة التقليدية بنواة تصادم احتمالية لينة لتمكين اختيار الرموز بكفاءة وخفة في الذاكرة، وتحقيق إنتاجية أعلى بما يصل إلى 1.5 ضعف مقارنة بـ FlashAttention أثناء الاستدلال للسياقات الطويلة.
تتناول هذه الورقة مشكلة انهيار الإنتروبيا في التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) عبر اقتراح آلية قص ديناميكية مبتكرة تستفيد من منظور الحفاظ على التدرج للتحكم بدقة في إنتروبيا السياسة من خلال استراتيجيات مثبتة تجريبياً، مما يمنع الثقة المفرطة المبكرة ويعزز أداء الاستدلال في النماذج اللغوية الكبيرة (LLM).
تُثبت هذه الورقة أن مبرهنات البرهان الهرمية تحقق اختزالاً أسياً في تعقيد العينات مقارنة بالمبرهنات المسطحة، وذلك من خلال تعلم هياكل برهان قابلة لإعادة الاستخدام من آثار المعلم، مما يتجنب التكرار غير الضروري للبرهنات الفرعية الصعبة المتأصل في التمثيلات المسطحة.
تقدم الورقة البحثية AMORTIX، وهو نموذج محول رسومي (Graph Transformer) مستهلك (amortized) يحقق تحسيناً جزيئياً فعالاً بمرور واحد دون الحاجة إلى استدعاءات "أوراكل" (oracle) أثناء الاستدلال، وذلك عبر توظيف تحسين السياسة النسبية للمجموعات (Group Relative Policy Optimization) لتثبيت التدريب عبر مختلف القيود الهيكلية والبنى الأولية.
تقترح هذه الورقة إطار عمل SCOPE، وهو إطار عمل مهيكل موجه بالنماذج الأولية ومدرك للثقة، يعالج تحديات تكييف نماذج التأسيس الخاصة بتخطيط كهربية الدماغ (EEG) مع الإعدادات محدودة الملصقات من خلال التخفيف من سوء المعايرة المفرط في الثقة وانزياح التمثيل عبر الإشراف على مستوى المجموعة ومحول خفيف الوزن مشروط بالنماذج الأولية.
تقدم الورقة البحثية طريقة MAST، وهي طريقة نمذجة بديلة متعددة الدقة ومتكيفة مكانياً تعمل على دمج البيانات منخفضة الدقة مع ملاحظات عالية الدقة شحيحة ديناميكياً من خلال التوزين القائم على المسافة ونمذجة التباين الصريح، مما يحقق متانة ودقة فائقين في ظل ميزانيات حوسبة ضيقة مقارنة بالتقنيات الحالية المتطورة.
تكشف هذه الورقة أن التكميم بنظام INT4 يستعيد بشكل منهجي البيانات المنسية في عملية إلغاء التعلم، مما يكشف عن مقايضة جوهرية بين النسيان، والمنفعة، والمتانة، وتقترح طريقة DURABLEUN-SAF لتحقيق إلغاء تعلم مستقر عبر عمليات النشر ذات الدقة العالية والمنخفضة على حد سواء.
تقدم هذه الورقة أول تحليل منهجي يكشف عن تضاربات كبيرة بين المقاييس القياسية لتقييم نسيان الآلة في النماذج البصرية اللغوية، وتقترح درجة جودة موحدة (UQS) مبدئية مستمدة من الارتباطات المثالية لتوفير تصنيفات مستقرة وموثوقة.
تحلل هذه الدراسة 1,500 عنصر من اختبار MMLU عبر 33 نموذجاً لغوياً كبيراً من النماذج الرائدة لتكشف أن درجات المراقبة الميتا معرفية الإجمالية تحجب تباينات كبيرة ومستقرة على مستوى المجالات، حيث يسهل مراقبة المعرفة التطبيقية بشكل موثوق مقارنة بالاستدلال الرسمي أو العلوم الطبيعية، مما يدعم استخدام الفحص النوعي الخاص بكل مجال قبل نشر النموذج.
يعالج RateQuant عيوب التكميم الساذج لـ KV cache متعدد الدقة عبر الاستفادة من نظرية معدل التشوه لملائمة نماذج تشوه لكل مكمم وحل تخصيص البتات الأمثل عبر عملية "التعبئة العكسية" ذات الصيغة المغلقة، محققاً انخفاضات كبيرة في الارتياب مع حد أدنى من عبء المعايرة.