11158 ورقة بحثية
تقدم هذه الورقة البحثية Checkup2Action، وهي مجموعة بيانات ومعيار مرجعي متعدد الوسائط يضم 2,000 تقرير فحص سريري مجهول الهوية، صُممت لتقييم وتحسين قدرة النماذج اللغوية الكبيرة على توليد بطاقات إجراءات آمنة، ومنظمة، وموجهة للمريض من أدلة طبية معقدة.
تقدم هذه الورقة البحثية طريقة "Covariance-Aware GRPO"، وهي طريقة خالية من المعلمات الفائقة تعمل على استقرار التدريب وتحسين أداء الاستنتاج من خلال تقليل وزن تحديثات الرموز (tokens) المتطرفة ديناميكيًا عبر إعادة وزن الميزة باستخدام نواة غاوسية بناءً على التباين بين احتمالات الرموز والمزايا.
تحل هذه الورقة التناقضات في النتائج التجريبية حول كيفية تعامل النماذج اللغوية الكبيرة مع التناقضات بين معرفة التدريب والمستندات المقدمة من خلال اقتراح والتحقق من إطار عمل ثلاثي الأنظمة يميز بين التحديث أحادي المصدر، والتكامل التنافسي، والاختيار المناسب للمهمة، مبرهنةً على أن سلوك النموذج محكوم بشكل يمكن التنبؤ به باتساق الأدلة، واليقين البارامتري، ومتطلبات صياغة المهمة.
يقدم BitLM بنية نموذج لغوي مبتكرة تتغلب على عقبة "رمز واحد في كل مرة" التقليدية من خلال تمثيل الرموز كأكواد ثنائية واستخدام رأس انتشار خفيف الوزن لإزالة الضجيج عن رموز متعددة بالتوازي داخل كتل، مما يحقق استنتاجاً أسرع وتدريباً مسبقاً أكثر كفاءة مع الحفاظ على البنية السببية الجوهرية للنمذجة ذات الترتيب الذاتي.
تُعد Ada-MK إطار عمل مبتكر للتحسين يعمل على إلغاء الجدولة الديناميكية في وقت التشغيل وتقليل استخدام الذاكرة المشتركة من خلال البحث القائم على المخطط الموجه غير الدوري (DAG) وتقسيم الذاكرة أثناء وقت التجميع، مما يُمكّن أول نشر صناعي لـ MegaKernels في أنظمة الإعلانات عبر الإنترنت التجارية لتحقيق تحسن في الإنتاجية يصل إلى 50.2% مقارنة بـ vLLM على وحدات معالجة الرسومات من NVIDIA.
تقترح هذه الورقة إطار عمل "الاستهداف التوليدي الفعال" الذي يجمع بين التكميم المجموعاتي التكيفي، والتخلخل الهرمي المتكيف مع الطبقات، والتحقق المتوازي بشجرة البادئات لتسريع استنتاج النماذج اللغوية الكبيرة بشكل كبير لتطبيقات الإعلانات في الوقت الفعلي مع الحفاظ على جودة توليد مقبولة.
تقدم هذه الورقة إطار عمل جديد لتقطير النماذج اللغوية البصرية (VLM) يسمى "Hide to See" يعزز قدرات الاستدلال متعدد الوسائط للنماذج الطلابية المدمجة من خلال توظيف قناع بادئة الاستدلال البارزة والجدولة ذاتية الخطوات لإجبار النموذج على الاعتماد على الأدلة البصرية أثناء عملية التفكير، مما يؤدي إلى التفوق على أساليب التقطير والتقطير الذاتي الحالية.
تقدم هذه الورقة "Gakucho"، وهو معيار مرجعي متعدد الوسائط واسع النطاق مستمد من التقييم الوطني للقدرات الأكاديمية في اليابان، والذي يتميز بـ 900,000 توزيع مجمع لاستجابات الطلاب لتمكين التقييم المباشر، المرتكز على العنصر البشري، لنماذج اللغات الكبيرة متعددة الوسائط في مهام تعليمية حقيقية للمراحل من الروضة وحتى الصف الثاني عشر.
تحدد هذه الورقة أن طرق نسيان النماذج اللغوية الكبيرة الحالية تفشل أمام هجمات إعادة التعلم لأنها تعدل فقط مكونات التمثيل المهيمنة، وتقترح "نسيان المكونات الصغرى" (MCU)، وهو نهج جديد يستهدف المكونات الصغرى القوية لتحقيق مقاومة أقوى بكثير لاستعادة المعرفة.
تكشف هذه الورقة أن التقطير داخل السياسة (OPD) يحقق الكفاءة من خلال "الاستشراف" عبر إنشاء مسارات تحديث مستقرة في وقت مبكر من التدريب عن طريق تخصيص الوحدات الحرجة ومحاذاة الاتجاه منخفض الرتبة، مما أدى إلى اقتراح EffOPD، وهو أسلوب جاهز للتشغيل يسرع عملية الـ OPD بمقدار 3 أضعاف دون المساس بالأداء النهائي.