11158 ورقة بحثية
تتحدى هذه الورقة الرؤية الساكنة لرؤوس الاسترجاع في النماذج اللغوية الكبيرة من خلال إثبات أنها ديناميكية، وتعتمد على الخطوات الزمنية، ويمكن التنبؤ بها عبر الحالات الخفية، مما يكشف عن آلية تخطيط داخلية تعجز النماذج الساكنة عن استيعابها.
تقدم هذه الورقة ScrapeGraphAI-100k، وهي مجموعة بيانات ضخمة من الواقع تتكون من 93,695 حدث استخراج مقيد بالمخطط (schema-constrained) مستمدة من القياس عن بُعد للممارسين، مما يتيح تدريب واختبار النماذج اللغوية الكبيرة على مهام التوليد المهيكل حيث كانت المجموعات السابقة الاصطناعية أو المقتصرة على النصوص غير كافية.
تقدم هذه الورقة المعيار المرجعي MathEd-PII وتثبت أن استراتيجيات التلقين المدركة للمجال تتفوق بشكل كبير على الكشف العام عن معلومات الهوية الشخصية (PII) في حوارات التدريس الرياضي من خلال حل الغموض الرقمي للحفاظ على الفائدة التعليمية مع ضمان الخصوصية.
تحلل هذه الدراسة 1,500 عنصر من اختبار MMLU عبر 33 نموذجاً لغوياً كبيراً من النماذج الرائدة لتكشف أن درجات المراقبة الميتا معرفية الإجمالية تحجب تباينات كبيرة ومستقرة على مستوى المجالات، حيث يسهل مراقبة المعرفة التطبيقية بشكل موثوق مقارنة بالاستدلال الرسمي أو العلوم الطبيعية، مما يدعم استخدام الفحص النوعي الخاص بكل مجال قبل نشر النموذج.
يعالج RateQuant عيوب التكميم الساذج لـ KV cache متعدد الدقة عبر الاستفادة من نظرية معدل التشوه لملائمة نماذج تشوه لكل مكمم وحل تخصيص البتات الأمثل عبر عملية "التعبئة العكسية" ذات الصيغة المغلقة، محققاً انخفاضات كبيرة في الارتياب مع حد أدنى من عبء المعايرة.
تقدم الورقة البحثية نموذج "Toeplitz MLP Mixer" (TMM)، وهو بنية شبيهة بالمحولات (transformer) تستبدل آلية الانتباه بضرب مصفوفة "توبليتز" (Toeplitz) ذات القناع المثلثي لتحقيق تعقيد أقل من التربيعي، مع إظهار كفاءة تدريب فائقة، وقدرة أعلى على الاحتفاظ بالمعلومات، وأداء أفضل في التعلم داخل السياق مقارنة بالنماذج الأخرى ذات التعقيد الأقل من التربيعي.
تقترح هذه الورقة إطاراً لأنظمة الاستدلال التكراري يمثل حالة الاستدلال المتطورة كـرسم بياني للحالة المعرفية، وتُقدم مقياس "فجوة الرتبة" (order-gap) كشرط محلي، وضروري وكافٍ لتحديد متى يكون من غير المرجح أن تؤدي التكرارات الإضافية إلى تحسينات.
تقدم الورقة البحثية ProtSent، وهو إطار عمل للضبط الدقيق التبايني يعمل على تكييف نماذج لغة البروتين لتصبح نماذج تضمين عامة الأغراض، مما يحسن الأداء بشكل كبير عبر 23 مهمة لاحقة تتعلق بوظيفة البروتين وبنيته وتطوره دون الحاجة إلى إشراف خاص بكل مهمة.
تجادل هذه الورقة بأن الفجوة بين الأداء القوي للذكاء الاصطناائي التوليدي في الاختبارات المعيارية وفائدته المحدودة في العالم الحقيقي تنبع من ممارسات تقييم معيبة، وتقترح إطار عمل SCU-GenEval لتحويل التقييم نحو قياس التحسينات المستدامة في النتائج البشرية ضمن سياقات نشر محددة.
تقدم الورقة البحثية MELD، وهو كاشف متعدد المهام للنصوص المولدة بواسطة الذكاء الاصطناعي يعزز المتانة ضد الهجمات، وتحولات النطاق، والمولدات غير المرئية من خلال توظيف الإشراف المساعد، وتقطير المعرفة، وتصنيف السلبيات الصعبة، محققاً أداءً هو الأفضل في مجاله على المقاييس المرجعية مع الحفاظ على كفاءة الكاشف الثنائي القياسي.