11158 ورقة بحثية
تقدم هذه الورقة OncoTriad-QA، وهو معيار مرجعي شامل على مستوى المريض يدمج بيانات الأشعة والباثولوجيا والجينوميات من 9,281 حالة من مشروع TCGA لتقييم وتحسين قدرة النماذج متعددة الوسائط على إجراء استدلال شامل للسرطانات عبر نظام الإجابة على الأسئلة.
تقدم هذه الورقة أول تقييم مستقل ومنهجي لمرشح الخصوصية (Privacy Filter) الخاص بشركة OpenAI عبر 42 معياراً، كاشفةً أنه في حين يتفوق النموذج على الأدوات الحالية في بيانات الهوية الشخصية (PII) الاصطناعية المهيكلة ومجالات محددة مثل خدمة العملاء، فإنه يعاني من تدهور حاد في الأداء عند التعامل مع النثر السردي، والنصوص غير اللاتينية، وأنواع بيانات الهوية الشخصية المتغيرة ثقافياً.
تُثبت هذه الورقة أن التفضيلات الثنائية للأطباء هي مؤشر غير موثوق للسلامة السريرية في النماذج اللغوية الكبيرة، حيث يمكن للنماذج ذات التصنيف العالي أن تظل تُظهر إخفاقات جسيمة حرجة من الناحية السريرية، مما يستلزم ممارسات تقييم تبلغ مباشرة عن معدلات الفشل وتدمج تعديلات قائمة على معايير سريرية رصينة.
تقترح هذه الورقة إطار عمل مبتكرًا يجمع بين "تثبيت الشخصية الميتافيزيقية" (Meta-Persona Anchoring) و"تدرج الحرارة المفلتر" (Filtered Temperature Scaling) للتخفيف من تأثير "الخلية الاصطناعية الموحدة" (Artificial Hivemind) في النماذج اللغوية الكبيرة، مما نجح في تقليل التقارب الدلالي وزيادة تنوع الاستجابات عبر خفض متوسط تشابه جيب التمام الزاوي من حوالي 0.85 إلى 0.65.
تُعد JudgeArena إطار عمل مفتوح المصدر يوحد معايير قياس نماذج اللغات الكبيرة (LLM) الرئيسية تحت واجهة واحدة لتعزيز قابلية التكرار، وتمكين الدراسات المنهجية لخيارات تصميم التقييم، وتوفير محاكاة عالية الدقة لدرجات "إيلو" (Elo score) باستخدام نماذج مفتوحة مضبوطة كبديل للمحكمين من النماذج المغلقة والتعليقات البشرية المكلفة.
تقترح هذه الورقة إطار تقييم مشترك للمعايير المرجعية القانونية يقيم في آن واحد صحة الإجابة والاستناد إلى السلطة التشريعية، مما يكشف أن النماذج تفصل بشكل متكرر بين هذين البعدين وأن الاعتماد فقط على دقة الإجابة يؤدي إلى مقاييس أداء مضللة.
تقدم هذه الورقة استراتيجية فك تشفير قائمة على مبدأ "المسودة ثم الصقل" لنماذج اللغات الانتشارية، والتي تستفيد من الصقل ثنائي الاتجاه لتحسين الدقة والسرعة بشكل كبير مقارنة بالتوليد التلقائي الكتلي القياسي، مما يثبت أن التصحيح الذاتي للنموذج نفسه والتصحيح التخميني عبر النماذج يوفران مسارات فعالة وخالية من التدريب للوصول إلى توليد نصوص عالية الجودة وسريع.
تُثبت هذه الورقة أن الاعتماد على مطالبات نموذجية (canonical prompts) واحدة لتقييم سلامة النماذج اللغوية الكبيرة يؤدي إلى تقدير نقص كبير في الامتثال غير الآمن، حيث تكشف التغييرات في الصيغ السطحية التي تحافظ على المعنى أن جزءاً كبيراً من السلوكيات الضارة يظل غير مكتشف بواسطة طرق القياس المعيارية.
تعمم هذه الورقة البحثية "التطبيع الجيوديزي" (Geodesic Normalization) من خلال إثبات أن جميع خرائط الارتداد (retraction maps) لتدفقات البقايا الكروية تختزل إلى معلمة قياسية واحدة تتحكم في زاوية الدوران، مما يؤدي إلى عائلة "-SpheretNorm" المقترحة التي تتفوق على الأساليب الحالية في نموذج nanoGPT عبر تحديد أن الخريطة الأسية (exponential map) ليست سوى حالة حدية وليست الخيار الأمثل.
تشخص هذه الورقة وتصلح "إصابة واجهة" محددة في نموذج لغوي بحجم 0.6 مليار تم تحويله إلى انتباه خطي، حيث يتنبأ النموذج بشكل أعمى بتسميات الخيارات (مثل "A") بدلاً من المحتوى، وذلك باستخدام تشخيص قائم على التبديل وعملية تقطير KL مستهدفة في مرحلة الإكمال لاستعادة دقة الاختيار من متعدد مع الحفاظ على الكفاءة على الأجهزة الاستهلاكية.