11750 ورقة بحثية
تقترح هذه الورقة دفاعاً قائماً على نظرية المعلومات ضد تقطير النماذج القائم على اللوجيت (logit-based model distillation) من خلال تقليل المعلومات المتبادلة الشرطية بين لوجيتات المعلم واستعلامات المدخلات، مما يحمي نماذج اللغات الكبيرة المملوكة بفعالية من استخراج المعرفة مع الحفاظ على فائدتها في المهام.
تستخدم هذه الدراسة الدلالات التوزيعية لتحليل المتون اللغوية للغة الروسية، كاشفةً عن أن المفاهيم النفسية مثل الاحتراق النفسي والاكتئاب تشهد تحولات دلالية كبيرة في وسائل الإعلام الشعبية، حيث يتم تأطيرها من خلال السرديات الشخصية والتجارب اليومية بدلاً من المصطلحات المنهجية والسريرية الدقيقة الموجودة في الخطاب العلمي.
تستخدم هذه الدراسة التعلم الآلي لتحديد المفردات غير السائدة في لغات سولاويسي باعتبارها ركائز محتملة لما قبل الأسترونيزية، مما يكشف عن أنماط صوتية متميزة ولكنه لا يجد دليلًا على وجود لغة ركيزة واحدة مشتركة بسبب الافتقار إلى عائلات لغوية متماسكة.
تقدم هذه الورقة البحثية "سلسلة الأفكار الهرمية" (Hi-CoT)، وهي نموذج توجيه مهيكل يعمل على تفكيك الاستدلال إلى خطوات فرعية متبادلة من التخطيط والتنفيذ، مما يحقق تحسينات كبيرة في كل من الدقة والكفاءة مقارنة بطرق "سلسلة الأفكار" التقليدية عبر مختلف النماذج اللغوية الكبيرة والمعايير الرياضية.
تُظهر هذه الدراسة أن المتجهات الدلالية التوزيعية للكلمات البولندية تشفر بطبيعتها معلومات صوتية وصرفية دون لغوية، مما يتيح تنبؤات دقيقة بالسمات اللغوية القائمة على الشكل، ويدعم الرؤية القائلة بأن الفضاء الدلالي متماثل بنيوياً مع فضاء الشكل الهيكلي.
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة تُشفّر داخلياً معايير الخصوصية السياقية كتمثيلات متميزة وقابلة للفصل خطياً، ومع ذلك تفشل في التصرف بناءً عليها بسبب عدم توافق بين هذه المفاهيم الكامنة والسلوك، وهي فجوة يمكن جسرها بفعالية من خلال التوجيه الهيكلي للمعلمات المعتمد على التدخل السياقي (CI-parametric steering).
تقيم هذه الدراسة الوعي الاستبطاني لأربعة نماذج لغوية رائدة فيما يتعلق بحدود رفض السلامة لديها، وتجد أنه بينما تمتلك هذه النماذج عمومًا حساسية عالية للتنبؤ بالرفض، فإن الأداء يتباين باختلاف النموذج والموضوع، مع تقديم درجات الثقة آلية عملية لتوجيه الاستعلامات الحرجة المتعلقة بالسلامة.
يُعد FGR-ColBERT نموذج استرجاع فعال يدمج إشارات الصلة دقيقة التفاصيل المستخلصة من نموذج لغوي كبير مباشرة في وظيفة الاسترجاع، محققاً أداءً فائقاً على مستوى الرموز مقارنة بنماذج لغوية كبيرة أكبر بكثير مع الحفاظ على فعالية استرجاع عالية وضئيل جداً في زمن التأخير.
تحلل هذه الورقة البحثية دمج النماذج اللغوية الكبيرة في المراحل الأربع لدورة حياة كشف الإساءة —توليد الملصقات والميزات، والكشف، والمراجعة والاستئناف، والتدقيق والحوكمة— مع تلخيص الممارسات الحالية، والاعتبارات الهيكلية، والتحديات الرئيسية مثل زمن الاستجابة والعدالة لتوجيه نشر أنظمة سلامة موثوقة واسعة النط scale.
تتناول هذه الورقة معضلة الجودة والاستكشاف في نماذج اللغة الانتشارية من خلال إثبات أن إعادة القناع ذات الثقة المنخفضة تقيد الاستكشاف الضروري، وتقترح عينة "متروبوليس-هاستينغز المستقل" التي توازن بفعالية بين جودة التوليد وتنوع مسارات الاستدلال عبر مختلف اختبارات الاستدداء.