11965 ورقة بحثية
تقدم هذه الورقة البحثية "ديفوترون" (Diffutron)، وهو نموذج لغوي انتشار مُقنّع موفر للموارد ومصمم خصيصاً للغة التركية الغنية صرفياً، والذي يحقق أداءً تنافسياً ضد النماذج التوليدية ذاتية الانحدار الأكبر حجماً من خلال التدريب المسبق المستمر القائم على تقنية LoRA والضبط الدقيق التدريجي للتعليمات.
تقدم الورقة البحثية PARHAF، وهو متن لغوي ضخم مفتوح المصدر يتكون من 7,394 تقريراً طبياً فرنسياً خيالياً من تأليف خبراء تغطي أكثر من 5,000 حالة مريض عبر 18 تخصصاً، صُمم لتمكين التدريب والتقييم المحافظ على الخصوصية لأنظمة معالجة اللغات الطبيعية السريرية مع الالتزام بلوائح حماية البيانات الصارمة.
تجادل هذه الورقة بأن نماذج لغة الاستدلال لا ينبغي تقييمها على صحة الإجابة فحسب، بل أيضاً على وضوح مسارات استدلالها، مقدمةً "منفعة النقل" كمعيار، وكاشفةً أن النماذج الأعلى أداءً غالباً ما تنتج مسارات أقل وضوحاً، مع عدم وجود مكافأة جوهرية للوضوح في طرق التدريب الحالية.
تُثبت هذه الورقة أن الثقة المُبلغ عنها ذاتياً في النماذج اللغوية الكبيرة ترتبط عكسياً بالدقة، وتبرهن على أن الملاحظة النصية فقط لا يمكنها اكتشاف الهلوسة بشكل موثوق، مقترحةً بدلاً من ذلك أن اعتلال الإنتروبيا لكل رمز (per-token entropy) يعمل كإشارة قوية وقابلة للتعميم عبر البنيات المختلفة لتحسين تخصيص موارد التحقق.
تقدم هذه الورقة JUBAKU، وهو معيار تنافسي متجذر ثقافياً تم إعداده يدوياً من قبل مدونين يابانيين أصليين للكشف عن التحيزات الاجتماعية الكامنة في النماذج اللغوية الكبيرة اليابانية، مما يكشف أن النماذج الحالية تؤدي بشكل أسوأ بكثير في الصور النمطية ذات الخصوصية الثقافية مقارنة بالمعايير الإنجليزية المترجمة.
تقترح هذه الورقة إطار عمل لنماذج لغوية كبيرة نمطية ووكيلة، تعمل على اكتشاف وشرح القيم المتطرفة في أسعار المنتجات من خلال تصنيف العناصر المماثلة ذات الصلة، وتقييم منفعتها النسبية عبر السمات الرئيسية، والاستنتاج من خلال هذه المقارنات لتحقيق توافق يتجاوز 75% مع المدققين البشريين مع التفوق على الأساليب الحالية القائمة على الاسترجاع أو التعلم الصفري.
تُظهر هذه الدراسة أنه في حين تطور نماذج اللغة القائمة على المحولات باستمرار تمثيلات مقدارية ذات ضغط لوغاريتمي مدفوعة بإحصائيات بيانات التدريب، فإن هذا البناء الهندسي منفصل عن الكفاءة السلوكية، حيث غالبًا ما تفشل النماذج ذات هذا الهيكل الهندسي في أداء مهام التمييز بين المقادير الشبيهة بالبشر.
تقدم هذه الورقة إطار عمل CogAlign، الذي يعزز تشخيص أمراض الجهاز الهضمي في النماذج اللغوية الكبيرة متعددة الوسائط من خلال مواءمة استدلال النموذج مع الإدراك السريري الهرمي عبر الضبط الدقيق الخاضع للإشراف وفرض الاعتماد على الميزات السببية عبر التعلم المعزز القائم على التناقض لتجاوز الانحياز البصري وتحقيق أداء يمثل أحدث ما توصل إليه العلم.
تقدم هذه الورقة البحثية MzansiText، وهو متن لغوي متعدد اللغات منسق، وMzansiLM، وهو نموذج لغوي بفك تشفير فقط (decoder-only) يضم 125 مليون معلمة تم تدريبه من الصفر على جميع اللغات الرسمية لإحدى عشرة لغة في جنوب أفريقيا، مما يثبت أن النماذج الصغيرة ذات فك التشفير فقط يمكنها تحقيق أداء تنافسي في مهام فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG) الخاضعة للإشراف من خلال استراتيجيات تكييف متنوعة رغم التحديات في الاستدلال القليل من الأمثلة (few-shot reasoning).
تقترح الورقة البحثية HiCI، وهي وحدة انتباه هرمية فعالة في المعلمات مستوحاة من النظريات المعرفية تعمل على بناء ودمج تمثيلات على مستوى القطع لتوسيع نافذة سياق نموذج LLaMA-2 إلى 100 ألف توكن بفعالية مع التفوق على النماذج المرجعية القوية في مختلف مهام السياق الطويل.