12380 ورقة بحثية
تقترح هذه الورقة مقياساً مستمراً، محايداً نظرياً، ومعتمداً على نظرية المعلومات لتكلفة التخزين مشتقاً من النماذج اللغوية العصبية لقياس عبء الذاكرة العاملة في فهم الجمل، مبرهنةً على صحته من خلال الاسترداد الناجح لعدم التماثل في المعالجة المعروف، والارتباط مع المقاييس التقليدية القائمة على القواعد، والتنبؤ بأوقات القراءة في مجموعات بيانات طبيعية واسعة النط scale.
تقدم هذه الورقة ELIA، وهو تطبيق ويب تفاعلي يسد فجوة الوصول في مجال التفسير الآلي من خلال دمج تقنيات التحليل المتقدمة مع التفسيرات اللغوية الطبيعية المولدة بواسطة الذكاء الاصطناعي، مما يُمكّن غير المتخصصين من فهم مكونات النماذج اللغوية المعقدة بفعالية من خلال واجهة استكشافية متمحورة حول المستخدم.
تستخدم هذه الورقة نظرية المعلومات لتحديد حدود إمكانية مراقبة "سلسلة الأفكار" (CoT)، مقترحةً طريقتين للتدريب — تعتمدان على النموذج المثالي (oracle-based) وتعظيم المعلومات المتبادلة الخالية من الملصقات (label-free mutual information maximization) — تعملان بشكل منهجي على تحسين دقة المراقبة مع منع تدهور سلسلة الأفكار والتخفيف من حدة استغلال المكافأة (reward hacking).
تقدم هذه الورقة VeriSoftBench، وهو معيار قياسي على مستوى المستودعات يضم 500 التزام بإثبات لغة Lean 4 من مشاريع التحقق من البرمجيات مفتوحة المصدر، كاشفةً أن النماذج اللغوية الكبيرة الحالية تعاني في الانتقال من الإعدادات الرياضية إلى الإعدادات المتمحورة حول الكود، ومسلطةً الضوء على التأثير الحاسم للتبعية بين الملفات على نجاح أتمتة الإثبات.
إن "فيتشارا" (Vichara) هو إطار عمل مبتكر صُمم للتنبؤ بالأحكام القضائية الهندية وتفسيرها من خلال تفكيك وثائق القضايا إلى نقاط قرار مهيكلة وتوليد تفسيرات مستوحاة من منهجية (IRAC)، محققاً أداءً رائداً وقدرة عالية على التفسير عبر نماذج لغوية كبيرة متعددة.
تقدم هذه الورقة إطار عمل للتحقق ثنائي المقياس يجمع بين التوسيم البشري النقطي والزوجي لتقييم تنبؤات الموقف السياسي بواسطة النماذج اللغوية بفعالية، مما يثبت أنه بينما تكون التنبؤات الفردية ذاتية، فإن التصنيفات الترتيبية المستمدة منها تحقق توافقًا عاليًا مع الأحكام البشرية وتسمح بإنشاء قاعدة معرفية واسعة النطاق ومحققة للمجادلة في الخطاب السياسي.
تقترح هذه الورقة إطاراً بديهياً موحداً يشتق بنيات الشبكات المتكررة والمحولات من المجموعات الجزئية المغلقة لـ U(d)، مبرهنةً من خلال التجارب على مهام نمذجة اللغة أن النماذج التي تستخدم فضاءات حالة متعامدة (O(d)) مع خلط في المماس الخطي تحقق أداءً تنافسياً في ظل إعدادات متطابقة المعلمات.
تقدم هذه الورقة البحثية تقنية SPQ، وهي تقنية ضغط تجميعية تجمع بشكل تآزري بين تفكيك القيم المفردة (SVD)، والتقليم القائم على التنشيط، وتكميم ما بعد التدريب لتحقيق خفض كبير في الذاكرة وتحسين سرعة الاستدلال للنماذج اللغوية الكبيرة مثل LLaMA-2-7B مع الحفاظ على مستويات الارتياب ودقة المهام اللاحقة أو تعزيزها مقارنة بالنماذج المرجعية الحالية.
تقدم هذه الورقة إطار عمل "الاسترجاع-التحقق-الاسترجاع" (RVR)، وهو إطار عمل متعدد الجولات يعمل على تعزيز الاستعلامات بشكل تكراري بوثائق تم التحقق منها لتعظيم التغطية الشاملة للإجابة، مما يظهر تحسينات كبيرة في الاستدعاء مقارنة بالنماذج المرجعية الحالية عبر مجموعات بيانات متنوعة.
تُكيّف هذه الدراسة نظام علاقات الخطاب الخاص باللغة المكتوبة ليناسب الحوار العفوي باستخدام تعليقات توضيحية من مصادر جماعية لتوضيح أن توزيعات علاقات الخطاب تتباين بشكل كبير عبر السياقات الحوارية المختلفة، مع إظهار أن التعليقات التوضيحية أحادية الدور تقدم أكبر قدر من عدم اليقين، بينما تؤكد في الوقت ذات نفسه أن هذه التعليقات ذات جودة كافية ليتم التنبؤ بها من خلال تضمينات وحدات الخطاب.