11158 ورقة بحثية
تقدم الورقة البحثية InMind، وهو معيار شامل يكشف أن أنظمة ذاكرة الوكلاء الحالية تعاني من "نقطة عمياء في الارتباط الضمني" حرجة، حيث تفشل في استرجاع الحقائق المخزنة اللازمة للاستعلامات غير المباشرة بسبب قيود الواجهة بدلاً من نقص التخزين أو المعرفة، مما يسلط الض الضوء على الحاجة إلى آليات توجيه محسنة للحفاظ على السياق ذي الصلة.
تقدم هذه الورقة دراسة استئصال للإطار التنافسي لإثبات أن حقن رموز يونيكود ذات العرض الصفري، والرموز المتشابهة (homoglyphs)، والأخطاء الإملائية المتعمدة، هو الاستراتيجية الأكثر فعالية لتحييد أنظمة عزو التأليف الأسلوبي.
تقدم هذه الورقة LEX-EC، وهو إطار تدقيق للنماذج الصندوقية السوداء يجمع بين تشخيصات الانتشار، والاستئصال المعجمي، وتحليل حساسية المطالبة، للتمييز بين تأثيرات التوزيع الهامشي والإشارات الحقيقية المرتبطة بالسمات في تصنيف الشخصية لنماذج اللغات الكبيرة ذات التعلم الصفري عبر أنواع نصوص متنوعة.
تُثبت هذه الورقة أنه بالنسبة لنماذج الرؤية واللغة التي تعمل ضمن ميزانية ذاكرة ثابتة، فإن اختيار نموذج مكمّم أكبر حجماً على نموذج أصغر بدقة كاملة هو الخيار الأمثل لأن الحجم يحسن بشكل كبير من الكشف عن عدم اليقين الداخلي بينما يحافظ التكميم على الدقة، رغم تدهور إشارات الثقة اللفظية.
تقدم هذه الورقة ROUTEBENCH وتثبت أن نماذج المحولات الكثيفة (dense transformers) التي يتم تدريبها من الصفر يمكنها تطوير آليات توجيه داخلية مستقرة وقابلة للتفسير لاختيار عائلات الحلول بشكل تكيفي بناءً على أنظمة البيانات الكامنة، محققةً دقة توجيه عالية ومتانة عبر مختلف الاضطرابات والتمثيلات اللغوية الطبيعية.
تكشف هذه الورقة أن نماذج المكافأة المدربة تمييزياً تظهر حفظاً متحيزاً من خلال الإفراط في التخصيص لأزواج التفضيل السهلة، والاختصارات الخاصة بمجموعات البيانات، والاستدلالات البسيطة، مما يحد في النهاية من قدرتها على الحكم بدقة على جودة الاستجابة في السيناريوهات المعتمدة على السياق.
إن ELMOD هو نموذج لغوي ألماني مدمج بحجم 2.7 مليار معلمة، صُمم من أجل الاستنتاج الفعال على الأجهزة، والذي يحقق من خلال معالجة مسبقة متخصصة للبيانات وتصفية نوعية أداءً يضاهي النماذج ذات الـ 7 مليارات معلمة، وذلك أثناء العمل في ظل ميزانية حوسبة محدودة.
تقدم هذه الورقة البحثية D-Score، وهي طريقة للكشف عن الهلوسة في النماذج اللغوية الكبيرة تقوم بتحليل الهندسة الطيفية لتنشيطات الحالات الخفية خلال تمريرة أمامية واحدة لتحديد أوجه عدم الاتساق بين النص المُولد والمعرفة الداخلية للنموذج، مما يلغي الحاجة إلى مُحقِّقات خارجية أو عمليات توليد متعددة.
تقدم هذه الورقة تحليل هندسة التأثير-الميزة (FEGA) لتوضيح أنه بينما يمكن لميزات المشفّر التلقائي المتناثر أن تكون ذات صلة سببية، إلا أنها نادراً ما تعمل كاتجاهات توجيه مستقرة، حيث تُظهر بدلاً من ذلك أنماطاً هندسية متميزة حيث تنتج الميزات "الشبيهة بالقيمة" تأثيرات مهيكلة، بينما تولد الميزات "الشبيهة بالمؤشر" تغيرات منتشرة ومعتمدة على السياق.
تُثبت هذه الورقة أن استبدال مخرجات الصناديق المحيطة القائمة على الإحداثيات بواجهة نصية تعتمد على "الاقتباس والاسترجاع" يقلل بشكل كبير من هلوسة الإسناد ويحسن استدعاء الأدلة في فهم المستندات المرئية، مع تمكين التدريب الفعال أيضاً دون الحاجة إلى تسميات مكلفة على مستوى المنطقة.