11611 ورقة بحثية
تتناول هذه الورقة البحثية أوجه القصور في مجموعات البيانات الحالية لتقييم المواءمة الثقافية للنماذج اللغوية الكبيرة من خلال اقتراح مبادئ توجيهية جديدة للتصميم، وبناء مجموعة بيانات مقابلة، وإثبات أن هذا النهج يؤدي، من خلال تجارب مقارنة، إلى نتائج أكثر تمييزاً في التفريق بين النماذج المتخصصة ثقافياً.
تقدم هذه الورقة البحثية LLM-ReSum، وهو إطار عمل للتخليص يعتمد على التأمل الذاتي يستفيد من حلقة تغذية راجعة مغلقة بين التوليد والتقييم القائمين على النماذج اللغوية الكبيرة لتحسين الدقة الواقعية والشمولية بشكل كبير دون الحاجة إلى ضبط دقيق للنموذج، مدعوماً بتقييم شامل للمقاييس الحالية ومعيار جديد للوثائق القانونية.
تقدم هذه الورقة عملية زيادة عينات المصطلحات اللونية النادرة وتفاعلات التعلم التعزيزي متعددة المستمعين إلى إطار عمل NeLLCom-Lex، مما يثبت أن الجمع بين هذه العوامل والتعلم الخاضع للإشراف ينتج معاجم لونية لوكلاء عصبيين تكون أكثر إخباراً وأكثر تقعراً هندسياً، مما يشبه إلى حد كبير الفئات اللونية البشرية.
تقترح هذه الورقة طريقة للكشف عن كسر الحماية (jailbreak) خالية من التدريب ومستقلة عن اللغة، تقوم بمقارنة تضمينات الاستعلامات متعددة اللغات مقابل كتاب رموز (codebook) إنجليزي ثابت للمطالبات الضارة، وتُظهر أنه في حين أن التشابه الدلالي يحد بفعالية من الهجمات على القوالب النموذجية عبر اللغات، فإن أداءه يتدهور بشكل كبير في ظل تحولات التوزيع التي تنطوي على سلوكيات غير آمنة متنوعة وغير متجانسة.
تحدد هذه الورقة عدم توافق حرجاً بين الدوافع المعلنة وممارسات البحث الفعلية في مجال التعرف على العواطف في الكلام، وتجادل بأن استخدام مجموعات البيانات التي لا تعكس سياقات النشر في العالم الحقيقي يخلق مخاطر أخلاقية ويستلزم تحولاً نحو بحث ملموس مدفوع بحالات الاستخدام.
تقدم هذه الورقة البحثية "التوجيه اللاشعوري"، وهي تقنية تُثبت إمكانية نقل التحيزات السلوكية المعقدة بدقة وبشكل ميكانيكي من نموذج لغوي معلم إلى نموذج طالب عبر متجه توجيه مُشفّر في بيانات تبدو غير ضارة، مما يكشف أن التحيز والمتجه نفسه قد انتقلا إلى النموذج الطالب.
تُظهر هذه المقالة أنه في حين أن نماذج "ترانسفورمر" القياسية القائمة على "سلسلة الأفكار" لا يمكنها التعميم على مسارات الاستدلال الأطول بسبب قيود متأصلة في عمليات النسخ والاسترجاع، إلا أنها يمكنها تحقيق اكتمال تورينج قابل للتعميم من حيث الطول عبر توظيف مفردات متنامية تتضمن رموز "محدد مسار" فريدة وتشفيرات "تغير القيمة" للتغلب على هذه العوائق.
تقدم هذه الورقة PSI-Bench، وهو إطار تقييم تلقائي يستند إلى أسس سريرية ويتسم بالقابلية للتفسير، يكشف عن قصور كبير في محاكيات مرضى الاكتئاب الحالية — مثل انخفاض التنوع السلوكي والمسارات العاطفية شديدة التجانس — مع إظهار توافق قوي مع أحكام الخبراء البشريين.
تقدم هذه الورقة البحثية G-Loss، وهي دالة خسارة موجهة بالرسم البياني تستفيد من انتشار الملصقات شبه الموجه على رسم بياني لتشابه المستندات لالتقاط الهياكل الدلالية العالمية، مما يمكّن النماذج اللغوية من تعلم تمثيلات غنية بالخصائص وتحقيق دقة تصنيف فائقة مقارنة بطرق الضبط الدقيق التقليدية.
تستخدم هذه الورقة البحثية المشفّرات التلقائية المتناثرة (sparse autoencoders) والتتبع السببي (causal tracing) للكشف عن الآليات الداخلية ثلاثية المراحل للتعرف على العواطف في النماذج اللغوية الكبيرة، مما يكشف عن تمثيلات سمات متميزة لمختلف العواطف ويثبت أن توجيه السمات السببية المستهدف يحسن بشكل كبير من أداء التنبؤ بالعواطف مع الحفاظ على القدرات اللغوية.