12253 ورقة بحثية
تتقصى هذه الورقة مدى متانة التوجيه التبايني للنماذج اللغوية الكبيرة ضد فساد البيانات، كاشفةً أنه في حين تتحمل هذه الطريقة الضجيج المتوسط، إلا أن التعديلات الخبيثة في البيانات يمكن أن تسبب آثاراً جانبية ضارة يتم التخفيف من حدتها بفعالية عبر استبدال حساب المتوسط القياسي بمقدرات المتوسط المتينة.
تقدم هذه الورقة البحثية "تحسين الاستجابة الموجه بالكثافة" (DGRO)، وهي طريقة تعمل على مواءمة النماذج اللغوية مع المعايير المجتمعية المتنوعة عبر الاستفادة من الكثافة الهندسية للمحتوى المقبول ضمنياً في فضاء التمثيل، مما يتيح التكيف الفعال في البيئات التي تفتقر إلى بيانات التوسيم دون الاعتماد على تسميات تفضيل صريحة.
تتناول هذه الورقة التحدي الحرج المتمثل في الهلوسة وإساءة الاستخدام الضارة في النماذج اللغوية الكبيرة من خلال استكشاف الحلول التقنية والتنظيمية والتعليمية اللازمة من مدققي الحقائق والمؤسسات الإخبارية وصناع السياسات لضمان صحة المعلومات في عصر الذكاء الاصطنام التوليدي.
تقيم هذه الورقة قدرات ومحددات ملحق تحليل البيانات (Data Analysis plugin) الخاص بـ OpenAI كعامل مساعد كمي (quantitative co-pilot) لسير عمل علم البيانات، مما يبرز فعاليته في مهام تتراوح بين استكشاف البيانات والتصور البياني وصولاً إلى النمذجة الخاضعة للإشراف وغير الخاضعة للإشراف.
تقدم هذه الدراسة مراجعة شاملة للأبحاث المتعلقة باستخدام وكلاء النماذج اللغوية الكبيرة (LLM) في التداول المالي، حيث تلخص بنياتها، ومدخلات بياناتها، وأداء اختبار العائد، والتحديات مع تحديد توجهات البحث المستقبلية.
تقدم الورقة البحثية SynthKG، وهو مسار لتخليق البيانات ونموذج مُقطر أحادي الخطوة يسمى Distill-SynthKG، يقوم بتوليد رسوم بيانية معرفية عالية الجودة على مستوى المستندات باستخدام نماذج أصغر مضبوطة بدقة، مما يتغلب بفعالية على قيود التكلفة والجودة للطرق الحالية مع تحسين أداء الاسترجاع والإجابة على الأسئلة بشكل كبير.
تقدم هذه الورقة عائلة من دوال التنشيط متعددة الحدود، والمثلثية، والتروبية المشتقة من قواعد متعامدة، والتي عند دمجها مع تهيئة الحفاظ على التباين، تُمكّن من التدريب الناجح لنماذج عميقة مثل GPT-2 وConvNeXt مع التخفيف من عدم استقرار التدرج، وتوفير قابلية تفسير متعددة الحدود، وتسهيل الضبط الدقيق من خلال استكمال هيرميت.
تقترح هذه الورقة طريقة حقن ضجيج خالية من التدريب تعمل على تشويش معاملات النموذج أو تنشيطاته أثناء عملية أخذ العينات لالتقاط عدم اليقين البايزي بشكل أفضل، مما يحسن بشكل كبير من اكتشاف الهلوسة في النماذج اللغوية الكبيرة مقارنة بأخذ العينات القياسي على مستوى الرمز.
تُظهر هذه الورقة أن النماذج اللغوية الكبيرة يمكنها التفوق على المُلَقّنين البشريين المحفزين في سياقات صادقة وخادعة على حد سواء، رغم أن هذا التفوق يعتمد على السياق، ويتفاوت باختلاف النموذج، ويتراجع مع التفاعلات المتكررة، ويرجع ذلك على الأرجح إلى تعبير النماذج عن قناعة أعلى.
تقدم هذه الورقة البحثية DTR، وهو دفاع مبتكر أثناء وقت الاستدلال يعمل على إعادة وزن الرموز البصرية ديناميكيًا من خلال تحسين مخازن المفتاح-القيمة (key-value caches) للتخفيف بفعالية من هجمات الاختراق متعددة الوسائط في النماذج اللغوية البصرية مع الحفاظ على القدرات العامة والكفاءة.