11158 ورقة بحثية
تقدم الورقة البحثية GKnow، وهو معيار مرجعي يوضح أن المعرفة الواقعية المتعلقة بالنوع الاجتماعي والتحيز الجنساني متشابكان بعمق على مستوى الدوائر العصبية والخلايا العصبية في النماذج اللغوية، مما يجعل استئصال الخلايا العصبية طريقة غير موثوقة لإزالة التحيز لأنها تؤدي دون قصد إلى تدهور الدقة الواقعية.
تقدم هذه الورقة مؤشر حساسية الخطأ الفئوي (ISEC)، وهو مقياس رتبي قائم على المتجهات وقابل للتوسع، يدمج البيانات الدلالية والمورفولوجية والتجريبية لتحديد وتصنيف المخاطر الهيكلية للأخطاء الفئوية غير القابلة للاسترداد في أنظمة إدخال البيانات اليدوية بشكل استباقي، مما يعزز اتخاذ القرار للمؤسسات الصغيرة والمتوسطة.
تتقصى هذه الورقة طرقاً للتعميم لما وراء التدريب أحادي المهمة في الضبط الدقيق كفء المعلمات (PEFT)، وتثبت أن جمع مخرجات وحدات QLoRA المدربة بشكل منفصل عند الاستدلال يعد استراتيجية فعالة للغاية لتوليد النصوص المتحكم فيه متعدد السمات بنظام "التوصيل والتشغيل"، متفوقةً في كثير من الأحيان على تقنيات التركيب البديلة والنماذج المتخصصة أحادية المهمة.
تُظهر هذه الدراسة أن بناء فقرات للنماذج اللغوية الكبيرة باستخدام جمل ذات "تقارب" عالٍ —وهو مقياس لمدى فعالية التلميحات في استبعاد الإجابات غير الصحيحة— يحسن الأداء في الأسئلة الاستنتاجية بشكل ملحوظ مقارنة باختيار تشابه جيب التمام التقليدي، مع تحقيق مكاسب إضافية من خلال ترتيب هذه الجمل بترتيب تنازلي حسب التقارب.
من خلال الاستفادة من مجموعة بيانات "دولما" (Dolma) القابلة للملاحظة بالكامل ونماذج "أولمو" (OLMo)، تُظهر هذه الدراسة أن أحكام الشعبية لدى النماذج اللغوية الكبيرة مدفوعة في المقام الأول بإحصائيات التعرض أثناء مرحلة ما قبل التدريب وليس بإشارات الشعبية الخارجية في العالم الحقيقي، حيث يعمل التعرض كمؤشر أكثر دقة لانحياز النموذج من عدد مشاهدات صفحات ويكيبيديا.
تقدم هذه الورقة إطار عمل لتقييم تكافؤ الفرص لمقارنة أنظمة توليد النصوص المتحكم بها بشكل عادل، كاشفةً أن التقييم المعياري غالباً ما يسفر عن نتائج أداء أسوأ بكثير مما تم الإبلاغ عنه في الأصل، ومسلطةً الضوء على الحاجة الملحة لممارسات تقييم قابلة للتكرار لتجنب الادعاءات المضللة.
تقدم هذه الورقة البحثية Q-DAPS، وهي طريقة مبتكرة لتقدير صعوبة الأسئلة للنماذج اللغوية الكبيرة من خلال حساب إنتروبيا درجات معقولية الإجابة، مما يظهر أداءً فائقًا، ومتانة، وتوافقًا مع الأحكام البشرية عبر مجموعات بيانات متعددة مقارنة بالأساليب الحالية.
تقترح هذه الورقة إطار عمل لنمذجة النصوص والجداول متكيف مع الهدف، يستفيد من التمثيلات الخفية لنموذج "نموذج لغوي كبير كمراقب" (LLM-as-Observer) مجمد للتنبؤ بفعالية بقرارات نظراء التفاوض من الذكاء الاصطناعي غير المألوفين من خلال تاريخ تفاعل محدود، متفوقاً بذلك على التلقين المباشر والنماذج المرجعية القياسية القائمة على الميزات.
تقترح هذه الورقة أن النماذج اللغوية الكبيرة تقوم بالتعلم في السياق عبر التنقل في "فضاءات معتقدات مفاهيمية" منخفضة الأبعاد ومنظمة، حيث تظهر تحديثات المعتقدات كمسارات هندسية تنعكس باستمرار في كل من سلوك النموذج وتمثيلاته الداخلية، ويمكن التلاعب بها سببياً من خلال التدخلات الخطية.
تُثبت هذه الورقة أن المحولات (transformers) يمكنها حفظ الارتباطات الواقعية من خلال آلية هندسية حيث تقوم تضمينات الموضوعات (subject embeddings) بترميز تراكبات خطية للسمات، بينما يعمل نموذج "ملب" (MLP) صغير كمُنتقٍ عام مشروط بالعلاقة، مما يتيح التوسع اللوغاريتمي والنقل صفري المعرفة (zero-shot transfer) إلى حقائق جديدة بدلاً من الاعتماد على النمو الخطي للمعلمات.