12380 ورقة بحثية
تُجمّع هذه الدراسة الاستقصائية الرؤى المستمدة من تعقيد الدوائر، ونظرية التقريب، وتعقيد الاتصال لتوضيح العوائق الهيكلية والحسابية الجوهرية التي تمنع بنيات المحولات (transformer architectures) من أداء مهام الاستدلال المنطقي المتقطع بدقة، مع تقديم دلالات لتصميم النماذج المستقبلية.
تتناول هذه الدراسة غياب إطار عمل مهيكل لهندسة الأوامر في توليد اللغة الطبيعية من خلال تقديم تصنيف شامل، ودليل اتخاذ قرار للممارسين، وإطار عمل موحد يربط بين التصميم والتحسين والتقييم لتعزيز القدرة على التحكم والتعميم في النماذج اللغوية الكبيرة.
تستعرض هذه الورقة التقدم والتحديات والتوجهات المستقبلية للتفسير الآلي كإطار عمل حاسم لفهم نماذج اللغات الكبيرة ومواءمتها، مع تسليط الضوء على دوره في توجيه استراتيجيات مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) مع معالجة عقبات مثل تعدد المعاني والتراكب.
تقدم هذه الورقة البحثية SurveyLens، وهو أول معيار مرجعي مدرك للتخصصات وإطار تقييم ثنائي العدسات مصمم لتقييم وتوجيه استخدام أساليب التوليد التلقائي للمسوحات عبر مختلف المجالات الأكاديمية، مما يعالج أوجه القصور في المقاييس الحالية المنحازة لعلوم الحاسوب ومعايير التقييم العامة.
تضع هذه الورقة حدوداً نظرية تقترب من التطابق، تُظهر أنه في حين أن إمكانية الوصول الخطي تُعد قيداً أقوى بكثير من مجرد التمثيل الخطي، إلا أنه لا يزال بإمكان عصبونات النماذج اللغوية تخزين عدد أسي من الميزات بموجب فرضية التمثيل الخطي.
تقدم هذه الورقة البحثية Mis-Align Bench، وهو معيار موحد ومجموعة بيانات SAVACU التي تضم أكثر من 382,000 عينة، لتقييم عدم توافق النماذج اللغوية الكبيرة عبر أبعاد السلامة والقيم والثقافة في آن واحد، مما يكشف أن النماذج المُحسّنة لأبعاد منفردة تعاني من معدلات فشل كاذب عالية وانخفاض في درجات التوافق عند مواجهة ظروف واقعية مشتركة.
تقدم هذه الورقة إطار عمل يستخدم اختبارات الحكم الموقفي لتقييم مدى توافق الاستعدادات السلوكية للنماذج اللغوية الكبيرة مع التفضيلات البشرية، مما يكشف عن أن النماذج غالباً ما تظهر ثقة مفرطة، وتتباعد عن الإجماع البشري، وتُظهر فجوات بين قيمها المعلنة وسلوكياتها المكشوفة.
تقترح الورقة إطار عمل "الاستقصاء عبر إعادة الصياغة والتحقق من الاتساق" (PPCV)، وهو منهج ذو مرحلتين يحدد رموز الاستدلال الحرجة من خلال الاستقصاء عبر إعادة الصياغة، ويعمل على تحسين أداء النماذج اللغوية الكبيرة عن طريق استبدال هذه الرموز والتحقق من الاتساق عبر مسارات الاستدلال المتوازية.
تقترح هذه الورقة البحثية "البعد الدلالي المتناثر" (SSD)، وهو مقياس للتعقيد يعتمد على سمات المشفّر التلقائي المتناثر، لتفسير التعميم القوي للنماذج اللغوية الكبيرة من خلال إثبات أن سعتها الفعالة تكمن في متشعب متناثر منخفض الأبعاد بدلاً من إجمالي عدد المعلمات، مع الكشف أيضاً عن أن النماذج الأكبر تتعلم هياكل أكثر قابلية للضغط، وأن الانحرافات عن هذا المتشعب تعمل كمؤشرات موثوقة للمدخلات الخارجة عن نطاق التوزيع.
تقدم هذه الورقة البحثية "الضبط الدقيق للإنتروبيا الديناميكية" (DEFT)، وهو هدف خالٍ من المعلمات يوحد الضبط الدقيق الموجه (SFT) مع أهداف إنتروبية معممة عبر تعديل الثقة في التدرج ديناميكياً بناءً على عدم اليقين التنبؤي لحل معضلة المرونة والاستقرار وتحسين أداء النموذج.