23816 ورقة بحثية
تقدم هذه الورقة مساراً تجريبياً يستخدم التفضيلات المعلنة لتقييم وتوجيه اتخاذ القرار في النماذج اللغوية الكبيرة في المجالات الطبية عالية المخاطر، حيث وجدت أنه بينما تُظهر النماذج تماسكاً داخلياً، إلا أنها تواجه صعوبة في التعبير لفظياً بدقة أو التبني الموثوق للأهداف المحددة من قبل المستخدم.
تقترح الورقة البحثية إطار عمل MC-RFM، وهو إطار عمل للتكيف بلقطات قليلة وكفاءة في المعلمات، يقوم بنمذجة تحديثات الميزات على منوع ريماني ذي انحناء مختلط لالتقاط كل من الدلالات الهرمية والتباينات البصرية المحلية بشكل أفضل، محققاً أداءً هو الأفضل حالياً عبر مختلف معايير الرؤية الحاسوبية والهياكل الأساسية.
تقدم هذه الورقة خوارزمية "رفيق الاستمرار التكيفي القائم على العتبة" (TACC) للمتعددات الأذرع متعددة الدقة، والتي تستفيد من المصادر البديلة المحسنة مثل النماذج اللغوية الكبيرة (LLMs) لتقرير متى يجب الاستمرار في أخذ العينات منخفضة التكلفة مقابل التصعيد إلى التقييم عالي الدقة بشكل ديناميكي، مما يحقق حدود ندم تعتمد على الحالة تستبدل التأكيدات عالية الدقة اللوغاريتمية بالاستمرار منخفض الدقة المحدود.
تُثبت هذه الورقة أن أي دالة محدبة وليبشيتزية (Lipschitz) في فضاء هيلبرت قابل للفصل يمكن تقريبها بانتظام إلى أي درجة من الدقة بواسطة صيغة مُنشأة صراحةً، وقابلة للحساب منتهياً، ومحافظة على التحدب، وقابلة للتنفيذ كشبكة عصبية متعددة الطبقات ذات وحدات خطية متقطعة (ReLU-MLP)، مما يؤسس لأساس منهجي لتعلم مثل هذه الدوال من خلال فئة معمارية جديدة تسمى الدوال العصبية المحدبة (Convex Neural Functionals).
تحل هذه الورقة البحثية المفارقة التي تكمن في أن تقليص أحجام كتل التكميم يؤدي إلى تدهور أداء النماذج اللغوية الكبيرة من خلال إثبات أن المشكلة تنبع من تفاعل التوزيعات ذات الذيول الثقيلة بشكل سيئ مع تنسيقات FP4، وتُظهر أن التدخلات الخوارزمية المستهدفة مثل قياس 4-على-6 ومنع نقص التدفق تسمح للتنسيقات القياسية المتوافقة مع الأجهزة بتحقيق الجودة المثلى مع دقة حبيبية أعلى.
تقترح الورقة البحثية إطار عمل PARSE، وهو إطار عمل لما بعد التدريب يعمل على تعزيز ضغط النماذج اللغوية الكبيرة القائم على تحليل القيم المفردة (SVD) عبر الاختيار الديناميكي للرتب المثلى لكل مطالبة (prompt) على حدة من خلال موجه (router) مُدرب مسبقاً وتخزين الأنماط مؤقتاً، مما يؤدي إلى تحسين دقة النموذج وكفاءة الاستنتاج بشكل كبير مقارنة بطرق بتر الرتب الثابتة.
تكشف هذه الورقة أن نماذج خليط الخبراء (MoE) المدربة مسبقاً والموجودة حالياً تمتلك بطبيعتها تشتتاً كبيراً في تنشيط الخلايا داخل الخبير الواحد، وهو ما يمكن الاستفادة منه عبر تعديل مسار تنفيذ vLLM لتخطي حسابات الخلايا غير النشطة، مما يحقق تسريعاً يصل إلى 2.5 ضعف في تنفيذ طبقة MoE و1.2 ضعف في السرعة الإجمالية للنظام دون الحاجة إلى أي إعادة تدريب للنموذج أو تعديل للمعلمات.
تقدم الورقة البحثية "انتباه كازمارك الخطي" (KLA)، وهو نموذج معدل من "Gated DeltaNet" يستبدل معامل التحديث الذي تم تعلمه تجريبياً بخطوة كازمارك ذات حجم مُعين نظرياً ومُطبع وفقاً لمعيار المفتاح (key-norm-normalized)، مما يؤدي إلى تفوق في مستويات الحيرة (perplexity)، واستقرار في السياقات الطويلة، وكفاءة في فك التشفير دون تغيير بنية النموذج أو شكل الحالة.
تقدم الورقة البحثية "محول الاستنتاج الشبكي" (LDT)، وهو نموذج متكرر يحقق دقة تقارب الكمال في الألغاز المنطقية المعقدة مثل السودوكو والمتاهات من خلال تقريب الاستنتاج السليم عبر الإسقاطات الشبكية والتفسير المجرد، متفوقاً بشكل كبير على النماذج اللغوية الكبيرة الرائدة مع الحفاظ على السلامة التجريبية.
تقيم هذه الورقة بشكل منهجي ست طرق للكشف عن البيانات خارج التوزيع (OOD) على مجموعة بيانات أمراض النباتات (Plant Pathology 2021) دقيقة التفاصيل، حيث تُظهر أن الضبط الدقيق القائم على الطاقة يتفوق على النماذج المرجعية من خلال إعادة هيكلة فضاء التضمين ومعايرة الدرجات، بينما تكشف أيضاً عن عدم استقرار تدريبي عملي في طرق التحسين المقيد التي غالباً ما يتم التغاضي عنها في المعايير القياسية.