24608 ورقة بحثية
تقدم الورقة البحثية D-PACE، وهي دالة فقدان "الاعتراض المتقاطع" الديناميكية المدركة للموضع التي تضبط أوزان التدريب تكيفياً بناءً على طول المسودة المتوقع قبولها لتحسين كفاءة وسرعة فك التشفير التكهني المتوازي دون تغيير بنية النموذج أو إجراءات الاستدلال.
تقدم هذه الورقة نموذج عالم قائم على الانتشار يتغلب على مقايضة الذاكرة والدقة في البنيات الحالية من خلال دمج خبراء ذاكرة متخصصة قصيرة المدى، وحلقية، ومكانية عبر صيغة تباينية لـ "حاصل ضرب الخبراء"، محققاً بذلك تنبؤاً مستقبلياً عالي الدقة وقابلاً للتوسع دون تكاليف حوسبة تربيعية.
تقدم هذه الورقة بنية خدمات مصغرة وتجربة تشغيلية لنشر مسارات الذكاء الاصطناعي للمستندات على نطاق واسع، مع تسليط الضوء على قرارات التصميم مثل فصل مهام وحدة معالجة الرسومات (GPU) عن مهام وحدة المعالجة المركزية (CPU)، وكشف أن زمن انتقال التعرف الضوئي على الحروف (OCR) وسعة وحدة معالجة الرسومات المشتركة، وليس تعقيد النموذج أو عدد العمال، هما العائقان الأساسيان في بيئة الإنتاج.
تقترح هذه الورقة البحثية "Hybrid-LoRA"، وهو إطار عمل لما بعد التدريب يجمع استراتيجياً بين الضبط الدقيق الكامل لمجموعة فرعية صغيرة وعالية الحساسية من الوحدات وبين التكيف منخفض الرتبة (Low-Rank Adaptation) لبقية الوحدات، محققاً أداءً يضاهي الضبط الدقيق الكامل مع تقليل التكاليف الحسابية بشكل كبير والتفوق على النماذج المرجعية الحالية الموفرة للمعلمات في مهام الاستدلال المعقدة.
تقدم هذه الورقة إطار عمل مؤتمتًا متعدد الوكلاء لإنشاء معايير مرجعية دقيقة وغنية بالبيانات الوصفية، قائمة على مواد مرجعية توفر موثوقية فائقة في الحقائق المرجعية وتغطية شاملة للكفاءات مقارنة بالتقييمات الحالية مثل MMLU وGSM8K.
تقترح هذه الورقة انتباه -، وهو بارامتريّة مستقرة تفكك مكونات التوجيه والترشيح في الانتباه للكشف عن شلال طيفي يعتمد على العمق، مما يتيح ضغطاً كبيراً للنموذج وخطيّةً للطبقات المبكرة مع حد أدنى من فقدان الاندهاش.
تقدم هذه الورقة البحثية "محول الترشيح البايزي" (BFT)، وهو إطار عمل مبني على أسس منهجية يعيد تفسير مكونات المحول (Transformer) كعمليات ترشيح كالمان (Kalman filtering) وعمليات كريجينج (kriging) لنمذجة عدم اليقين بشكل صريح، مما يحسن الأداء بشكل كبير في سيناريوهات البداية الباردة في التوصية المتسلسلة ويعزز المتانة ضد البيانات الضوضائية في النماذج اللغوية الكبيرة.
تقترح هذه الورقة إطار عمل جديداً ومؤتمتاً لتقييم جودة البيانات الضخمة يستفيد من تضمينات الرسوم البيانية المعرفية للتنبؤ بقواعد وأبعاد الجودة المدركة للسياق، مما يؤدي إلى توليد خطط تقييم مخصصة وموزونة تتغلب على قيود طرق المطابقة الصارمة التقليدية.
تقترح الورقة البحثية إطار عمل VCR، وهو إطار عمل ذاتي الإشراف يستفيد من التجزئة المتعامدة لفصل الدلالات المشتركة عن البقايا الخاصة بكل نمط، مما يتيح مراقبة صحية قوية من إشارات الأجهزة القابلة للارتداء غير المكتملة عبر إعادة بناء المكونات المشتركة القابلة للاستنتاج فقط لمنع الهلوسة.
تحدد هذه الورقة "انتقال محاذاة" خفيًا في النماذج اللغوية حيث يتحول الاستنتاج والصدق من كونهما متضادين إلى كونهما متعاونين بعد تجاوز مقياس حرج، وهو تغير طوري يمكن التنبؤ به والتلاعب به من خلال التعديلات الهيكلية، وتقنيات تنقية البيانات، ووصفات التدريب دون الحاجة إلى الوصول إلى المكونات الداخلية للنموذج.