22999 ورقة بحثية
تقترح هذه الورقة إطار عمل للضبط الدقيق يعتمد على "التخزين المؤقت والتعزيز" (Buffer-and-Reinforce)، والذي يستخدم محولات كسر الحماية المؤقتة لتخزين التدرجات الضارة مؤقتاً ثم تعزيز محاذاة السلامة عبر الدمج القائم على تفكيك القيم المفردة (QR decomposition)، مما يحمي النماذج اللغوية الكبيرة من هجمات الضبط الدقيق الضارة دون الحاجة إلى بيانات سلامة إضافية أو عبء حوسبي كبير.
تُثبت هذه الورقة أن نماذج الاسترجاع متعددة اللغات ذات التعلم الصفري (zero-shot) تظهر أداءً أقل بكثير من النماذج أحادية اللغة للغة الأمهرية، وتجادل بأن الوصول العادل للمعلومات للغات الممثلة تمثيلاً ناقصاً والغنية صرفياً يتطلب تقييماً وتكيفاً داخل اللغة نفسها بدلاً من الاعتماد على معايير القياس متعددة اللغات الإجمالية.
تجادل هذه الورقة بأن سير عمل الذكاء الاصطناٍل من أجل العلوم يجب أن يعامل مسارات القياس إلى البيانات كمكونات استدلال نشطة بدلاً من كونها مصادر بيانات ثابتة لمعالجة فضاءات الفرضيات الخفية، وعدم قابلية النقل الموثقة، والتعدد غير المحكوم، مما يتيح كفاية قابلة للقياس في المسار وأدلة علمية قابلة لإعادة الإنتاج.
تقدم هذه الورقة PILOT، وهو مُحسِّن عبر الإنترنت تكيفي يقوم بضبط سلوك التحديث ديناميكيًا بناءً على الاتفاق في اتجاه التدرج لتحسين استقرار التدريب وتحقيق دقة فائقة على FashionMNIST وCIFAR-10 مقارنة بالطرق الحالية.
تُثبت هذه الورقة أن نماذج المحولات (transformers) المدربة بشكل مستقل تحسب دوالاً متطابقة باستخدام إحداثيات داخلية غير مفهومة متبادلاً ومرتبطة بدوران عشوائي منتظم، وهي ظاهرة تُسمى "تعدد الأشكال" (polymorphism) يمكن حلها عبر عملية مطابقة "بروكرستس" متعامدة واحدة لتمكين النقل المباشر لقواميس الميزات ومتجهات التوجيه دون الحاجة لإعادة التدريب.
تُدقق هذه الورقة البحثية في انزياحات التنشيط الناجمة عن المحاذاة في ثلاثة نماذج لغوية كبيرة مضبوطة بالتعليمات، وذلك عبر تقديم مقياس للرتبة الفعالة محكوم بالمربكات لعزل اتجاهات الرفض، مما يثبت أنه بينما يؤدي تعظيم الرتبة الطفيف إلى تحسين المتانة، فإن المقياس نفسه ليس خاصاً بالسلامة ويفشل في توفير حد أدنى مطابق بسبب القيود الهيكلية في فرضيات الفجوة الطيفية.
يقدم LAPLEX فئة من مؤثرات نواة لابلاتس (Laplace-kernel) الدقيقة والقابلة للتدريب، والتي تحقق مقياساً يشبه تحويل فوريه السريع (FFT-like scaling) لتمكين التفاعلات العالمية المتكيفة مع البيانات ونمذجة التباين عالي الأبعاد دون تكاليف تخزين المصفوفات الكثيفة، مما يفصل بفعالية بين القدرة التعبيرية ومتطلبات الذاكرة.
تؤسس هذه الورقة إطاراً جبرياً صارماً قائماً على نظرية الشبكة (lattice theory) والمورفولوجيا الرياضية لتحليل الشبكات العصبية الالتفافية العميقة، كاشفةً أن طبقات الشبكات الالتفافية التقليدية تشكل مؤثرات شبكية متقاطعة غير متماثلة (non-idempotent cross-lattice operators) تفسر القدرة التمثيلية للعمق، مع اقتراح وتوصيف ثلاثة تصميمات لطبقات مورفولوجية متماثلة (idempotent) حقيقية وتوحيد مختلف تقنيات التجميع (pooling) والهرم (pyramid) تحت نظرية مرافق (adjoint theory) موحدة.
تُثبت هذه الورقة أن شبكات هوبفيد غير المتماثلة والمتزامنة الكلاسيكية ذات العصبونات الثنائية يمكنها تحقيق سعة فوق متعددة الحدود لتخزين تسلسلات زمنية طويلة ومقاومة للضوضاء، مما يتحدى الرؤية التقليدية التي ترى أن مثل هذه الشبكات تقتصر على تخزين الأنماط الساكنة.
تقترح هذه الورقة مشفرًا-فك مشفر للتشتت مدركًا للطور (Phase-Aware Scattering Encoder-Decoder) يعمل على تعزيز مهام التنبؤ الكثيف مثل إزالة الضجيج من الصور وتجزئة آفات الجلد، وذلك من خلال الحفاظ صراحةً على معلومات الطور في وصلات التخطي، مما يؤدي إلى استعادة البنية المكانية المفقودة في تحويلات التشتت التقليدية وتحسين مقاييس الأداء بشكل كبير.