Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models
تقدم هذه الورقة ML-FOP-SOAP، وهو إطار تحسين من الدرجة الثانية يتميز بتصحيح التباين متعدد المستويات والإسقاط الفيشري-المتعامد لحل مشكلة تنافس الأنماط في النماذج متعددة الوسائط ذاتية الانحدار، مما يتيح تدريبًا مستقرًا للدفعات الكبيرة ويحسن بشكل كبير كلاً من كفاءة العينات وسرعة وقت التنفيذ مقارنة بـ AdamW.