Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution
تقترح هذه الورقة البحثية "المعالجة البصرية المنفصلة" (DVP)، وهي إطار عمل للتدريب كفء من حيث المعلمات، يستبدل طبقات فك التشفير العليا لنموذج لغوي كبير متعدد الوسائط بكتلة ترانسفورمر واحدة خفيفة الوزن مخصصة للرموز البصرية، مما يحقق أداءً تنافسيًا في الاختبارات المرجعية مع تحديث جزء ضئيل فقط من إجمالي المعلمات.