Transformer-based Multimodal Representation Learning for Blind Acoustic Classification
تقدم هذه الورقة إطار عمل مبتكرًا قائمًا على تقنية "المحول" (transformer) يدمج بين نموذج صوتي ذاتي الإشراف (M2D) ونموذج لغوي معزز بالمعرفة (MPNet) لتحقيق تصنيف عالي الدقة للأحداث الصوتية والمشاهد بشكل أعمى على بيانات غير مصنفة، مما يظهر أداءً قويًا عبر مجموعات بيانات متنوعة وظروف ضوضائية مختلفة.