12498 ورقة بحثية
يُعد OmniGen2 نموذجاً مفتوح المصدر، متوافقاً مع التعليمات ومتعدد الوسائط، يستخدم بنية ذات مسارين بمعلمات منفصلة لتحقيق أداء رائد في مهام تحويل النص إلى صورة، وتحرير الصور، والتوليد السياقي القائم على الموضوع، مع الحفاظ على القدرات النصية الحالية.
تقدم هذه الورقة البحثية SMART-Ship، وهو عبارة عن مجموعة بيانات ومعيار مرجعي شامل ومتزامن متعدد الوسائط يحتوي على 1092 مجموعة صور مسجلة مكانياً وزمانياً مع تعليقات توضيحية دقيقة لـ 38,838 سفينة راسية عبر خمسة أنماط من الاستشعار عن بعد، صُممت لتعزيز المراقبة البحرية وتحليل الاستشعار عن بعد متعدد الوسائط.
تقدم الورقة البحثية RADAR، وهو إطار عمل للكشف عن الشذوذ وتجزئته في الوقت الفعلي وبدون إعادة بناء، يستفيد من نماذج الانتشار القائمة على الانتباه لتوليد خرائط الشذوذ مباشرة، مما يتغلب على عدم الكفاءة الحسابية والغموض في إعادة البناء الذي تعاني منه الطرق التكرارية الحالية مع تحقيق أداء هو الأفضل في فئته على مجموعات البيانات الصناعية.
إن ORCA هو إطار عمل استدلالي وكيل يعزز الدقة الواقعية والمتانة في مواجهة الهجمات العدائية للنماذج اللغوية البصرية الضخمة سابقة التدريب من خلال حلقة "الملاحظة-الاستدلال-النقد-التنفيذ" أثناء وقت الاستدلال باستخدام أدوات بصرية صغيرة، محققاً مكاسب أداء كبيرة في اختبارات الهلوسة والاختبارات العدائية دون الحاجة إلى إعادة تدريب النموذج أو الوصول إلى بنيته الداخلية.
تقدم الورقة البحثية "وكيل الاستدلال البصري" (VRA)، وهو إطار عمل لا يتطلب تدريباً يقوم بتنسيق نماذج الرؤية واللغة الكبيرة مع نموذج استدلال من خلال حلقة تكرارية من (التفكير-النقد-التنفيذ) لتعزيز أداء الاستدلال البصري في الاستشعار عن بعد بشكل كبير دون الحاجة إلى إعادة تدريب النماذج.
تُثبت هذه الورقة أن الضبط الدقيق الانتقائي لمكونات محددة في النماذج اللغوية الكبيرة متعددة الوسائط، مثل إسقاطات الانتباه الذاتي أو بوابات الشبكات العصبية ذات الانتشار الأمامي (MLP)، يقلل بفعالية من النسيان الكارثي أثناء تعلم المهارات المتسلسل من خلال التحكم في تحولات توزيع المخرجات، متفوقاً بذلك على الضبط الدقيق الكامل والطرق الحالية للتخفيف من حدة النسيان دون الحاجة إلى آليات معقدة مثل إعادة التشغيل أو المعلمات الإضافية.
تقدم الورقة البحثية RepTok، وهو إطار عمل توليدي فعال يمثل الصور كرموز كامنة مستمرة واحدة مشتقة من نماذج محولات الرؤية ذات التعلم الذاتي والمنقحة، مما يتيح تخليقاً تنافسياً للصور المشروطة بالفئات وتلك القائمة على النصوص مع تقليل تكاليف التدريب والارتباط المكاني بشكل كبير.
تقدم هذه الورقة البحثية ReefNet، وهو عبارة عن مجموعة بيانات ومعيار مرجعي عام واسع النطاق يحتوي على ما يقرب من 925,000 تسمية لشعاب مرجانية تم التحقق منها من قبل خبراء ومصنفة وفق تصنيف قياسي، والتي تُستخدم لتقييم وكشف القصور الكبير في نماذج الرؤية واللغة والنماذج متعددة الوسائط الحالية في التعرف الدقيق على المرجان تحت ظروف واقعية من ضجيج التسميات، وعدم توازن الفئات، والانزياح النطاقي.
تقدم الورقة البحثية "Hydra Ensembles"، وهي طريقة فعالة تعتمد على نماذج المحولات (transformer) تعمل على تقليم ودمج رؤوس الانتباه لإنشاء نماذج متنوعة ومدمجة تضاهي أو تتفوق على أداء "Deep Ensembles" في تقدير عدم اليقين مع الحفاظ على سرعات استدلال تقارب سرعة الشبكة المنفردة.
تقدم هذه الورقة البحثية SoccerNet-GAR، وهي مجموعة بيانات متعددة الوسائط متزامنة لمباريات كأس العالم 2022، لتقييم التعرف على الأنشطة الجماعية وإثبات أن النماذج القائمة على التتبع التي تستخدم بنية رسومية مبتكرة واعية بالأدوار تتفوق بشكل كبير على النهج القائم على الفيديو في كل من الدقة والكفاءة الحسابية.