12754 ورقة بحثية
تقدم هذه الورقة معياراً جديداً يتكون من 144 مهمة بصرية لتقييم قدرة نماذج الرؤية واللغة على أداء اتخاذ المنظور البصري، مما يكشف أنه بينما تتفوق هذه النماذج في فهم المشاهد، فإن أداءها ينخفض بشكل كبير في الاستدلال المكاني واتخاذ المنظور البصري، مما يسلط الضوء على فجوة حرجة بين التعرف على الأشياء والإدراك المكاني الأعمق.
تقيم هذه الدراسة مدى التوافق بين الأصوات الحضرية والبيانات المرئية عبر الصور الملتقطة على مستوى الشارع والصور الجوية في لندن ونيويورك وطوكيو، كاشفةً أنه في حين توفر النماذج القائمة على التضمين (embedding-based models) تطابقاً دلالياً فائقاً، فإن الطرق القائمة على التجزئة (segmentation-based methods) تقدم رؤى إيكولوجية أكثر قابلية للتفسير ضمن إطار "البيوفوني-الجيوفوني-الأنثروبوني" (Biophony–Geophony–Anthrophony).
تقترح الورقة البحثية SECOND، وهو نهج فك تشفير انتقائي وتباين جديد يقلل من هلاوس الكائنات في النماذج اللغوية البصرية من خلال الاختيار والتباين التدريجي للمعلومات البصرية متعددة المقاييس للتوافق مع الإدراك البشري وتحسين الدقة عبر المعايير المرجعية.
تُظهر هذه الدراسة أنه في حين تتفوق النماذج اللغوية البصرية المتخصصة طبياً في المهام المتوافقة مع أنماطها، فإن النماذج اللغوية البصرية العامة التي تم ضبطها بدقة وكفاءة يمكن أن تحقق أداءً مماثلاً أو متفوقاً عبر معظم السيناريوهات السريرية، لا سيما في الأنماط غير المرئية أو النادرة، مما يوفر مساراً أكثر قابلية للتوسع وفعالية من حيث التكلفة للنهوض بالذكاء الاصطناعي السريري.
تقدم هذه الورقة ShotBench، وهو معيار شامل لتقييم الفهم السينمائي في النماذج الرؤية-اللغوية، وتقدم ShotVL، وهو نموذج رائد تم تدريبه على مجموعة بيانات واسعة النطاق يتفوق بشكل كبير على الأنظمة الحالية في تفسير اللغة البصرية الدقيقة للسينما.
يقدم AnthroTAP مساراً مؤتمتاً يولد بيانات تتبع نقاط ذات تسميات زائفة واسعة النطاق من فيديوهات حركة بشرية واقعية عبر الاستفوتادة من نماذج SMPL واتساق التدفق البصري، مما يمكّن نموذجاً تم تدريبه على هذه البيانات من تحقيق أداء رائد في معيار TAP-vid.
تقترح الورقة البحثية إطار عمل MAN++، وهو إطار تعلم محلي تحت الإشراف يستخدم شبكة مساعدة ذات زخم تعتمد على المتوسط المتحرك الأسي مع انحياز قياس قابل للتعلم لسد الفجوات المعلوماتية بين الكتل، مما يحقق أداءً يضاهي الانتشار العكسي من طرف إلى طرف مع تقليل استهلاك ذاكرة وحدة معالجة الرسومات بشكل كبير.
يُعد AVATAR إطار عمل مبتكر للاستدلال متعدد الوسائط في الفيديو، يتغلب على قيود عدم كفاءة البيانات، وتلاشي الميزة، والتعيين الموحد للمسؤولية التي تعاني منها الأساليب الحالية مثل GRPO، وذلك من خلال تقديم بنية تدريب خارج السياسة (off-policy) وتشكيل الميزة الزمني (Temporal Advantage Shaping)، محققاً بذلك أداءً فائقاً وكفاءة عينات تبلغ 5 أضعاف عبر معايير قياسية متعددة.
تقدم هذه الورقة إطار عمل للتصوير الحراري ثنائي النطاق يعالج تحدي عدم التحديد المتمثل في فصل الانبعاث والانعكاس المتغيرين زمنياً في الظروف القريبة من المحيط عبر الاستفادة المشتركة من قيود الانبعاث الطيفي وديناميكيات الإشارة الزمنية لاستعادة حقول درجات الحرارة بدقة.
تكشف هذه الورقة أنه في حين أن توسيع الاستدلال القائم على التعلم المعزز لنماذج الرؤية واللغة يحسن الاستنتاج المنطقي، فإنه يتسبب دون قصد في "نسيان بصري" يؤدي إلى تدهور التجذر الإدراكي، وهي مشكلة يعالجها المؤلفون من خلال طريقة "تحسين السياسة المرتكزة على الرؤية" (VAPO) المقترحة، والتي تحقق نتائج هي الأفضل حالياً عبر توجيه الاستدلال صراحةً نحو مسارات مرتكزة بصرياً.