Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition
يُعد Zero-MELO إطار عمل مبتكر لمعايرة الأدلة في وقت الاختبار، يعمل على تعزيز التعرف على الإيماءات الدقيقة (micro-gestures) بنمط الصفر استباقي (zero-shot) في النماذج اللغوية الكبيرة متعددة الوسائط من خلال توظيف آلية بحث شجري للاستحواذ على أدلة بصرية دقيقة ومعايرة دقيقة للتخفيف من تحيزات الدرجات، مما يجعله يتفوق بشكل كبير على النماذج المرجعية الحالية في مجموعات البيانات الاختبارية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد حركة الإنسان لغة قائمة بذاتها، لا تُنطق فقط من خلال الإيماءات الواسعة مثل التلويح باليد أو رفع الإبهب، بل أيضاً من خلال التحولات العابرة وغير المرئية تقريباً في الجسد. هذه هي الإيماءات الدقيقة (micro-gestures): مثل حك الفك الخفيف، أو تشابك الأصابع لفترة وجيزة، أو شد الشفة بشكل طفيف. لعقود من الزمن، درس الباحثون هذه الحركات الصغيرة لأنها غالباً ما تكشف عما يشعر به الشخص أو يفكر فيه حتى قبل أن يتحدث. ومع ذلك، كان تعليم الحواسيب التعرف على هذه الإشارات الخاطفة تحدياً مستعصياً؛ فهذه الحركات سريعة جداً، وصغيرة جداً، ومتنوعة جداً من شخص لآخر بحيث لا تستطيع أدوات تحليل الفيديو القياسية رصدها بشكل موثوق.
في السنوات الأخيرة، ظهر جيل جديد من الذكاء الاصطناعي يُعرف بالنماذج اللغوية الكبيرة متعددة الوسائط (multimodal large language models). هذه الأنظمة بارعة للغاية في فهم الصور ومقاطع الفيديو بشكل عام؛ إذ يمكنها وصف مشهد، أو تحديد كلب، أو شرح حدث معقد. ومع ذلك، عندما حاول الباحثون استخدام هذه النماذج القوية لرصد الحركات الدقيقة المحددة للإيماءات الصغرى، كانت النتائج مخيبة للآمال. فغالباً ما كانت النماذج تغفل عن الحركة الدقيقة تماماً، وتخمن بدلاً من ذلك بناءً على مظهر الشخص أو ما يتوقعه النموذج، وليس بناءً على ما يحدث فعلياً في الفيديو. كان الأمر كما لو أن النماذج تنظر إلى الصورة الكاملة لكنها تفشل في ملاحظة التفصيل الصغير والحاسم الذي يحمل الإجابة.
لقد سعى فريق من الباحثين لفهم سبب فشل هذه النماذج المتقدمة في مهمة محددة كهذه، ولإيجاد طريقة لإصلاح ذلك دون إعادة تدريب النماذج من الصفر. واكتشفوا أن المشكلة لم تكن في افتقار النماذج للقدرة على رؤية الحركة، بل في أنها لم تكن تنظر في المكان الصحيح وكانت تُضلل بواسطة توقعاتها الداخلية. كانت النماذج تميل إلى الاعتماد بشكل مفرط على الأنماط اللغوية التي تعلمتها من النصوص، حيث تخمن الإجابة بناءً على السؤال بدلاً من الفيديو. كما كانت غالباً ما تركز على أجزاء خاطئة من الجسم، فتفقد حركة اليد أو الوجه المحددة التي تُعرف الإيماءة.
ولحل هذه المشكلة، طور الباحثون طريقة جديدة تسمى "Zero-MELO". فبدلاً من مطالبة النموذج بإعطاء إجابة واحدة فوراً، صمموا عملية تجبر النموذج على التصرف كمراقب دقيق. أولاً، يطلب النظام من النموذج النظر إلى الفيديو وتحديد أجزاء الجسم التي قد تكون ذات صلة، مثل اليدين، أو الوجه، أو الرقبة. بعد ذلك، يقوم بتوجيه النموذج للتركيز (Zoom in) على تلك المناطق المحددة، مما يخلق سلسلة من المشاهد القريبة لجمع أدلة أفضل. هذا يشبه الطريقة التي قد يضيق بها الإنسان عينيه ويقترب من الشاشة لرؤية تفصيل صغير، لكن الكمبيوتر يفعل ذلك بشكل منهجي عبر الفيديو بأكمله.
بمجرد أن يجمع النموذج هذه المشاهد التفصيلية والموضعية، يطبق النظام خطوة ثانية لتصحيح تحيزاته الخاصة. فقد وجد الباحثون أن النماذج غالباً ما يكون لديها ميل قوي لتخمين إجابات شائعة معينة بغض النظر عن محتوى الفيديو. ولمواجهة ذلك، يطلب النظام من النموذج تخيل الفيديو بدون أي حركة أو تفاصيل بصرية، ثم مرة أخرى مع وجود المظهر الثابت للشخص فقط. ومن خلال مقارنة سيناريوهات "ماذا لو" هذه مع الفيديو الفعلي، يمكن للنظام تجريد النموذج من تخميناته الخاطئة والتركيز على الدليل البصري الحقيقي. أخيراً، يجمع النظام كل المعلومات من المشاهد المختلفة المقربة والنتائج المصححة لاتخاذ قرار نهائي.
كانت نتائج هذا النهج كبيرة. فعند اختبارها على مجموعات بيانات قياسية تحتوي على آلاف الأمثلة للإيماءات الدقيقة، حسنت الطريقة الجديدة دقة النماذج بشكل هائل. ففي إحدى مجموعات البيانات، قفز معدل النجاح من حوالي ستة عشر بالمائة إلى ما يقرب من سبعة وعشرين بالمائة، وفي مجموعة أخرى، تضاعف أكثر من مرة من عشرة بالمائة إلى أكثر من اثنين وعشرين بالمائة. وتمثل هذه الأرقام قفزة نوعية للأمام، مما يظهر أن النماذج كانت قادرة على فهم هذه الحركات الدقيقة طوال الوقت، بشرماً أن يتم توجيهها للنظر بتمعن والتفكير بعناية.
تشير الدراسة إلى أن القيود التي تواجه الذكاء الاصطناعي الحالي في فهم الحركة البشرية الدقيقة ليست بالضرورة نقصاً في الذكاء، بل هي نقص في الأدوات المناسبة لتركيز الانتباه. ومن خلال تعليم النماذج كيفية البحث عن دليل محدد والتشكيك في افتراضاتها الخاصة، أثبت الباحثون أنه يمكن جعل هذه الأنظمة أكثر موثوقية في المهام التي تتطلب عيناً ثاقبة للتفاصيل. لا يقتصر هذا العمل على تحسين مهمة واحدة فحسب، بل يقدم طريقة جديدة للتفكير في كيفية مساعدة الذكاء الاصطناعي على رؤية العالم بنفس الدقة والاهتمام بالتفاصيل التي يستخدمها البشر عند مراقبة لغة الجسد الخفية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.