LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation

البشر بارعون بشكل ملحوظ في قراءة الحرارة العاطفية للحشود. فنحن لا نكتفي بمجرد عد الوجوه المبتسمة؛ بل نزن التوتر في قبضة مرفوعة، أو انحناءة كتف، أو سياق احتفال أو احتجاج، وطريقة وقوف الناس بالنسبة لبعضهم البعض. يمكن لإشارة بصرية واحدة، مثل باقة زهور، أن تشير إلى الفرح في حفل زفاف أو الحزن في جنازة. إن تحديد المزاج الجماعي لمجموعة من خلال صورة فوتوغرافية واحدة هو لغز معقد يُعرف باسم "التعرف على عواطف المجموعة". وبالنسبة للحواسيب، كانت هذه المهمة صعبة للغاية لأن الآلات غالباً ما تجد صعوبة في فهم أن الشيء أو الإيماءة نفسها يمكن أن تعني أشياء متناقضة اعتماداً على المشهد. وبينما يدمج البشر حدسياً هذه الأدلة المتفرقة في شعور واحد، اعتمد الذكاء الاصطناعي تقليدياً على عمليات صارمة متعددة الخطوات غالباً ما تفشل في رؤية الصورة الكاملة بسبب التركيز على التفاصيل الجزئية.

لقلبت الباحثون في جامعة جنوب كارولينا الموازين بتطوير نهج جديد لحل هذه المشكلة، وهو نهج يعلم الكمبيوتر رؤية الحشد كما يراه البشر، دون الحاجة إلى الآليات الثقيلة لأنظمة الكشف التقليدية. أسلوبهم، المسمى LG-GER، يتجاوز الحاجة إلى تحديد وعزل كل شخص أو كائن في الصورة أولاً. بدلاً من ذلك، يستخدم نموذج لغة قوياً ومُدرباً مسبقاً ليعمل كـ "معلم" يقوم بتوليد خريطة مفصلة للأدلة العاطفية. ينظر هذا النموذج المعلم إلى الصورة ويكتب ملاحظات محددة، مثل "شخص يحمل كأساً بتعبير وجه مبهج" أو "قبضة مرفوعة في سياق احتجاج"، جنباً إلى جنب مع درجة ثقة توضح مدى قوة هذا الدليل في الإشارة إلى عاطفة معينة. ثم يستخدم الباحثون هذه الأوصاف المكتوبة ومواقعها لتدريب نموذج كمبيوتر أصغر وأسرع بكثير. يتعلم هذا النموذج "الطالب" النظر إلى الصورة وإيجاد تلك الأدلة العاطفية نفسها بمفرده، مسترشداً بملاحظات المعلم، حتى يتمكن من التنبؤ بمزاج المجموعة بدقة دون الحاجة أبداً لتشغيل كاشف أو استشارة النموذج اللغوي الكبير مرة أخرى.

يكمن الابتكار الجوهري في كيفية تعامل الباحثين مع بيانات التدريب. تعتمد الطرق التقليدية لتعليم الحواسيب التعرف على عواطف المجموعات على مسار عمل حيث يقوم النظام أولاً باكتشاف الوجوه، ثم اكتشاف الأجساد، ثم اكتشاف الأشياء، وأخيراً يحاول دمج كل تلك المعلومات معاً. هذا النهج بطيء، وعرضة للخطأ إذا فشل الكشف الأولي، ويتطلب قدرة حوسبة كبيرة. يرفض الإطار الجديد مسار العمل متعدد الخطوات هذا تماماً. بدلاً من ذلك، استخدم الباحثون نموذج لغة كبيراً ليعمل كـ "مُدوّن" (annotator) غير متصل بالإنترنت. قام هذا النموذج بفحص آلاف الصور التدريبية وولد أدلة مهيكلة لكل منها. لكل صورة، أنتج قائمة بمناطق محددة، تصف ما يحدث في تلك البقعة، وما هي العاطفة التي تشير إليها، ومدى ثقته في تلك الإشارة. خلق هذا نظاماً غنياً ومترابطاً مكانياً حيث تعلم الكمبيوتر ليس فقط الإجابة النهائية، بل الأسباب المحددة التي جعلت منطقة معينة ذات أهمية.

ولتلقين النموذج الطالب كيفية استخدام هذه الأدلة، صمم الباحثون عملية تدريب ركزت على أربعة أنواع متميزة من التعلم. أولاً، تعلم النموذج تصنيف العاطفة العامة للصورة. ثانياً، تعلم مطابقة الميزات البصرية لمنطقة معينة مع الوصف النصي المقدم من المعلم، مما يضمن فهم الكمبيوتر أن بقعة معينة من البكسلات تقابل "امرأة مبتسمة" بدلاً من مجرد وجه عام. ثالثاً، تعلم التنبؤ بالإشارة العاطفية لتلك المنطقة المحددة، والتمييز بين الفرح أو الحياد أو الغضب. وأخيراً، تعلم تقدير قوة تلك الإشارة، وفهم أن الابتسامة الواضحة والمفتوحة هي إشارة عاطفية أقوى من الابتسامة الجزئية المحجوبة. ومن خلال الجمع بين أهداف التعلم الأربعة هذه، طور النموذج قدرة متطورة على التركيز على الأجزاء الأكثر صلة من الصورة مع تجاهل الضجيج.

كانت نتائج هذا النهج مذهلة عند اختباره مقابل المعايير المرجعية القائمة. ففي اثنين من مجموعات البيانات الرئيسية المستخدمة لتقييم التعرف على عواطف المجموعة، حققت الطريقة الجديدة أداءً يضاهي أو يتجاوز الأنظمة المتقدمة الموجودة. ففي مجموعة بيانات GAF 3.0، وصلت دقتها إلى 84.08%، متفوقة على أفضل طريقة سابقة. وفي مجموعة بيانات GroupEmoW الأكبر، حققت 92.39% من الدقة، لتأتي في المرتبة الثانية فقط بعد الطريقة الأعلى أداءً، ولكن مع فرق جوهري: لم تتطلب الطريقة الجديدة أي عملية كشف ولا دمجاً معقداً لتدفقات البيانات المتعددة أثناء مرحلة الاختبار الفعلية. بينما كان المنافس الأعلى أداءً يحتاج إلى تشغيل خوارزميات كشف متعددة ودمج مخرجاتها للحصول على نتيجته، اكتفت الطريقة الجديدة بالنظر إلى الصورة وإعطاء الإجابة. وهذا يجعل النظام أسرع بكثير وأكثر عملية للتطبيقات في العالم الحقيقي حيث تكون السرعة وموارد الحوسبة محدودة.

كما بحث الباحثون في سبب نجاح طريقتهم من خلال تحليل كيفية تحول انتباه الكمبيوتر أثناء التدريب. قبل التدريب المتخصص، كان النموذج يميل إلى توزيع انتباهه بشكل واسع عبر الصورة بأكملها، وغالباً ما يتشتت بسبب تفاصيل الخلفية غير ذات الصلة مثل الجدران أو الأثاث. ولكن بعد التعلم من الأدلة الموجهة لغوياً، تعلم النموذج تركيز تركيزه على المناطق المحددة التي تحمل وزناً عاطفياً، مثل تفاعل مركزي بين الأشخاص أو وجه معبر بشكل خاص. في بعض الحالات، سمح هذا الانتباه المركز للنموذج بتحديد حالة احتفالية في مشهد صنفه النموذج القياسي خطأً على أنه محايد. ومع ذلك، كشفت الدراسة أيضاً عن قصور: فعندما يحتوي الحشد على مزيج من العواطف المتضاربة التي تلغي بعضها البعض حقاً، فإن ميل النموذج للتركيز على إشارة قوية واحدة قد يؤدي أحياناً إلى تفسير مشهد محايد على أنه سلبي. وهذا يشير إلى أنه بينما يتفوق الأسلوب في إيجاد الإشارات العاطفية الواضحة، فإنه لا يزال يواجه تحديات في السيناريوهات الأكثر غموضاً وتوازناً.

في نهاية المطاف، يثبت هذا العمل أن الطريق نحو ذكاء اصطناعي أفضل لا يتطلب دائماً بناء أنظمة أكبر وأكثر تعقيداً. فمن خلال استخدام نموذج لغة كبير لتوليد بيانات تدريب عالية الجودة ومهيكلة، ثم تقطير تلك المعرفة في نموذج بسيط أحادي المسار، خلق الباحثون نظاماً يتسم بالكفاءة والدقة العالية في آن واحد. يثبت هذا النهج أن الكمبيوتر يمكنه تعلم فهم الفروق الدقيقة في ديناميكيات المجموعة من خلال تعليمه البحث عن أدلة محددة موصوفة لغوياً بدلاً من مجرد الأنماط البصرية الخام. يقدم هذا الأسلوب مخططاً عملياً لنشر التعرف على العواطف في البيئات الواقعية، من مراقبة السلامة العامة إلى فهم ردود فعل الجمهور، دون العبء الحوسبي الثقيل الذي حد من هذه التقنيات سابقاً.