🤖 AI

TAG: Thinking with Action Unit Grounding for Facial Expression Recognition

تقترح الورقة البحثية إطار عمل TAG، وهو إطار عمل للرؤية واللغة يعمل على تعزيز التعرف على تعبيرات الوجه من خلال تقييد الاستدلال متعدد الوسائط ليكون مرتبطاً بشكل صريح بوحدات الحركة الوجهية (Action Units)، مما يؤدي إلى تحسين دقة التنبؤ، والأمانة البصرية، والمتانة ضد الهلوسة عبر مجموعات بيانات متعددة.

المؤلفون الأصليون: Haobo Lin, Tianyi Bai, Jiajun Zhang, Xuanhao Chang, Sheng Lu, Fangming Gu, Zengjie Hu, Wentao Zhang

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haobo Lin, Tianyi Bai, Jiajun Zhang, Xuanhao Chang, Sheng Lu, Fangming Gu, Zengjie Hu, Wentao Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "TAG: Thinking with Action Unit Grounding" باستخدام لغة بسيطة، وتشبيهات، واستعارات.

المشكلة الكبرى: الذكاء الاصطناعي "الثرثار لكن الجاهل"

تخ fear مساعد ذكاء اصطناعي ذكي جداً ومطلع، بارع في وصف الصور. تعرض عليه صورة لشخص يبدو حزيناً، فيقول لك: "يبدو هذا الشخص حزيناً لأن قلبه مثقل وروحُه منهكة".

يبدو الكلام شاعرياً ومقنعاً، أليس كذلك؟ لكن إليك الخدعة: الذكاء الاصطناعي لا يملك أدنى فكرة عما يتحدث عنه. هو لم ينظر فعلياً إلى وجه الشخص، بل خمن فقط بناءً على الأنماط التي رآها في بيانات التدريب الخاصة به. إذا عرضت عليه صورة لمهرج حزين، قد يقول: "هذا الشخص سعيد لأن المهرجين مضحكون"، لأنه يعتمد على طريق مختصر بدلاً من النظر إلى الأدلة الفعلية.

في عالم التعرف على تعبيرات الوجه (FER)، النماذج الحالية تشبه هذا المساعد "الثرثار لكن الجاهل". يمكنها تخمين العاطفة، لكنها لا تستطيع إثبات لماذا خمنت ذلك. غالباً ما "تهلوس" (تختلق أشياء من عندها) وتفشل عندما تبدو الصور مختلفة عما رأته من قبل.

الحل: TAG (المحقق الجنائي)

يقترح المؤلفون نظاماً جديداً يسمى TAG (التفكير عبر ربط وحدات الحركة). فكر في TAG ليس كشاعر، بل كـ محقق جنائي أو طبيب بشري.

بدلاً من مجرد تخمين العاطفة، يُجبر TAG على اتباع قاعدة صارمة: "لا يمكنك تقديم تشخيص ما لم تشر إلى حركة العضلة المحددة التي تثبته."

السلاح السري: وحدات الحركة (AUs)

لجعل هذا يعمل، يستخدم الباحثون شيئاً يسمى وحدات الحركة (Action Units - AUs).

التشبيه: تخيل أن وجه الإنسان هو دمية متحركة (Puppet). الخيوط التي تتحكم في الدمية هي عضلات الوجه.
الواقع: في العلم، تسمى حركات العضلات المحددة هذه "وحدات الحركة". على سبيل المثال، "AU12" هي العضلة المحددة التي تسحب زوايا الشفاه للأعلى (ابتسامة)، و"AU4" هي العضلة التي تسحب الحاجبين معاً (قلق).
الطريقة القديمة: ينظر الذكاء الاصطناعي إلى الوجه بأكمله ويقول "سعيد".
طريقة TAG: يجب أن يقول الذكاء الاصطناعي: "أرى أن زوايا الشفاه مسحوبة للأعلى (AU12) وأن العينين منكمشتان (AU6). لذلك، هذه ابتسامة".

كيف يتعلم TAG: التدريب على خطوتين

تصف الورقة عملية تدريب ذكية من خطوتين لتحويل ذكاء اصطناعي عام إلى هذا "المحقق الجنائي".

الخطوة 1: الفصل الدراسي (الضبط الدقيق الخاضع للإشراف)

أولاً، يعلمون الذكاء الاصطناعي باستخدام كتاب مدرسي ضخم يسمى TAG-310k.

التشبيه: تخيل معلماً يظهر لطالب آلاف الصور. لكل صورة، لا يكتفي المعلم بالقول "هذا غضب"، بل يقول: "انظر هنا إلى الحاجب المقطب (يشير إلى مربع على الصورة)، وانظر هناك إلى الشفاه المشدودة. هذه هي الأدلة".
النتي نتيجة: يتعلم الذكاء الاصطناعي التوقف عن التخمين والبدء في الإشارة. يتعلم رسم مربعات حول أجزاء الوجه المحددة التي تهم.

الخطوة 2: الامتحان (التعلم المعزز)

بعد ذلك، يضعون الذكاء الاصطناعي في امتحان صارم للتأكد من أنه لا يغش.

التشبيه: تخيل أن الذكاء الاصطناعي يؤدي اختباراً. إذا قال "حزن" لكنه رسم مربعاً حول حذاء الشخص بدلاً من عينيه الدامعتين، فإنه يحصل على عقوبة.
"المكافأة الواعية بوحدات الحركة": يتحقق النظام من مربعات الذكتا الاصطناعي مقابل "المعيار الذهبي" (أداة منفصلة عالية الدقة تعرف بالضبط أين تتحرك العضلات).
- إذا تطابق مربع الذكاء الاصطناعي مع حركة العضلة الحقيقية؟ عمل جيد! (مكافأة).
- إذا كان مربع الذكاء الاصطناعي في المكان الخاطئ أو إذا اختلق حركة عضلة غير موجودة؟ حاول مرة أخرى. (عقوبة).
الهدف: هذا يجبر الذكاء الاصطناعي على التوقف عن استخدام "الطرق المختصرة" (مثل التخمين بناءً على الخلفية) ويجبره على الاعتماد على الأدلة البصرية.

لماذا يهم هذا: الثقة والموثوقية

تظهر الورقة أن TAG أفضل من النماذج الأخرى بطريقتين:

إنه أذكى: يحصل على الإجابة الصحيحة في كثير من الأحيان، حتى في أنواع الصور الصعبة أو الجديدة.
إنه صادق: عندما يقول "حزن"، يمكنه إثبات ذلك من خلال إظالك الحواجب الحزينة. يمكنك النظر إلى الصورة، ورؤية المربع، وقول: "نعم، أنا أراه أيضاً. أنا أثق في هذه الإجابة".

الخلاصة

الذكاء الاصطناعي الحالي يشبه طالباً يحفظ الإجابات للاختبار لكنه لا يفهم الرياضيات. أما TAG فهو مثل الطالب الذي يقوم بالفعل بحل المسائل الرياضية، ويظهر خطوات الحل، ويشير إلى الأرقام التي تثبت أن الإجابة صحيحة.

من خلال إجبار الذكاء الاصطناعي على "التفكير عبر ربط وحدات الحركة"، نجح الباحثون في بناء نظام لا يخمن العواطف فحسب، بل يفهمها من خلال النظر إلى الأدلة المادية الفعلية على الوجه البشري. وهذا يجعل الذكاء الاصطناعي أكثر موثوقية، خاصة في المواقف الهامة مثل تحليل الصحة النفسية أو التفاعل بين الإنسان والحاسوب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TAG: التفكير مع تجذير وحدات الحركة للتعرف على تعبيرات الوجه".

1. بيان المشكلة

يعد التعرف على تعبيرات الوجه (FER) مهمة بالغة الأهمية في الحوسبة الوجدانية، ومع ذلك، غالبًا ما تعمل أنظمة التعلم العميق الحالية كـ "صناديق سوداء"، حيث تقدم تسميات دقيقة دون أدلة موثوقة. وبينما توفر نماذج الرؤية واللغة (VLMs) الحديثة تفسيرات باللغة الطبيعية، إلا أنها تعاني من الاستدلال غير المتجذر:

الهلوسة: تولد النماذج سرديات طليقة ولكنها غير قابلة للتحقق ومرتبطة بشكل ضعيف بالأدلة البصرية الفعلية.
نقص المتانة: تعتمد التفسيرات غالبًا على تحيزات مجموعة البيانات بدلاً من الإشارات الفسيولوجية، مما يؤدي إلى ضعف الأداء عند التقييم عبر مجموعات بيانات مختلفة.
الغموض: لا يمكن التحقق من عملية الاستدلال خارجيًا، مما يحد من الثقة في التطبيقات عالية المخاطر (مثل تحليل الصحة العقلية).

التحدي الجوهري هو تمكين الاستدلال متعدد الوسائط الذي لا يكون معبرًا فحسب، بل أيضًا أمينًا للأدلة البصرية ومتجذرًا في إشارات ذات معنى فسيولوجي.

2. المنهجية: إطار عمل TAG

يقترح المؤلفون TAG (التفكير مع تجذير وحدات الحركة)، وهو إطار عمل للرؤية واللغة يفرض صراحةً أن تكون عملية الاستدلال مدعومة بـ وحدات الحركة الوجهية (AUs). وحدات الحركة هي تنشيطات عضلية موضعية محددة بواسطة نظام ترميز حركة الوجه (FACS)، وتعمل كتمثيل وسيط مهيكل بين البكسلات الخام وتسميات العواطف.

البنية الأساسية

يتبع TAG بنية نموذج VLM قياسية (مشفر بصري + جهاز إسقاط + نموذج لغوي) ولكنه يفرض هيكل مخرجات محددًا:

التحليل العالمي: ملاحظة شاملة للوجه.
التحقق المحلي: يجب أن ترتبط خطوات الاستدلال الوسيطة بمناطق وجه محددة باستخدام صناديق الإحاطة (<bbox>) المرتبطة بوحدات حركة محددة.
الاستنتاج النهائي: تسمية التعبير المتوقع.

خط إنتاج تدريبي مكون من مرحلتين

يتم تدريب TAG عبر عملية مكونة من مرحلتين لضمان تعلم النموذج الاستدلال باستخدام أدلة وحدات الحركة بدلاً من الطرق المختصرة:

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف (SFT)

البيانات: يتم تدريب النموذج على TAG-310k، وهو مجموعة بيانات واسعة النطاق من آثار الاستدلال المتجذرة في وحدات الحركة والمبنية من مجموعات RAF-DB وFERPlus وAffectNet.
العملية: يتعلم النموذج توليد آثار مهيكلة تشير فيها الخطوات الوسيطة إلى مناطق متعلقة بوحدات الحركة. يتم التنبؤ بصناديق الإحاطة كجزء من التسلسل النصي، وليس عبر تغييرات في البنية المعمارية.
الهدف: تعليم النموذج "لغة" الاستدلال المتجذر في وحدات الحركة وتوفير تهيئة قوية.

المرحلة الثانية: التعلم التعزيزي (RL)

الخوارزمية: تستخدم GRPO (تحسين السياسة النسبي للمجموعات).
دالة المكافأة ( $R$ ): مكافأة مركبة مصممة لمنع الهلوسة وفرض التجذير:
- $R_{ans}$ (مكافأة الإجابة): 1 إذا كانت التسمية النهائية تطابق الحقيقة الأرضية، و0 خلاف ذلك.
- $R_{fmt}$ (مكافأة التنسيق): تضمن اتباع المخرجات لهيكل <bbox> و<answer> الصارم.
- $R_{AU}$ (مكافأة تجذير وحدات الحركة): الابتكار الأساسي. تقوم بحساب تقاطع الاتحاد (IoU) بين صناديق الإحاطة التي يتنبأ بها النموذج ومناطق وحدات الحركة الحقيقية التي اكتشفها كاشف خارجي مدرب مسبقًا (GraphAU).
- الآلية: تقوم المكافأة بمتوسط أعلى $k$ من درجات IoU (حيث $k$ هو عدد الصناديق المتنبأ بها)، مما يمنع النموذج من "اختراق" المكافأة عبر التنبؤ بصناديق زائدة.

3. المساهمات الرئيسية

تحديد فجوة التجذير: تسلط الورقة الضوء على أن نماذج VLMs الحالية لـ FER تنتج تفسيرات "راوية للقصص" تفتقر إلى التحقق البصري، مما يؤدي إلى الهشاشة والهلوسة.
إطار عمل TAG: إطار عمل جديد يفرض صراحةً تقييد الاستدلال متعدد الوسائط ليكون مدعومًا بوحدات حركة ذات معنى فسيولوجي عبر الإشراف المهيكل والتعلم التعزيزي الواعي بوحدات الحركة.
مجموعة بيانات TAG-310k: بناء مجموعة بيانات واسعة النطاق (310 ألف عينة) تحتوي على آثار استدلال متجذرة في وحدات الحركة، مما يسمح بالتدريب الخاضع للإشراف والتعلم التعزيزي للاستدلال متعدد الوسائط الأمين.
التحقق التجريبي: تجارب شاملة تثبت أن تجذير وحدات الحركة يعمل على استقرار الاستدلال، ويخفف من الهلوسة، ويحسن كل من الدقة والأمانة البصرية.

4. النتائج التجريبية

قيم المؤلفون TAG على ثلاث معايير: RAF-DB وFERPlus وAffectNet.

الأداء مقابل SOTA (أحدث ما توصل إليه العلم):
- الإعداد الموحد: حقق نموذج TAG-7B واحد (SFT فقط) متوسط دقة قدره 74.34%، متفوقًا على نماذج VLM مفتوحة المصدر كبيرة (مثل InternVL3-38B بدقة 60.48%) والنماذج مغلقة المصدر (مثل GPT-5 بدقة 62.93%).
- الضبط لكل مجموعة بيانات: مع ضبط التعلم التعزيزي، حقق TAG نسبة 92.80% في RAF-DB، و91.50% في FERPlus، و67.03% في AffectNet، متفوقًا على جميع طرق FER المتخصصة (مثل POSTER وExpLLM) ومسجلًا رقمًا قياسيًا جديدًا.
الأمانة البصرية:
- حسن TAG بشكل كبير من AU IoU (المحاذاة مع الكواشف الخارجية) مقارنة بالنماذج المرجعية.
- أظهرت دراسات الاستئصال أن إزالة مكافأة وحدات الحركة ( $R_{AU}$ ) أدت إلى انخفاض في IoU (من 60.24 إلى 43.46)، مما يثبت أن التعلم التعزيزي غير المقيد يقلل من التجذير البصري حتى لو ظلت الدقة عالية.
التقييم البشري وتقييم LLM:
- في دراسات التفضيل، فضل الخبراء البشريون والحكام من نماذج LLM (مثل GPT-5) استدلال TAG بشكل ساحق (تفضيل بنسبة 66-72%) على النماذج المرجعية، مشيرين إلى الأمانة البصرية والدقة التشريحية الفائقة.

5. الأهمية والأثر

الذكاء الاصطناعي الموثوق: يحول TAG مهمة FER من مهمة "تخمين" بناءً على المظهر الشامل إلى عملية استدلال قائمة على الأدلة وقابلة للتحقق. وهذا أمر بالغ الأهمية في المجالات عالية المخاطر مثل التشخيص السريري والتفاعل بين الإنسان والحاسوب.
تخفيف الهلوسة: من خلال ربط الاستدلال بكواشف وحدات الحركة الخارجية عبر التعلم التعزيزي، ينجح TAG بفعالية في كبح ميل نماذج VLMs للهلوسة في التفاصيل البصرية.
القدرة على التعميم: يوضح هذا النهج أن تجذير الاستدلال في تمثيلات وسيطة مهيكلة وذات معنى فسيولوجي (وحدات الحركة) هو استراتيجية قابلة للتعميم لتحسين مهام الفهم البصري الدقيق بما يتجاوز مجرد تعبيرات الوجه.
العلم المفتوح: يوفر إصدار مجموعة بيانات TAG-310k والرمز البرمجي معيارًا جديدًا لتطوير نماذج متعددة الوسائط قابلة للتفسير ومتجذرة.

في الختام، يضع TAG نموذجًا جديدًا للاستدلال متعدد الوسائط المتجذر، ويثبت أن تقييد نماذج VLMs للتحقق من أفكارها مقابل الأدلة الفسيولوجية يؤدي إلى نماذج ليست أكثر دقة فحسب، بل أكثر موثوقية وقابلية للتفسير أيضًا.