💻 computer science

Beyond the Fold: Quantifying Split-Level Noise and the Case for Leave-One-Dataset-Out AU Evaluation

تُثبت هذه الورقة أن التحقق المتقاطع الحصري للموضوعات في الكشف عن وحدات الحركة الوجهية يُدخل تباينًا عشوائيًا كبيرًا يمكن أن يحجب التحسينات الحقيقية للنموذج، مما يدعو إلى اعتماد تقييم "ترك مجموعة بيانات واحدة خارجًا" للكشف عن مقاييس أداء أكثر استقرارًا وقابلية للتفسير.

المؤلفون الأصليون: Saurabh Hinduja, Gurmeet Kaur, Maneesh Bilalpur, Jeffrey Cohn, Shaun Canavan

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Saurabh Hinduja, Gurmeet Kaur, Maneesh Bilalpur, Jeffrey Cohn, Shaun Canavan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حَكم في برنامج مواهب، تحاول تحديد من هو المغني الأفضل.

المشكلة الحالية: يانصيب "الحظ السعيد"
في الوقت الحالي، في عالم التعرف على الوجه بواسطة الذكاء الاصطعي (وتحديداً اكتشاف "وحدات الحركة" مثل رفع الحاجب أو الابتسام)، يختبر الباحثون نماذجهم باستخدام طريقة تسمى التحقق المتقاطع (Cross-Validation).

تخيل هذا الأمر كأنه برنامج مواهب حيث يوجد لديك مجموعة من 100 مغنٍ. لاختبار مغنٍ ما، تقسم الجمهور إلى ثلاث مجموعات. تجعل المغني يؤدي أمام المجموعة (أ) والمجموعة (ب)، ثم ترى كيف سيكون أداؤه مع المجموعة (ج). ثم تقوم بخلط المجموعات: المجموعة (ب) و(ج) يستمعان للمغني، والمجموعة (أ) هي الحَكم. تفعل هذا عدة مرات وتأخذ المتوسط.

الورقة البحثية تجادل بأن هذه العملية معيبة لأنها تشبه اليانصيب.

التشبيه: تخيل أنك تختبر وصفة جديدة لكعكة الشوكولاتة. إذا قدمت الكعكة بالصدفة لمجموعة من الناس الذين يعشقون الشوكولاتة، فسيعطونها 10/10. أما إذا قدمتها بالخطأ لمجموعة تكره الشوكولات، فستعطيها 2/10.
الواقع: وجد الباحثون أن مجرد تغيير أي الأشخاص (المشاركين) الذين ينتهي بهم المطاف في "مجموعة الاختبار" يغير درجة الذكاء الاصطناعي بشكل كبير.
"أرضية الضجيج": حسبوا أن الدرجة يمكن أن تتذبذب طبيعياً صعوداً وهبوطاً بحوالي ±0.065 لمجرد الصدفة.
المشكلة: العديد من نماذج الذكاء الاصطناعي الجديدة تدعي أنها "رائدة في مجالها" لأنها حسنت الدرجة بمقدار 0.01 أو 0.02. تقول الورقة: "مهلاً، هذا التحسن أصغر من التذبذب الطبيعي للاختبار نفسه". إنه يشبه الادعاء بأن كعكتك أفضل لأنك حصلت على 9.8 بدلاً من 9.7، بينما يمكن لمزاج الحكام وحده أن يغير النتيجة بمقدار 0.5. لا يمكنك معرفة ما إذا كانت الكعكة أفضل حقاً، أم أنك كنت محظوظاً فقط في اختيار الحكام.

فخ المعايير: F1 مقابل AUC
تشير الورقة أيضاً إلى أن الباحثين غالباً ما يستخدمون درجة محددة تسمى F1 للحكم على النجاح.

F1 يشبه المعلم الصارم: هو يهتم فقط بما إذا كنت قد أجبت بشكل صحيح أم خاطئ بناءً على خط محدد في الرمال. إذا كان معظم الفصل راسبين، سيصبح المعلم غاضباً وتنخفض الدرجة.
AUC يشبه الموجه الحكيم: ينظر إلى الصورة الكاملة ويتساءل، "هل قمت بترتيب الطلاب الجيدين في مرتبة أعلى من السيئين؟"
النتيجة: "المعلم الصارم" (F1) ينزعج بسرعة ويغير رأيه بسهء عند تغير مجموعة الطلاب. أما "الموجه الحكيم" (AUC) فيبقى هادئاً. تقترح الورقة أن نتوقف عن الاعتماد كثيراً على تقلبات مزاج المعلم الصارم.

الحل: اختبار "ترك مجموعة بيانات واحدة خارج الاختبار" (LODO)
بما أن الطريقة الحالية مليئة بالضجيج، يقترح المؤلفون طريقة جديدة للاختبار: ترك مجموعة بيانات واحدة خارج الاختبار (LODO).

التشبيه: بدلاً من اختبار الكعكة على ثلاث مجموعات من نفس المدينة، تقوم بخبز الكعكة في نيويورك، وشيكاغو، وميامي. ثم تأخذ الكعكة إلى لندن (مكان لم تذهب إليه من قبل) لترى كيف سيكون طعمها هناك.
كيف يعمل: تقوم بتدريب الذكاء الاصطناعي على بيانات من أربع مجموعات بيانات مختلفة (مثل أربع مدن مختلفة) ثم تختبره على مجموعة البيانات الخامسة (لندن) التي لم يسبق له رؤيتها من قبل.
لماذا هو أفضل: هذا يزيل "يانصيب" اختيار أشخاص محددين. إنه يجبر الذكاء الاصطناعي على إثبات قدرته على التعامل مع بيئة جديدة تماماً، وليس مجرد مجموعة محظوظة من الناس من نفس مجموعة البيانات.

ما وجدوه مع الاختبار الجديد
عندما قاموا بتشغيل هذا "اختبار لندن" (LODO):

عانى الذكاء الاصطناعي: النماذج التي بدت رائعة في اختبارات "اليانصيب" القديمة غالباً ما فشلت فشلاً ذريعاً عند مواجهة مجموعة بيانات جديدة.
فشل "المعلم الصارم" مجدداً: انخفضت درجات F1 بشكل جنوني عندما انتقل الذكاء الاصطناعي إلى مجموعة بيانات جديدة، بينما ظلت درجات "الموجه الحكيم" (AUC) مستقرة نسبياً.
الاستنتاج: العديد من "التحسينات" التي اعتقدنا أننا نحرزها في التعرف على الوجه قد تكون مجرد أوهام ناتجة عن طرق اختبار سيئة.

الخلاصة للجميع
الورقة البحثية تقول باختصار: "توقفوا عن الاحتفال بالانتصارات الصغيرة التي قد تكون مجرد حظ."

إذا أردت أن تعرف ما إذا كان الذكاء الاصطناعي الجديد أفضل حقاً، فلا يمكنك مجرد خلط أوراق اللعب ورؤية ما إذا كانت الدرجة سترتفع قليلاً. يجب عليك اختباره في لعبة مختلفة تماماً. حتى نفعل ذلك، لا يمكننا التأكد مما إذا كان الذكاء الاصطناعي يصبح أكثر ذكاءً بالفعل، أم أننا كنا محظوظين فقط في أسئلة الاختبار.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ما وراء الطي: قياس ضجيج مستويات التقسيم والحاجة إلى تقييم (LODO) بنهج 'ترك مجموعة بيانات واحدة خارج التقييم'."

1. بيان المشكلة

تتناول الورقة خللاً حرجاً في نموذج التقييم الحالي لـ كشف وحدات الحركة الوجهية (AU). البروتوكول القياسي يتضمن التحقق المتقاطع (k-fold cross-validation) القائم على استبعاد الموضوعات على مجموعة بيانات واحدة (عادةً BP4D+). وبينما يعد هذا هو المعيار المقبول، يرى المؤلفون أنه يقدم تبايناً عشوائياً قابلاً للقياس (يُسمى "ضجيج مستوى التقسيم") نتيجة للتقسيم العشوائي للموضوعات.

المشكلة الجوهرية: غالباً ما تكون التحسينات المسجلة في النماذج الرائدة (SOTA) طفيفة (على سبيل المثال، +0.01 إلى +0.02 في مقياس F1). ومع ذلك، تثبت الورقة أن التباين الناتج ببساطة عن تغيير كيفية تعيين الموضوعات للطيّات (folds) يتجاوز هذه المكاسب المسجلة.
النتيجة: يؤدي هذا إلى عدم استقرار في تصنيف النماذج، حيث قد يبدو النموذج متفوقاً أو أدنى مستوى بناءً فقط على التكوين العشوائي لطيّة الاختبار، وليس بناءً على تحسينات معمارية حقيقية. علاوة على ذلك، تبين أن مقاييس نقطة التشغيل مثل F1 أكثر حساسية بشكل كبير لانزياحات التوزيع هذه مقارنة بالمقاييس المستقلة عن العتبة مثل AUC.
الفجوة: تفشل التقييمات الحالية في التمييز بين التقدم المنهجي الحقيقي وبين الآثار الناتجة عن تقسيم البيانات أو الإفراط في التخصيص (overfitting) المرتبط بنطاق معين.

2. المنهجية

يستخدم المؤلفون نهجاً منهجياً ذا شقين: قياس ضجيج مستوى التقسيم و تقييم المتانة عبر مجموعات البيانات عبر نهج LODO.

أ. قياس ضجيج مستوى التقسيم (تحليل مجموعة بيانات واحدة)

مجموعة البيانات: BP4D+ (معيار واسع الاستخدام في كشف الـ AU).
البروتوكول: التحقق المتقاطع (3-fold subject-exclusive cross-validation) المتكرر.
التصميم التجريبي:
- تم إنشاء أربعة تقسيمات عشوائية مستقلة للموضوعات.
- تم اختبار ثلاث بنيات أساسية (backbone architectures) متميزة تحت ظروف متطابقة: ResNet50، وMobileViT، وVGG16.
- تم حساب المقاييس لكل وحدة حركة (AU) دون استخدام المتوسط الكلي (macro/micro-averaging) لعزل عدم الاستقرار الخاص بكل وحدة.
حساب أرضية الضجيج (Noise Floor): يعامل المؤلفون أداء التحقق المتقاطع كمتغير عشوائي. يقومون بحساب الانحراف المعياري ( $\sigma$ ) لدرجات F1 عبر التقسيمات المتكررة، ويحددون هامش ضجيج تجريبي بنسبة 95% كـ $\pm 1.96\sigma$ .

ب. تقييم "ترك مجموعة بيانات واحدة خارج التقييم" (LODO)

البروتوكول: لإزالة عشوائية التقسيم تماماً، يقترح المؤلفون LODO.
- التدريب: يتم تدريب النماذج على الاتحاد المجمع لـ $K-1$ من مجموعات البيانات.
- الاختبار: يتم تقييم النموذج على مجموعة البيانات الوحيدة المستبعدة ( $D_k$ ).
- مجموعات البيانات: تم استخدام خمس مجموعات بيانات: BP4D، وBP4D+، وDISFA، وSayette GFT، وUNBC Pain Archive.
بنية النموذج: هيكل مشترك من نوع ResNet50 مع وحدات تجميع انتباه (attention pooling) خاصة بكل وحدة حركة (AU).
- تكييف النطاق (Domain Adaptation): تم إدراج طبقات MixStyle لتغيير إحصائيات الميزات أثناء التدريب، مما يحاكي انزياحات النطاق.
- هدف التدريب: خسارة متعددة المهام تجمع بين الخسارة الثنائية (binary cross-entropy)، وتنظيم الثقة، وخسائر الترتيب (ranking losses)، وقيود اتساق الرؤية (view-consistency).
التحليل: أجرى المؤلفون تمهيداً على مستوى الموضوع (subject-level bootstrapping) (1,000 تكرار) على عمليات نقل LODO لحساب حساسية النطاق (Domain Sensitivity - DS)، والتي تقيس عدد المرات التي يكون فيها تغير الأداء ذا دلالة إحصائية ( $p < 0.05$ ).

3. المساهمات الرئيسية

صياغة عدم اليقين في التقييم: تضع الورقة أرضية ضجيج تجريبية لكشف الـ AU. في BP4D+، يبلغ متوسط هامش الضجيج بنسبة 95% نحو $\pm 0.065$ F1، مع وجود وحدات ذات انتشار منخفض (مثل AU24) تظهر هوامش تصل إلى $\pm 0.156$ .
تحليل حساسية المقاييس: توضح الورقة أن درجات F1 تتقلب بشكل أكبر بكثير من درجات AUC تحت إعادة تعيين الموضوعات. بالنسبة للعديد من وحدات الحركة، يكون تقلب F1 يقرب من 3 أضعاف تقلب AUC.
تقديم بروتوكول LODO: يقترح المؤلفون تقييم "ترك مجموعة بيانات واحدة خارج التقييم" كبديل منهجي للتحقق المتقاطع لمجموعة بيانات واحدة. هذا البروتوكول يزيل عشوائية التقسيم داخل مجموعة البيانات ويختبر التعميم على مستوى النطاق مباشرة.
إعادة تقييم ادعاءات SOTA: تظهر الورقة أن العديد من "التحسينات" الأخيرة في الأدبيات (التي غالباً ما تكون $<0.02$ في F1) تقع تماماً ضمن أرضية الضجيج المحسوبة، مما يشير إلى أنها قد لا تكون قابلة للتمييز إحصائياً عن التباين الناتج عن التقسيم.

4. النتائج الرئيسية

أ. ضجيج مستوى التقسيم (BP4D+)

تحولات الانتشار (Prevalence Shifts): يؤدي إعادة تعيين الموضوعات للطيّات إلى تغييرات كبيرة في معدلات انتشار الـ AU الأساسية. على سبيل المثال، تظهر AU7 وAU12 نطاقات انتشار تتجاوز 0.10 عبر الطيات المختلفة.
عدم استقرار الأداء:
- وحدات الحركة ذات الانتشار المنخفض (مثل AU1، AU4، AU24) تظهر أعلى مستويات عدم الاستقرار. تتراوح درجة F1 لـ AU24 بين 0.104 و0.317 عبر الطيات لنموذج ResNet50.
- وحدات الحركة ذات الانتشار العالي (مثل AU6، AU10) أكثر استقراراً ولكنها لا تزال تظهر تبايناً غير مهمل.
- استقلالية البنية: نمط عدم الاستقرار ثابت عبر ResNet50 وMobileViT وVGG16، مما يثبت أن الضجيج ينبع من تقسيم البيانات، وليس من بنية النموذج.
المقارنة مع SOTA: إن نطاق درجات F1 المسجلة لـ SOTA في BP4D+ (الذي يتراوح بين 0.627 و0.668) أصغر من نطاق الضجيج التجريبي ( $\pm 0.065$ ). وهذا يعني أن ترتيب النماذج ضمن هذا النطاق غير موثوق في ظل التحقق المتقاطع القياسي.

ب. LODO والمتانة عبر مجموعات البيانات

فجوة التعميم: ينخفض الأداء بشكل كبير عند النقل إلى نطاقات غير مرئية، خاصة لوحدات الحركة ذات الانتشار المنخفض. على سبيل المثال، عندما يتم استبعاد UNBC، تنخفض عدة وحدات حركة إلى ما يقرب من الصفر في F1، رغم أن AUC يظل معرفاً.
استقرار المقاييس:
- يظل AUC مستقراً نسبياً عبر انزياحات النطاق (قدرة الترتيب محفوظة).
- يكون F1 متقلباً للغاية، مما يشير إلى أن عتبة القرار المثلى تعتمد على النطاق.
حساسية النطاق (DS):
- يظهر F1 حساسية نطاق بنسبة 100% للوحدات AU6 و7 و10 و17، مما يعني أن تدهور الأداء كان ذا دلالة إحصائية في جميع سيناريوهات النقل.
- أظهر AUC حساسية أقل بكثير (0% إلى 60%)، مما يؤكد أن مقاييس الترتيد أكثر متانة من مقاييس نقطة التشغيل.

5. الأهمية والآثار المترتبة

تحول في نموذج التقييم: تجادل الورقة بأن على المجتمع الابتعاد عن الاعتماد على التحقق المتقتب لمرة واحدة ومجموعة بيانات واحدة. يجب التعامل مع المكاسب الصغيرة المسجلة في F1 بشك، ما لم تتجاوز أرضية الضجيج التجريبية.
معايير التقارير: يوصي المؤلفون بـ:
1. الإبلاغ عن التباين وفترات الثقة عبر التقسيمات المتكررة.
2. اعتماد LODO أو بروتوكولات مشابهة لتقييم تعدد مجموعات البيانات لتقييم التعميم الحقيقي.
3. الإبلاغ عن كل من المقاييس المستقلة عن العتبة (AUC) و المقاييس المعتمدة على العتبة (F1) للتمييز بين جودة التمثيل واستقرار التصنيف.
الاتجاه المستقبلي: تشير النتائج إلى أن تصنيفات "SOTA" الحالية في كشف الـ AU قد تكون نتاج بروتوكولات التقييم بدلاً من كونها اختراقات معمارية حقيقية. يتطلب التقدم المستقبلي تقييماً صارماً وواعياً بالبروتوكول يأخذ في الاعتبار كلاً من ضجيج مستوى التقسيم وانزياحات التوزيع على مستوى النطاق.