Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition
تُظهر هذه الدراسة أن المقارنات أحادية التشغيل لطرق تكييف "frozen-CLIP" للتعرف على تعبيرات الوجه غير مستقرة للغاية بسبب التباين في بذور التدريب، حيث تفشل معظم فروق الأداء المُبلغ عنها في التكرار عبر بذور متعددة وتغييرات في المعلمات الفائقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، يتم تعليم الحواسيب بشكل متزايد كيفية التعرف على العالم من خلال دراسة مكتبات ضخمة من الصور والنصوص معاً. وتخلق هذه العملية "دماغاً" قوياً وعام الأغراض يمكنه فهم صور لم يسبق له رؤيتها من قبل. ومع ذلك، عندما تُنشر هذه الأنظمة في العالم الحقيقي، فإنها غالباً ما تتعثر. فالنموذج الذي تم تدريبه على مجموعة معينة من الصور قد يفشل فشلاً ذريعاً عند عرضه على صور التُقطت في ظل إضاءة مختلفة، أو بكاميرات مختلفة، أو تظهر أشخاصاً مختلفين. وهذه مشكلة شائعة في التعرف على تعبيرات الوجه، حيث إن الكمبيوتر المدرب على رصد السعادة أو الغضب في مجموعة بيانات واحدة غالباً ما يفقد دقته عند مواجهة مجموعة جديدة من الوجوه. ولإصلاح ذلك دون إعادة تدريب هذا "الدماغ الضخم" بالكامل، طور الباحثون تقنيات "التكيف" (adaptation). وتعتمد هذه الطرق على إبقاء الدماغ الرئيسي ثابتاً وغير متغير، مع إضافة طبقة صغيرة قابلة للتدريب فوقه للتكيف مع الموقف الجديد. إنه حل عملي، لكنه يعتمد على افتراض خطير، وهو أن الباحث إذا أجرى عملية الضبط هذه مرة واحدة وحصل على نتيجة، فإن تلك النتيجة هي الحقيقة.
لقد وضع فريق من الباحثين في جامعة هيفي للتكنولوجيا هدفاً لاختبار ما إذا كان هذا الافتراض القائم على "المرة الواحدة" يصمد أمام الاختبار. وركزوا على طريقتين متنافستين لتكييف هذه الأدمغة الاصطناعية المجمدة للتعرف على تعبيرات الوجه. إحدى الطريقتين، وتسمى "المسار العالمي" (global route)، تأخذ ملخصاً واحداً للصورة بأكملها وتحاول تعديل ذلك الملخص ليتناسب مع المهمة الجديدة. أما المسار الآخر، المعروف باسم "مسار الرموز" (token route)، فيعمل بشكل مختلف؛ فبدلاً من تلخيص الصورة أولاً، ينظر إلى الأجزاء الفردية للصورة ويتعلم كيفية وزن هذه الأجزاء قبل اتخاذ القرار. ولسنوات، كان يُفترض أن مسار الرموز هو الأفضل لأنه يحافظ على مزيد من التفاصيل. ولاختبار ذلك، أخذ الباحثون نموذج ذكاء اصطناعي مجمد قياسي وطبقوا كلتا طريقتي التكيف. ولكن بدلاً من إجراء التجربة مرة واحدة والإبلاغ عن الفائز، أجروا التجربة مرات عديدة، مع تغيير نقطة البداية العشوائية لعملية التدريب فقط، والمعروفة باسم "البذرة" (seed). وقد فعلوا ذلك لنوعين مختلفين من أحجام نماذج الذكاء الاصطناعي، حيث أجروا التجربة عشر مرات على النموذج الأصغر وخمس عشرة مرة على النموذج الأكبر، مع استخدام نفس البيانات والقواعد تماماً.
كانت نتائج إعادة الاختبار الصارمة هذه مذهلة. فعندما نظر الباحثون في البيانات من تشغيل واحد، بدا أن مسار الرموز أفضل بكثير من الطريقة العالمية في اختبار عبر مجموعة بيانات مختلفة، بفارق يقترب من أربع نقاط مئوية. وهذا هو نوع النتائج التي تصنع العناوين الرئيسية التي تحدد مسار مجال ما عادةً. ومع ذلك، عندما قاموا بمتوسط النتائج عبر جميع عمليات التدريب العشر أو الخمس عشرة المختلفة، تلاشى ذلك الفارق. وفي الواقع، بالنسبة لنموذج الذكاء الاصطناي الأصغر، انقلبت الكفة تماماً؛ حيث كان أداء مسار الرموز في الواقع أسوأ من الطريقة العالمية في المتوسط. وكان الفرق بين أفضل وأسوأ عمليات التشغيل كبيراً لدرجة أنه طغى تماماً على الادعاء الأصلي. ووجد الباحثون أن نقطة البداية العشوائية لعملية التدريب كانت كافية لعكس استنتاج الدراسة. وقد أظهرت خمس من أصل ست مقارنات رئيسية أجروها هذا النوع من عدم الاستقرار، مما يعني أن تجربة واحدة يمكن أن تسجل بسهولة "فائزاً" قد يخسر إذا أُعيدت التجربة ببداية عشوائية مختلفة.
ومع ذلك، كانت هناك استثناء واحد صمد أمام اختبار التكرار. ففي اختبار محدد يتضمن صوراً تعرضت لتشوهات اصطناعية مثل الضبابية أو الضجيج، تفوق مسار الرموز باستمرار على الطريقة العالمية في نموذج الذكاء الاصطناعي الأكبر. وقد صمد هذا التفوق عبر جميع عمليات التدريب الخمس عشرة، حيث تقدم مسار الرموز بنحو ثلاث ونصف نقطة مئوية. وللتأكد تماماً من أن هذا لم يكن محض صدفة، أخذ الباحثون هذه النتيجة إلى مجموعة بيانات جديدة تماماً لتعبيرات الوجه لم يلمسوها من قبل. طبقوا نفس القواعد الصارمة والمعايير المحددة مسبقاً. وفاز مسار الرموز مرة أخرى، بفارق يقترب من ثلاث نقاط. وقد أكد هذا أنه بينما ليس مسار الرموز سلاحاً سحرياً عالمياً يهزم كل شيء في كل موقف، إلا أنه يمتلك قوة حقيقية وقابلة للتكرار عند التعامل مع أنواع معينة من فساد الصور في النماذج الأكبر.
كما كشفت الدراسة أيضاً أن الطريقة التي يضبط بها الباحثون تجاربهم تهم بقدر أهمية نقطة البداية العشوائية. فعندما سمح الباحثون باختيار "معدل التعلم" (learning rate) — وهو إعداد رئيسي يتحكم في سرعة تعلم النموذج — بشكل مختلف لكل تشغيل عشوائي، تغيرت النتائج بشكل كبير. وفي إحدى الحالات، أدى تغيير هذا الإعداد إلى تحريك فرق الأداء بأكثر من ثلاث نقاط، وهو بالضبط حجم التأثير الذي ادعى التشغيل الفردي الأصلي وجوده. وهذا يشير إلى أن "الفائز" في المقارنة يعتمد على خيارات الضبط المحددة بقدر اعتماده على الطريقة نفسها. وخلص البدائل إلى أن المجال قد اعتمد بشكل مفرط على مقارنات التشغيل الفردي، والتي يمكن أن تنتج ادعاءات اتجاهية مضللة. لقد أثبتوا أنه بالنسبة للعديد من طرق التكيف، فإن الضوضاء الناتجة عن الاختلافات العشوائية في التدريب كبيرة بما يكفي لعكس النتائج. والسبيل الوحيد لمعرفة ما إذا كانت الطريقة أفضل حقاً هو تشغيلها عدة مرات والإبلاض عن نطاق النتائج، بدلاً من مجرد أفضل نتيجة واحدة.
لا تعلن هذه الدراسة أن طريقة تكيف واحدة هي المتفوقة دائماً على الأخرى. بدلاً من ذلك، فهي تكشف أن مشهد تكيف الذكاء الاصطناعي أكثر عدم استقرار مما كان يُعتقد سابقاً. فمسار الرموز ليس نصراً مضموناً، كما أن الطريقة العالمية ليست فشلاً؛ فأداؤهما حساس للغاية للبذور العشوائية المستخدمة أثناء التدريب وظروف الاختبار المحددة. والنتيجة الواضحة والقابلة للتكرار الوحيدة هي أن مسار الرموز يوفر ميزة حقيقية للنماذج الأكبر عندما تكون الصور تالفة، لكن هذه القوة لا تمتد إلى جميع المهام أو جميع أحجام النماذج. وتعمل الدراسة كتصحيح ضروري لكيفية تقييم هذه التقنيات، وتحث الباحثين على تجاوز لقطات الأداء الفردية وتبني الصورة الكاملة للتباين. ومن خلال القيام بذلك، يمكن للمجتمع العلمي التمييز بين الضوضاء الإحصائية العابرة والتحسينات الحقيقية والموثوقة في كيفية فهم الآلات لوجوه البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.