Adversarial robustness and confidence miscalibration in emotion-based HRI systems
تُثبت هذه الورقة أن أنظمة التعرف على تعبيرات الوجه في الروبوتات، رغم تحقيقها دقة عالية في المجموعات النظيفة، تعاني من سوء معايرة ثقة كارثي وغير قابل للمعايرة هيكلياً تحت الهجمات العدائية، مما يجعلها غير آمنة جوهرياً للتحكم الفيزيائي رغم ظهورها بمستوى عالٍ من الثقة.
تخيل روبوتًا صُمم لمساعدة الناس، ربما في مستشفى أو مدرسة، ويُفترض به أن يفهم المشاعر البشرية من خلال النظر إلى الوجوه. إذا رأى الروبوت ابتسامة، فقد يقدم تحية مبهجة؛ وإذا رأى عبوسًا، فقد يقدم المواساة. هذه القدرة على قراءة العواطف هي حجر الزاوية في الروبوتات الاجتماعية الحديثة، وهي تعتمد على برامج حاسوبية تم تدريبها على التعرف على تعبيرات الوجه. ولكي تكون هذه الآلات آمنة ومفيدة، يجب على مبتكريها أن يثقوا في أن تفسير الروبوت للوجه صحيح. فإذا أخطأ الروبوت في قراءة وجه محايد على أنه غاضب، فقد يتفاعل بحذر أو عدوانية غير ضروريين، مما قد يسبب ضررًا أو ضيقًا. السؤال الجوهري للمهندسين ليس فقط ما إذا كان بإمكان الروبوت التعرف على العواطف بدقة في بيئة مثالية ومنضبطة، بل ما إذا كان يمكن الوثوق به لاتخاذ القرارات عندما يكون العالم فوضويًا أو عندما يحاول شخص ما خداعه.
لقد وضع فريق من الباحثين هدفًا لاختبار هذه الموثوقية تحديدًا. قاموا بفحص خمسة أنظمة حاسوبية مختلفة صُممت للتعرف على خمس عواطف أساسية: الغضب، السعادة، الحزن، المفاجأة، والحالة المحايدة. خضعت هذه الأنظمة لسلسلة من الاختبارات الصارمة لمعرفة كيفية أدائها عندما تكون الصور التي تتلقاها ضبابية قليلاً، أو خافتة الإضاءة، أو مغطاة بضجيج رقمي. والأهم من ذلك، أخضع الباحثون هذه الأنظمة لنوع معين من الخداع الرقمي يُعرف باسم "الهجوم العدائي". في هذا السيناريو، يقوم برنامج حاسوبي بإجراء تغييرات طفيفة، غير مرئية تقريبًا على صورة وجه — تغييرات صغيرة جدًا لدرجة أن العين البشرية لن تلاحظها أبدًا — ولكن هذه التغييرات محسوبة لإرباك الروبوت تمامًا. كان الهدف هو معرفة ما إذا كان الروبوت سيظل يتعرف على العاطفة بشكل صحيح، والأهم من ذلك، ما إذا كان الروبوت سيعرف أنه مرتبك.
كانت النتائج صارخة وكشفت عن خلل خطير في كيفية بناء هذه الأنظمة حاليًا. فعندما أدخل الباحثون حتى أقل قدر من الخداع الرقمي، انهارت قدرة الروبوتات على التعرف على العواطف. الأنظمة التي كانت دقيقة بنسبة 76 في المائة في الظروف المثالية انخفضت دقتها إلى ما يقرب من الصفر. بدأت الروبوتات في التخمين العشوائي، فغالبًا ما كانت تحدد وجهًا سعيدًا على أنه غاضب، أو وجهًا حزينًا على أنه متفاجئ. ومع ذلك، فإن الاكتشاف الأكثر إثارة للقلق لم يكن أن الروبوتات ارتكبت أخطاءً، بل أنها كانت تفتقر تمامًا للوعي بأخطائها. ففي الواقع، حتى عندما كان يتم خداع الروبوتات لرؤية العاطفة الخاطئة، ظلت واثقة للغاية في إجاباتها الخاطئة. وفي الواقع، أبلغت البرامج الحاسوبية أنها كانت متأكدة بنسبة تقارب 96 في المائة من تخميناتها الخاطئة.
يتحدى هذا الاكتشاف استراتيجية سلامة شائعة تُستخدم في الروبوتات. غالبًا ما يبرمج المهندسون الروبوتات لتجاهل التنبؤ إذا كانت درجة ثقة الحاسوب منخفضة جدًا، بافتراض أن الدرجة المنخفضة تعني أن الروبوت غير متأكد ويجب عليه انتظار قراءة أفضل. وجد الباحثون أن شبكة الأمان هذه عديمة الفائدة ضد هذه الخدع الرقمية. نظرًا لأن الروبوتات ظلت واثقة للغاية حتى عندما كانت مخطئة، فإن بوابة الأمان لم تُغلق أبدًا. وواصلت الروبوتات التصرف بناءً على معتقداتها الزائفة بيقين تام. لقد أثبت الفريق رياضيًا أن مجرد تعديل الإعدادات الداخلية للحاسوب لجعله أكثر حذرًا لن يحل المشكلة. إن الطريقة التي تحسب بها هذه الأنظمة الثقة غير قادرة هيكليًا على التمييز بين وجه حقيقي ووجه تم خداعه عندما يكون الخداع قويًا بما يكفي.
خلص الباحثون إلى أن الاعتماد على لقطة واحدة للوجه ودرجة ثقة الحاسوب ليس كافيًا للحفاظ على سلامة الروبوت. لقد أثبتوا أن قدرة الروبوت على التعرف على العاطفة وقدرته على التصرف بأمان بناءً على تلك العاطفة هما أمران مختلفان. يمكن للنظام أن يكون جيدًا جدًا في التعرف على الوجوه في المختبر، ومع ذلك يظل هشًا بشكل خطير في العالم الحقيقي. ولبناء روبوتات آمنة حقًا، يرى الباحثون أننا بحاجة إلى طبقة جديدة من التحقق. فبدلاً من ترك الروبوت يتصرف فور رؤية الوجه، يجب على النظام التحقق من التنبؤ مقابل أدلة أخرى، مثل مدة استمرار التعبير أو ما إذا كانت مستشعرات الروبوت الأخرى تتفق مع المدخلات المرئية. وإلى أن توضع مثل هذه الضمانات، فإن الروبوتات التي تعتمد على قراءة وجوهنا قد تكون أكثر عرضة لسوء فهمنا منها لفهمنا، خاصة عند مواجهة حتى أدنى محاولة للخداع.
ملخص تقني: المتانة العدائية وعدم معايرة الثقة في أنظمة التفاعل بين الإنسان والروبوت القائمة على المشاعر
بيان المشكلة
تتناول الورقة ثغرة أمنية حرجة في أنظمة التفاعل بين الإنسان والروبوت (HRI) التي تستخدم التعرف على تعبيرات الوجه (FER). بينما يتم تقييم نماذج التعرف على تعبيرات الوجه عادةً بناءً على دقة التعرف في المجموعات النظيفة (مثل الدقة، والاستدعاء، ومقياس F1)، فإن هذه المقاييس تفشل في تقييم ما إذا كان التنبؤ جديرًا بالثقة بما يكفي لتحفيز أفعال مادية للروبوت. تكمن المشكلة الجوهرية في أن المصنف قد يكون دقيقًا على البيانات القياسية، ولكنه هش تحت ظروف التدهور البيئي أو الاضطرابات العدائية. والأهم من ذلك، يبحث المؤلفون فيما إذا كان "عتبة الثقة" (confidence thresholding) — وهي استراتيجية تخفيف شائعة حيث يعمل النظام فقط إذا تجاوز احتمال "softmax" الأقصى عتبة معينة — يمكنها التمييز بشكل موثوق بين المدخلات المشروعة والعدائية. وتفترض الدراسة أنه إذا أنتجت الهجمات العدائية أخطاءً عالية الثقة، فإن البوابة القائمة على الثقة ستفشل تحديدًا في الوقت الذي تكون فيه آليات الأمن في أمس الحاجة إليها.
المنهجية
أجرى المؤلفون دراسة تجريبية منضبطة باستخدام مجموعة فرعية مكونة من خمس فئات من مجموعة بيانات FER2013 (غاضب، سعيد، محايد، حزين، متفاجئ).
خطوط المعالجة (Pipelines) التي تم تقييمها: تمت مقارنة خمسة خطوط معالجة للتعرف على تعبيرات الوجه:
DeepFace: نموذج أساسي جاهز (Zero-shot).
الاستراتيجية 1: شبكة عصبية تلافيفية (CNN) مخصصة ومنظمة تم تدريبها من الصفر.
الاستراتيجية 2: نموذج VGG16 مع قاعدة تلافيفية مجمدةة ورأس تصنيف مدرب.
الاستراتيجية 3: نموذج VGG16 أعيد تدريبه بالكامل (Fine-tuned end-to-end).
الاستراتيجية 4: شبكة CNN ذات بقايا عميقة (Deep Residual CNN) مدربة من الصفر.
بيئة التقييم: أجريت جميع التجارب على أجهزة تعمل بمعالجات (CPU) فقط لتعكس قيود النشر في العالم الحقيقي للروبوتات.
ظروف الإجهاد:
الفساد البيئي: الضوضاء الغاوسية (Gaussian noise)، والضبابية (Blur)، وتقليل السطوع، وضغط JPEG عبر خمس مستويات من الشدة.
الهجمات العدائية: هجمات غير مستهدفة من نوع FGSM (طريقة إشارة التدرج السريع) و PGD (الاشتقاق المتدرج المتجه لأسفل المحسوب) عبر مسح لميزانية الاضطراب (ϵ).
تحليل المعايرة: تم تطبيق "قياس درجة الحرارة" (Temperature Scaling) اللاحق على قيم الـ (logits) لاختبار ما إذا كانت إعادة المعايرة يمكن أن تفصل بين المدخلات النظيفة والعدائية. تم تثبيت بوابة التشغيل عند عتبة τ=0.70.
المقاييس: انتقلت الدراسة إلى ما وراء الدقة القياسية لتقيس سلامة التفعيل (خطر اتخاذ إجراء خاطئ نظرًا لقبول التنبؤ) وأداء الكاشف (مؤشر Youden، وAUROC) لبوابة الثقة.
المساهمات الرئيسية
صياغة بوابة الإدراك إلى الفعل: تُعرف الورقة "سلامة التفعيل" كخاصية للمجتمع الفرعي المقبول، متميزة عن دقة التعرف العامة. وتثبت أن النظام يمكن أن يكون دقيقًا في المتوسط، ولكنه مخطئ بشكل منهجي في مجموعة المدخلات المحددة التي يختار العمل بناءً عليها.
التقييم العدائي عبر البنى المختلفة: توضح الدراسة أن الهشاشة العدائية هي خاصية مشتركة عبر بنيات متنوعة (CNN مخصصة، تعلم نقل الخبرة، والشبكات المتبقية) تحت ميزانية اضطراب مشتركة.
نتيجة الاستحالة للمعايرة العالمية: يثبت المؤلفون تحليليًا أن قياس درجة الحرارة العالمي لا يمكنه إصلاح فشل بوابات الثقة تحت الهجوم العدائي. نظرًا لأن احتمال "softmax" الأقصى يزداد بشكل صارم مع متجه الفجوة اللوغاريتمي، وبما أن قياس درجة الحرارة يطبق تحويلًا متماثلًا على جميع المدخلات، فلا يوجد درجة حرارة واحدة يمكنها في آن واحد قبول التنبؤات المشروعة (ذات الفجوات الأصغر) ورفض التنبؤات العدائية (ذات الفجوات الأكبر) عندما تهيمن الفجوة العدائية.
حدود الكاشف: تشتق الورقة حدودًا تظهر أن مؤشر Youden لبوابة الثقة مقيد بمعدل القبول العدائي، مما يثبت أن البوابة عاجزة هيكليًا عن الفصل بين المدخلات النظيفة والعدائية تحت الظروف المرصودة.
النتائج
الأداء النظيف: حققت شبكة الـ CNN المتبقية العميقة (الاستراتيجية 4) أعلى دقة في المجموعة النظيفة (0.760) وأعلى مقياس F1 كلي (0.753) عند سرعة معالجة في الوقت الفلي عبر الـ CPU.
المتانة البيئية: تسبب الفساد البيئي في تدهور الأداء بما يتناسب مع الشدة. ومع ذلك، تسببت الهجمات العدائية في انهيار موحد.
FGSM: خفضت جميع النماذج إلى أقل من 0.16 دقة عند ϵ=0.01.
PGD: خفضت جميع النماذ إلى ما يقرب من الصفر (فعليًا < 0.005) عند ϵ≥0.02.
سوء معايرة الثقة: رغم الانهيار في الدقة، ظلت النماذج المهاجمة عالية الثقة. تحت هجوم PGD، وصل متوسط الثقة للتنبؤات العدائية إلى 0.964.
فشل العتبة:
96.0% من التنبؤات العدائية تجاوزت عتبة التشغيل (τ=0.70) حتى بعد قياس درجة الحرارة.
كان AUROC لبوابة الثقة 0.144، مما يشير إلى أن الكاشف معكوس (فهو يقبل المدخلات العدائية أكثر من المدخلات المشروعة).
تم قياس مؤشر Youden عند -0.261، مما يؤكد أن البوابة مرتبطة عكسيًا بالحاجة إلى الرفض.
ثبات المعايرة: كان لـ "قياس درجة الحرارة" (الذي تم ضبطه عند T=0.982) تأثير ضئيل على الفصل بين المدخلات النظيفة والعدائية. وقد أكد التحليل النظري أن منحنى ROC لدرجة "softmax" القصوى ثابت تجاه قياس درجة الحرارة بافتراض هياكل "المرشح الثاني" المرتبة.
الأهمية والادعاءات
تزعم الورقة أن الهشاشة العدائية في التعرف على تعبيرات الوجه ليست مرتبطة ببنية معينة، وأن الأخطاء عالية الثقة هي سمة هيكلية للهجوم، وليست نتاج عملية معايرة يمكن إصلاحها بإعادة القياس.
فصل الاهتمامات: يجادل المؤلفون بأن دقة التعرف وسلامة التفعيل هما خاصيتان مختلفتان. الدقة العالية في المجموعة النظية لا تضمن تفعيلًا آمنًا.
محدودية الحلول الحالية: تخلص الدراسة إلى أن الاعتماد فقط على عتبة الثقة غير كافٍ للأنظمة الحساسة أمنيًا في التفاعل بين الإنسان والروبوت. تفشل "بوابة الثقة" لأن الهجمات العدائية تركز الأخطاء في منطقة الثقة العالية التي صُممت البوابة لتمريرها.
الآثار المعمارية: تحفز الورقة ضرورة وجود طبقة تحقق على مستوى النظام بين وحدة التعرف على تعبيرات الوجه وسياسة فعل الروبوت. يجب أن تدمج هذه الطبقة الثقة مع تدفقات أدلة أخرى (مثل الاستمرارية الزمنية، وقيود معدل الفعل) بدلاً من الاعتماد على درجات "softmax" اللحظية.
النطاق: يصرح المؤلفون صراحةً بأنهم لا يقترحون طرق تدريب جديدة أو كواشف أفضل. بدلاً من ذلك، هم يوضحون أن قاعدة القرار الأكثر شيوعًا (عتبة الثقة) تفشل تحت الظروف العدائية، وأن هذا الفشل لا يمكن علاجه بالمعايرة اللاحقة. تشير النتائج إلى أن التفاعل الآمن الموجه بالمشاعر يتطلب مراحل تحقق صريحة تمتد إلى ما وراء درجات الثقة الداخلية للمصنف.