Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues
تكشف هذه الورقة أن نماذج الرؤية واللغة تظهر أداءً أقل بكثير من البشر في استنتاج اتجاه نظرة العين لأنها تعتمد بشكل خاطئ على اتجاه الرأس بدلاً من مظهر العين، وهو انحياز يُعزى إلى بيانات التدريب وليس إلى بنية النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: لعبة التخمين "بناءً على اتجاه الرأس"
تخيل أنك تلعب لعبة حيث يتعين عليك تخمين الشيء الذي ينظر إليه شخص ما في صورة. هناك ثلاثة أشياء على الطاولة: أرنب، وغلاية، وبعض زهور التوليب.
إذا كان الشخص ينظر إلى الأرنب، ولكن رأسه ملتف قليلاً باتجاه الغلاية، فماذا تفعل؟
- الإنسان ينظر بدقة إلى العينين، ويرى أن بؤبؤ العين يتجه نحو الأرنب، فيقول: "إنه ينظر إلى الأرنب".
- الذكاء الاصطناي الحالي (نماذج الرؤية واللغة) غالباً ما يتجاهل العينين. بدلاً من ذلك، ينظر إلى اتجاه وجه الشخص (رأسه) ويقول: "إنه ينظر إلى الغلاية".
تجادل الورقة البحثية بأن نماذج الذكاء الاصطناي هذه هي نماذج "كسولة" في التخمين. فهي تعتمد على طريق مختصر: إذا كان الرأس متجهاً نحو شيء ما، فلا بد أن العينين تنظران إلى هناك أيضاً. إنها تفشل في القيام بالعمل الصعب المتمثل في قراءة العينين فعلياً.
كيف اختبر الباحثون ذلك؟
قام الباحثون ببناء "مختبر نظرات" خاص لاختبار هذا الأمر. أخذوا 1,360 صورة حقيقية لأشخاص يجلسون حول طاولة مع أشياء مختلفة. وضعوا ثلاثة سيناريوهات محددة لخداع الذكاء الاصطناي:
- سيناريو "التوافق": الشخص ينظر إلى الأرنب، ورأسه أيضاً متجه نحو الأرنب. (سهل للجميع).
- السيناريو "الطبيعي": الشخص ينظر إلى الأرنب، ورأسه متجه بشكل طبيعي إلى حيث يشعر بالراحة (عادةً نحو الأرنب).
- سيناريو "الخدعة" (غير المتوافق): هذا هو الجزء الأهم. الشخص يبقي رأسه متجهاً نحو الغلاية، لكنه يحرك عينيه لينظر إلى الأرنب.
النتيجة:
- البشر نجحوا في هذا في كل مرة تقريباً (بدقة بلغت 89%). لقد نظروا إلى العينين.
- نماذج الذكاء الاصطناي (مثل GPT-4o، وGPT-5.2، وQwen3) كان أداؤها سيئاً للغاية، وغالباً ما كان بالكاد أفضل من التخمين العشوائي. عندما اختلف اتجاه الرأس عن اتجاه العينين، كان الذكاء الاصطناي دائماً ما يخمن الشيء الذي يتجه إليه الرأس، وليس الشيء الذي تنظر إليه العينين.
لماذا فشل الذكاء الاصطناي؟ (عمل المحققين)
لم يكتفِ الباحثون بالقول إن "الذكاء الاصطناي سيء فحسب"، بل لعبوا دور المحقق لمعرفة لماذا. لقد استبعدوا عدة أعذار:
- هل السبب هو أن الصور ضبابية جداً؟ لا. عندما جعلوا الصور عالية الدقة جداً، ظل الذكاء الاصطناي يفشل.
- هل السبب هو أن الذكاء الاصطناي لا يستطيع تسمية الأشياء؟ لا. استطاع الذكاء الاصطناي تحديد "الأرنب" و"الغلاية" بشكل صحيح عندما سُئل عنهما.
- هل السبب هو أن الذكاء الاصطناي صغير الحجم؟ لا. النماذج الأكبر والأكثر قوة فشلت بنفس القدر مثل النماذج الأصغر.
المسبب الحقيقي: بيانات التدريب
يعتقد الباحثون أن المشكلة تكمكمن فيما تعلمه الذكاء الاصطناي من الإنترنت.
- التشبيه: تخيل طفلاً لم يرَ قط سوى أشخاص ينظرون إلى الأشياء التي يواجهونها. في العالم الحقيقي، من النادر رؤية شخص يحدق جانباً بينما يواجه وجهه الأمام.
- بما أن بيانات الإنترنت مليئة بأمثلة "توافق الرأس والعينين"، فقد تعلم الذكاء الاصطناي قاعدة: "اتجاه الرأس = اتجاه النظر". لم يتعلم أبداً أن العينين يمكن أن تتحركا بشكل مستقل عن الرأس.
اختبار "رمي العملة"
لإثبات أن الذكاء الاصطناي لم يكن مجرد مرتبك، أجرى الباحثون اختباراً محدداً. سألوا: هل يهتم الذكاء الاصطناي بالعينين على الإطلاق؟
وجدوا أن سلوك الذكاء الاصطناي يشبه رمي العملة أو ميزاناً منحازاً:
- عندما اتفق الرأس مع العينين، كان الذكاء الاصطناي واثقاً.
- عندما اختلفا، لم يحاول الذكاء الاصطناي فهم العينين، بل اكتفى بالاعتماد على اتجاه الرأس.
- حتى عندما حاول الباحثون "تعليم" الذكاء الاصطناي التركيز على العينين عبر إضافة تعليمات مثل "ركز على العينين"، تجاهل الذكاء الاصطناي ذلك وعاد للتخمين بناءً على الرأس.
تجربة "إثبات المفهوم"
لإظهار أن هذا ليس عيباً دائماً في بنية (هيكلية) الذكاء الاصطناي، بل هو مجرد عادة سيئة من تدريبه، أجرى الباحثون تجربة صغيرة:
أخذوا أحد نماذج الذكاء الاصطناي وأعادوا تدريبه خصيصاً على صور "الخدعة" (حيث يختلف الرأس عن العينين).
- قبل إعادة التدريب: كان النموذج سيئاً جداً في سيناريو الخدعة (دقة 15%).
- بعد إعادة التدريب: أصبح النموذج أفضل بكثير (دقة 34%). لقد تعلم التوقف عن الاعتماد الكلي على الرأس والبدال في النظر إلى العينين فعلياً.
الدرس المستفاد: يمكن للذكاء الاصطناي أن يتعلم قراءة العينين، لكنه يحتاج إلى بيانات محددة تعلمه ذلك. بيانات الإنترنت القياسية التي يتعلم منها عادةً لا تحتوي على ما يكفي من هذه الأمثلة "المخادعة".
الملخص
- المشكلة: نماذج الذكاء الاصطناي الحالية سيئة جداً في تحديد أين ينظر الشخص إذا كان رأسه متجهاً في اتجاه مختلف. إنها تخلط بين اتجاه الوجه واتجاه العينين.
- السبب: تم تدريبها على بيانات يكون فيها الرأس والعينان يتجهان عادةً في نفس الاتجاه، لذا تعلمت طريقاً مختصراً وكسولاً.
- الحل: نحن بحاجة لتزويد الذكاء الاصطناي بمزيد من البيانات حيث ينظر الناس جانباً أو للأعلى بينما يظل رأسهم ثابتاً، مما يجبر الذكاء الاصطناي على تعلم كيفية قراءة العينين فعلياً.
تخلص الورقة البحثية إلى أنه ما لم نصلح مشكلة البيانات هذه، فسيظل الذكاء الاصطناي يعاني لفهم الإشارات غير اللفظية البشرية، وهو أمر ضروري للروبوتات والحواسيب للتفاعل بشكل طبيعي مع البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.