Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
تقترح هذه الورقة وتقيم استراتيجية تلميح بصري فعالة من حيث عدد الرموز (tokens)، تقوم بتحويل بيانات مستشعر تتبع حركة العين عالية التردد إلى صور توضيحية (مثل المخططات الزمنية، والخرائط الحرارية، ومسارات المسح) لتمكين النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من أداء التعرف على الأنشطة البشرية بفعالية في تطبيقات إنترنت الأشياء (IoT).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً فائق الذكاء (نموذج لغوي كبير متعدد الوسائط، أو MLLM) يمكنه التحدث والقراءة وفهم العالم من حوله. تريد تعليم هذا الروبوت كيفية التعرف على ما يفعله الشخص بمجرد النظر إلى حركات عينيه — مثل ما إذا كان يقرأ كتاباً، أو يلعب لعبة، أو يتصفح الويب.
ما هي المشكلة؟ بيانات تتبع حركة العين تشبه خرطوم مياه يتدفق من الأرقام. فهي تسجل بدقة أين ينظر الشخص، مئات المرات في كل ثانية. إذا حاولت تغذية الروبوت بالبيانات الخام كقائمة ضخمة من الأرقام (مثل "س=10، ص=20، س=11، ص=21..." )، سيحدث أمران سيئان:
- سيشعر بالارتباك والإنهاك: سيتعين على الروبوت قراءة كتاب ضخم من الأرقام لفهم ثوانٍ قليلة من النشاط. الأمر يشبه محاولة قراءة قاموس كامل فقط للعثور على كلمة "قطة".
- سيصاب بالارتباك: قد يفتقد الروبوت الأنماط المهمة بسبب وجود الكثير من الضجيج في وسط البيانات.
الحل: "أرِني، لا تخبرني"
قرر الباحثون في جامعة KAIST وشركة Adobe التوقف عن تغذية الروبوت بقائمة من الأرقام وبدلاً من ذلك إظهار صور له. لقد حولوا بيانات تتبع حركة العين إلى تصورات بصرية، تشبه الطريقة التي تحول بها الخريطة الجوية درجات الحرارة إلى صورة ملونة.
لقد اختبروا ثلاث طرق مختلفة لرسم هذه "خرائط العين":
- الخط الزمني (سيناريو الفيلم): رسم بياني يوضح كيف تحركت العين للأعلى وللأسفل بمرور الوقت. إنه يشبه جهاز مراقبة ضربات القلب للعينين.
- الخريطة الحرارية (خريطة الحشود): بقعة ملونة توضح أين قضت العين معظم وقتها. النقاط الحمراء الساطعة تعني "نُظر هنا كثيراً"، بينما النقاط الزرقاء تعني "تم تجاهلها".
- مسار المسح (البحث عن الكنز): خط يصل بين النقاط التي قفزت إليها العين، مما يظهر المسار الدقيق الذي سلكته العين.
التجربة: اختبار التذوق
قام الباحثون بتغذية الروبوت بهذه الصور مع بعض الأمثلة (مثل إظهار صورة لشخص يقرأ وقول: "هذه عملية قراءة"). ثم طلبوا منه تخمين ما يفعله الشخص في صور جديدة.
اختبروا ذلك على ثلاث مجموعات مختلفة من الأشخاص أثناء قيامهم بمهام متنوعة، من تمارين العين البسيطة إلى أعمال الكمبيوتر المعقدة.
ما اكتشفوه
1. الصور أرخص وأسرع
كانت تغذية الروبوت بصورة بمثابة فوز ساحق.
- التكلفة: إرسال قائمة من الأرقام لـ 10 ثوانٍ من بيانات العين كان يشبه إرسال وثيقة مكونة من 20 صفحة. أما إرسال الصورة فكان يشبه إرسال بطاقة بريدية واحدة. احتاج الروبوت إلى عدد أقل من "الرموز" (Tokens) - وهي عملة معالجة الذكاء الاصطناعي - بمقدار 2 إلى 20 مرة لفهم الصورة.
- النتيجة: كان الروبوت غالباً أفضل في تخمين النشاط عندما رأى الصورة مقارنة بما لو قرأ الأرقام.
2. ليس كل مقاس يناسب الجميع
تماماً كما لا تستخدم خريطة للعالم كله لتجد طريقك داخل منزلك، وجد الباحثون أن الصور المختلفة تعمل بشكل مختلف للأنشطة المختلفة:
- الخرائط الحرارية كانت رائعة للأنشطة التي يهم فيها أين تنظر (مثل لعب لعبة حيث تقوم بمسح الشاشة بصرياً).
- مسارات المسح كانت أفضل للأنشطة التي يهم فيها ترتيب النظر (مثل قراءة جملة من اليسار إلى اليمين).
- الخطوط الزمنية كانت جيدة لمعرفة مدى سرعة حركة العين.
3. الوقت مهم
إذا أظهرت للروبوت صورة لـ 10 ثوانٍ من حركة العين، فقد يصاب بالارتباك إذا كان النشاط معقداً (مثل البرمجة). ولكن إذا أعطيته صورة لـ 60 أو 100 ثانية، يصبح النمط واضحاً. يحتاج الروبوت إلى "فيلم" أطول لفهم القصة وراء ما يفعله الشخص.
الصورة الكبيرة
تشبه هذه الدراسة ابتكار لغة جديدة ليتحدث بها الروبوت مع المستشعرات. بدلاً من إجبار الروبوت على إجراء عمليات حسابية معقدة على الأرقام الخام، نحن نعطيه ملخصاً بصرياً يمكنه استيعابه فوراً.
هذا يعد تغييراً جذرياً في مجال إنترنت الأشياء (IoT). تخيل نظاراتك الذكية أو نظام منزلك الذكي وهو يستخدم هذه الطريقة ليعرف ما إذا كنت متوتراً، أو مركزاً، أو مشتتاً، دون الحاجة إلى إعادة تدريبه لكل مهمة جديدة. إنها طريقة لجعل الذكاء الاصطناعي أكثر ذكاءً، وسرعة، وكفاءة من خلال السماالحه بـ رؤية البيانات بدلاً من مجرد قراءتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.