Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
تقترح هذه الورقة نهجاً مبتكراً للتنبؤ بالتفاعلات بين الإنسان والأشياء في فيديوهات الرؤية من منظور الشخص الأول باستخدام نماذج الرؤية اللغوية الكبيرة، والتي تدمج تقنية "مجموعة العلامات" (Set-of-Mark) للترسيخ البصري، وتحليل مسار نظرة العين لفهم القصد، واستراتيجية أخذ العينات الأسية العكسية للديناميكيات الزمنية، محققةً أداءً هو الأفضل في فئته على مجموعة بيانات HD-EPIC.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ترتدي نظارات ذكية يمكنها رؤية بالضبط ما تراه أنت. هدفك هو بناء مساعد ذكاء اصطناعي لا يكتفي بمراقبتك أثناء الطبخ أو العمل، بل يتنبأ بما أنت على وشك القيام به قبل أن تفعله حتى.
هذه الورقة البحثية تتحدث عن تعليم هذا المساعد الذكي كيف يكون "قارئاً للأفكار" في حياتك اليومية، وتحديداً في المواقف الصعبة مثل المطبخ المزدحم أو أرضية المصنع. إليك كيف فعلوا ذلك، مشروحاً ببساطة.
المشكلة الكبرى: الذكاء الاصطناعي "تائه" قليلاً
تخيل أنك تمسك بسكين وتنظر إلى لوح تقطيع، لكن الذكاء الاصطناعي لا يرى سوى كتلة ضبابية من الصور المتحركة. هو لا يعرف ما إذا كنت على وشك تقطيع بصلة، أو شرائح طماطم، أو مجرد التلويح بالسكين في الهواء.
نماذج الذكاء الاصطناعي الحالية (التي تسمى نماذج اللغات الكبيرة الرؤية أو VLLMs) تشبه طلاباً أذكياء جداً قرأوا ملايين الكتب لكنهم لم "يروا" مطبخاً في الواقع قط. يمكنهم التحدث عن الطبخ، ولكن عندما تعرض عليهم فيديو، غالباً ما يخطئون في التخمين لأنهم يفتقدون التفاصيل الصغيرة المتعلقة بـ أين تنظر و على ماذا تركز.
الحل: ثلاث قدرات خارقة
منح المؤلفون الذكاء الاصطناعي ثلاث "قدرات خارقة" لإصلاح ذلك. فكر في الأمر كترقية لعدة المحقق.
1. نظارات "مجموعة العلامات" (تحديد المشهد)
الاستعارة: تخيل أنك تنظر إلى غرفة مزدحمة. من الصعب تمييز شخص معين. الآن، تخيل أن شخصاً ما وضع ملصقاً ملوناً مضيئاً على رأس كل شخص. فجأة، أصبح من السالي معرفة من هو كل شخص.
كيف يعمل: يأخذ الذكاء الاصطناعي إطار الفيديو ويضع تلقائياً "ملاحظات لاصقة" (أقنعة/masks) حول كل جسم في المشهد (القدر، البيضة، الملعقة). هذا يجبر الذكاء الاصطناعي على التوقف عن رؤية كتلة ضبابية والبدء في رؤية أجسام متميزة ومصنفة. إنه يشبه تحويل رسم تخطيطي فوضوي إلى مخطط واضح ومصنف.
2. "مسار النظرة" (تتبع العيون)
الاستعارة: هل سبق لك أن شاهدت ساحراً؟ أنت تعلم أنه على وشك إخراج أرنب من القبعة لأن عينيك كانتا تحدقان بالفعل في القبعة. البشر ينظرون إلى ما هم على وشك لمسه.
كيف يعمل: لا ينظر الذكاء الاصطناعي إلى الصورة الحالية فحسب؛ بل ينظر إلى أثر فتات الخبز الذي تركته عيناك.
- إذا نظرت إلى البيضة قبل ثانيتين، ثم إلى المقلاة قبل ثانية واحدة، والآن أنت تحدق في الموقد، فإن الذكاء الاصطناعي يرى هذا المسار.
- يقومون برسم هذا المسار على الفيديو كخط من النقاط، يتلاشى من الأزرق (القديم) إلى الأحمر (الجديد).
- هذا يخبر الذكاء الاصطناعي: "مهلاً، المستخدم يركز على هذا المسار. من المرجح أنه سيتفاعل مع الجسم الموجود في نهاية الخط."
3. مرشح "السفر عبر الزمن" (اختيار اللحظات المناسبة)
الاستعارة: تخيل أنك تحاول تخمين نهاية فيلم، ولكنك مجبر على مشاهدة الفيلم بأك entirety مدته ساعتان بالسرعة العادية. هذا ممل وقد تفوتك ذروة الأحداث. بدلاً من ذلك، تخيل محرراً ذكياً يتخطى الأجزاء البطيئة ويعرض لك فقط الـ 10 ثوانٍ التي سبقت الانفجار مباشرة.
كيف يعمل: تتعرض أجهزة الكمبيوتر الخاصة بالذكاء الاصطناعي للإرهاق إذا عرضت عليها الكثير من إطارات الفيديو. ابتكر المؤلفون قاعدة "أخذ عينات" خاصة. بدلاً من اختيار الإطارات بشكل متساوٍ (مثل كل ثانية واحدة)، يتم اختيار الإطارات بثقل أكبر نحو نهاية المقطع.
- يستخدمون خدعة رياضية تسمى "أخذ العينات بالأس المقلوب" (inverse exponential sampling).
- ببساطة، هم يقولون: "الثواني الأخيرة هي الأكثر أهمية. دعونا ننظر إليها عن كثب شديد، ونتجاهل الأشياء المملة التي حدثت قبل 10 ثوانٍ."
النتيجة: مساعد أكثر ذكاءً
اختبر الباحثون هذا على مجموعة بيانات تسمى HD-EPIC، وهي عبارة عن مكتبة ضخمة من فيديوهات لأشخاص يطبخون في المطابخ.
- قبل: كان أفضل ذكاء اصطناعي يمكنه تخمين الجسم التالي بشكل صحيح بنسبة 21% تقريباً.
- بعد: مع هذه القدرات الثلاث (الملصقات اللاصقة + مسار العين + مرشح الوقت الذكي)، قفزت دقة الذكاء الاصطناٍ إلى 27.5%.
ورغم أن نسبة 27% قد لا تبدو 100%، إلا أنه في عالم توقعات الذكاء الاصطناعي، فإن القفز بمقدار 6-7 نقاط مئوية يعد قفزة هائلة. إنه الفرق بين طالب بالكاد ينجح وطالب يحصل على درجة امتياز.
لماذا هذا مهم؟
هذه التكنولوجيا لا تتعلق فقط بتخمين ما تطبخه. يمكن لهذه التكنولوجيا أن:
- تنقذ الأرواح في المصانع: تنبه العامل قبل أن يلمس آلة ساخنة.
- تساعد كبار السن: تذكر شخصاً بوضع الغطاء على القدر قبل أن يغلي ويفيض.
- تساعد ضعاف البصر: تخبر الشخص الكفيف: "أنت تمد يدك نحو كوب القهوة، وليس المقلاة الساخنة".
الخلاصة
تظهر الورقة البحثية أنه لجعل الذكاء الاصطناعي يفهم السلوك البشري حقاً، لا يمكننا مجرد تغذيته بفيديو خام. يجب أن نعلمه كيفية تسليط الضوء على الأجسام المهمة، وتتبع العيون البشرية، والتركيز على اللحظات الحاسمة. ومن خلال الجمع بين هذه الحيل، يصبح الذكاء الاصطناعي "مساعداً" أفضل بكثير في حياتنا اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.