🤖 AI

ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

تقدم هذه الورقة ToG-Bench، وهو أول معيار لتقييم ربط الفيديو الزماني المكاني الموجه نحو المهام للفيديوهات من منظور الشخص الأول (egocentric)، والذي يعالج أوجه القصور في النهج الحالية المتمحورة حول الأشياء من خلال تقديم سيناريوهات ربط موجهة نحو المهام، وثنائية صريحة-ضمنية، ومتعددة لواحد، وذلك لتقييم وتطوير الذكاء المتجسد بشكل أفضل.

المؤلفون الأصليون: Qi'ao Xu, Tianwen Qian, Yuqian Fu, Kailing Li, Yang Jiao, Jiacheng Zhang, Xiaoling Wang, Liang He

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qi'ao Xu, Tianwen Qian, Yuqian Fu, Kailing Li, Yang Jiao, Jiacheng Zhang, Xiaoling Wang, Liang He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يساعدك في منزلك. أنت لا تريد من الروبوت فقط أن يقول: "أرى كوبًا أحمر على الطاولة"، بل تريد منه أن يفهم نيتك. إذا قلت له: "أنا عطشان، أحضر لي بعض الماء"، يحتاج الروبوت إلى استنتاج أنه يجب أن يجد المغسلة، ويفتح الصنبور، ويمسك كوبًا، رغم أنك لم تذكر الصنبور أو الكوب صراحةً.

هذا هو بالضبط ما يدور حوله بحث ToG-Bench. إنه "امتحان" جديد مصمم لاختبار مدى قدرة الروبوتات الذكية على فهم المهام البشرية من منظور الشخص الأول (مثل ارتداء كاميرا على رأسك).

إليك تفصيل للبحث باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "الوصفي" مقابل الروبوت "المهامي"

كانت اختبارات الذكاء الاصطنا المنظمة السابقة تشبه لعبة "أنا أرى" (I Spy).

الطريقة القديمة: تقول "ابحث عن الوسادة الزرقاء". يبحث الروبوت عن شيء أزرق وناعم. الأمر سهل لأن الروبوت يقوم فقط بمطابقة الكلمات بالصور.
العالم الحقيقي: تقول "اصنع القهوة". يحتاج الروبوت إلى معرفة أن "صنع القهوة" يتضمن آلة، وحبوب بن، وفلتر، وكوبًا. عليه أن يستنتج ماذا يلمس ومتى يلمسه، حتى لو لم تذكر كل قطعة بالتفصيل.

أدرك المؤلفون أن الذكاء الاصطناعي الحالي بارع في لعبة "أنا أرى"، لكنه سيء جدًا في مهمة "اصنع القهوة". فهو لا يفهم الهدف، بل يفهم الوصف فقط.

2. الحل: ToG-Bench (الامتحان الجديد)

أنشأ الفريق معيارًا جديدًا يسمى ToG-Bench (التأسيس الموجه للمهام). فكر في هذا كاختبار قيادة للروبوتات. بدلًا من مجرد طلب "رصد لوحة توقف"، يطلب منهم "الذهاب إلى متجر البقالة وشراء الحليب".

يحتوي الامتحان على ثلاث قواعد صعبة:

قاعدة "الدليل المخفي" (الصريح مقابل الضمني): أحيانًا تقول "أشعل الضوء" (صريح: مفتاح الضوء). وأحيانًا تقول "المكان مظلم هنا" (ضمني: يجب على الرብوت إدراك أنه بحاجة لإيجاد مفتاح الضوء، رغم أنك لم تقل كلمة "مفتاح"). يجب على الروبوت استخدام المنطق لملء الفراغات.
قاعدة "العمل الجماعي" (واحد إلى كثير): غالبًا ما تتطلب التعليمات الواحدة أدوات متعددة. إذا قلت "نظف السبورة البيضاء"، يحتاج الروبوت إلى إيجاد السبورة، والقلم، والممحاة. لا يمكنه مجرد إيجاد شيء واحد؛ بل يحتاج إلى الطاقم بأكمله.
قاعدة "السفر عبر الزمن" (المكاني والزماني): لا يحتاج الروبوت فقط إلى إيجاد الشيء؛ بل يحتاج إلى معرفة متى يتفاعل معه. يجب عليه تتبع الشيء أثناء تحركك في الغرفة، وليس فقط في لقطة واحدة ثابتة.

3. كيف بنوا هذا (خط الإنتاج)

بناء هذا الامتحان كان صعبًا لأنه لا يمكنك ببساطة أن تطلب من إنسان كتابة 2,700 تعليمات معقدة لـ 100 فيديو. كان ذلك سيستغرق وقتًا طويلاً جدًا.

خط الإنتاج: استخدموا "مساعدًا ذكيًا" (ذكاء اصطناعي قوي يسمى Gemini) لمشاهدة الفيديوهات واقتراح مهام مثل "اغسل يديك".
فحص السلامة: ثم تدخل بشر حقيقيون كمحررين. تحققوا من: "هل الصنبور مرئي بالفعل؟ هل التعليمات آمنة؟ هل تتبع الروبوت مسار الماء بشكل صحيح؟"
النتيجة: مجموعة بيانات عالية الجودة مكونة من 100 فيديو مع أكثر من 2,700 مهمة، تغطي كل شيء من الأفعال البسيطة إلى المهام المعقدة متعددة الخطوات.

4. النتائج: الروبوت "الذكي ولكن المتعثر"

اختبر المؤلفون أفضل نماذج الذكاء الاصطناعي في العالم (مثل GPT-5 وGemini) في هذا الامتحان الجديد. كانت النتائج مزيجًا من الأخبار الجيدة والسيئة:

الأخبار الجيدة: نماذج الذكاء الاصطناعي ذكية جدًا في فهم الفكرة. إذا قلت "اصنع القهوة"، يمكنها عادةً أن تقول لك "حسنًا، أحتاج إلى آلة قهوة". إنها بارعة في معرفة "ماذا" و"لماذا".
الأخبار السيئة: إنها سيئة جدًا في معرفة "أين" و"متى".
- الانحراف (Drift): تخيل روبوتًا يحاول الإمساك بكوب أثناء المشي. الذكاء الاصطناعي يعرف أنه يمسك كوبًا، ولكن مع تحرك الكاميرا، يفقد الذكاء الاصطناعي القدرة على تتبعه. قد يشير إلى الحائط بدلاً من الكوب.
- معاناة "المخفي": عندما تطلبت المهمة من الروبوت تخمين جسم لم تذكره (مثل الصنبور)، انخفض أداء الذكاء الاصطناعي بشكل كبير.
- انهيار التعقيد: عندما طُلب منها العثور على ثلاثة أشياء في وقت واحد (مثل الكمبيوتر، والفأرة، ولوحة المفاتيح)، ارتبك الذكاء الاصطناعي وفشل في العثور عليها جميعًا بشكل صحيح.

الخلاصة الكبرى

هذا البحث هو بمثابة جرس إنذار. لقد صنعنا ذكاءً اصطناعيًا يمكنه قراءة وصفة وفهم القصة، لكننا لم نعلمهم كيفية الطبخ فعليًا في مطبخ حقيقي أثناء التحرك حوله.

ToG-Bench هو الخطوة الأولى في إصلاح هذا. إنه يوضح لنا بالضبط أين يخفق الروبوتات حتى يتمكن المهندسون من بناء الجيل القادم من الذكاء الاصطناعي الذي لا يكتفي بـ "رؤية" العالم، بل يفهم حقًا كيفية التفاعل معه لإنجاز المهام.

إليك ملخص تقني مفصل لورقة البحث "ToG-Bench: التأسيس المكاني-الزماني الموجه بالمهام في فيديوهات الرؤية من منظور الشخص الأول (Egocentric)."

1. بيان المشكلة

يركز معظم أبحاث التأسيس المكاني-الزماني للفيديو (STVG) الحالية بشكل أساسي على الأهداف المتمحورة حول الأشياء والوصفية (مثل "حدد موقع الكوب الأحمر"). وبينما تعد هذه الأساليب فعالة للمشاهد الثابتة أو المشاهد الخارجية (منظور الشخص الثالث)، إلا أنها تفشل في تلبية احتياجات الوكلاء المجسدين (Embodied Agents) الذين يعملون في بيئات منظور الشخص الأول (Egocentric).

تتمثل القيود الجوهرية المحددة فيما يلي:

الافتقار إلى التوجه بالمهام: لا تتطلب المعايير الحالية من الوكلاء استنتاج الأشياء بناءً على أهداف عالية المستوى (على سبيل المثال، "صنع القهوة" يتطلب تحديد آلة صنع القهوة، وليس مجرد وصف شيء مرئي).
غياب الاستدلال الضمني: نادراً ما تتطلب المهام الحالية استنتاج أشياء لم تُذكر صراحة ولكنها ضرورية وظيفياً (على سبيل المثال، "تشغيل الصنبور" يتضمن وجود صنبور مياه).
التركيز على كائن واحد: تفترض معظم المعايير وجود علاقة واحد لواحد بين التعليمات والكائن، متجاهلة التنسيق بين عدة أشياء المطلوب للمهام المعقدة (على سبيل المثال، "تجهيز السبورة البيضاء" يتطلب لوحة، وقلم ماركر، وممحاة).
ديناميكيات منظور الشخص الأول: تفتقر مجموعات البيانات الحالية غالباً إلى التحديات الخاصة بمشاهد منظور الشخص الأول، مثل حركة الكاميرا السريعة، والانسداد الذاتي، وتحولات الانتباه.

2. المنهجية

أ. تعريف المهمة: التأسيس المكاني-الزماني للفيديو الموجه بالمهام (T-STVG)

يعرف المؤلفون T-STVG رسمياً كدالة تعيين $F: (G, V) \rightarrow \{(O_i, T_i)\}_{i=1}^n$ ، حيث:

$G$ : هدف طبيعي عالي المستوى.
$V$ : تسلسل فيديو من منظور الشخص الأول.
المخرجات: مجموعة من $n$ من الأشياء ذات الصلة بالمهمة $\{O_i\}$ ومساراتها المكانية-الزمانية الكثيفة $T_i$ (صناديق محيطة عبر الزمن).

تتميز المهمة بثلاثة تحديات متميزة:

الاستدلال المدفوع بالمهمة: استنتاج الأشياء بناءً على الأدوار الوظيفية بدلاً من الأوصاف البصرية.
التأسيس المزدوج (الصريح-الضمني): التعامل مع الأشياء المذكورة صراحة في المطالبة وتلك المستنتجة ضمنياً عبر السياق/المنطق العام.
التأسيس من واحد إلى كثير: تحديد مواقع عدة أشياء مترابطة في آن واحد لتعليمات واحدة.

ب. بناء مجموعة البيانات: ToG-Bench

تعد ToG-Bench أول معيار مصمم لهذه المهمة، وقد تم بناؤها عبر مسار شبه مؤتمت يجمع بين النماذج التأسيسية والتحسين البشري.

المصدر: 100 مقطع فيديو (متوسط 87.88 ثانية) من ScanNet (مسارات داخلية، منظور الشخص الأول).
الحجم: 2,704 تعليمات موجهة بالمهام و4,194 حالة كائن مشروحة.
مسار التوسيم (نهج من الأعلى إلى الأسفل):
1. توليد التعليمات: استخدام Gemini 2.5 Pro لتوليد تعليمات موجهة بالمهام وأوصاف للأشياء (سواء كانت صريحة أو ضمنية) بناءً على أوصاف الفيديو.
2. التأسيس والتتبع: استخدام Grounding-DINO للكشف مفتوح المفردات و SAM2 للتتبع الزماني لتوليد أنابيب (tubes) الصناديق المحيطة المكانية-الزمانية.
3. التحقق البشري: تصفية يدوية صارمة لإزالة الهلوسة، وانحراف التتبع، ومشكلات الانسداد.
الإحصائيات: تتميز مجموعة البيانات بتقسيم متوازن تقريباً بين المهام الصريحة (51.26%) والمهام الضمنية (48.74%). تشمل حوالي 50% من المهام عدة أشياء (واحد إلى كثير).

ج. مقاييس التقييم

يقترح المؤلفون نموذج تقييم منفصل لفصل الاستدلال عن التحديد المكاني:

القدرة على الاستدلال (التعرف): تُقاس بـ الدقة (Acc) في تحديد فئة الكائن الصحيح (تشابه جيب التمام لتضمينات النصوص).
القدرة على التأسيس (التحديد):
- زمانياً: الاستدعاء (R1@ $\tau$ ) ومتوسط تقاطع الاتحاد الزماني (m_tIoU).
- مكانياً: الدقة المتوسطة (AP@ $\tau$ ) ومتوسط تقاطع الاتحاد للفيديو (m_vIoU).
درجة التفصيل: تُحسب المقاييس على مستويين: مستوى الكائن (لكل كيان) ومستوى المهمة (نجاح صارم "الكل أو لا شيء" للتعليمات بأكملها).

3. المساهمات الرئيسية

معيار ToG-Bench: أول مجموعة بيانات للتأسيس المكاني-الزماني الموجه بالمهام في فيديوهات منظور الشخص الأول، والتي تقدم مفاهيم الاستدلال الضمني وتأسيس الأشياء المتعددة.
مقاييس مستوى المهمة: مجموعة تقييم مبتكرة تقيم معاً التعرف الدلالي والدقة المكانية-الزمانية، مع التمييز بين نجاح المهمة الصريحة والضمنية.
التقييم الشامل: تقييم منهجي لـ 7 نماذج لغوية بصرية متعددة الوسائط (MLLMs) رائدة (بما في ذلك GPT-5، Gemini 2.5 Pro، Qwen3-VL، InternVL) ونماذج التأسيس المتخصصة (Grounded-SAM2).

4. النتائج التجريبية

قام المؤلفون بتقييم النماذج في إعداد التعلم الصفري (zero-shot). وتشمل النتائج الرئيسية ما يلي:

التسلسل الهرمي للأداء: توجد فجوة كبيرة بين دقة المهمة (تحديد ماذا يجب فعله) ودقة التأسيس (تحديد أين/متى).
- مثال: يحقق GPT-5 دقة مهمة بنسبة 89.42% ولكنه يحقق فقط 10.22% في تقاطع الفيديو المكاني.
- مثال: يُظهر Gemini 2.5 Pro محاذاة مكانية-زمانية فائقة (15.42% m_vIoU) مقارنة بـ GPT-5، رغم انخفاض دقة الاستدلال لديه.
فجوة الاستدلال الضمني: تعاني جميع النماذج بشكل كبير في المهام الضمنية.
- ينخفض أداء GPT-5 من 95.60% في المهام الصريحة إلى 86.98% في المهام الضمنية.
- تُظهر النماذج مفتوحة المصدر (مثل Qwen3-VL-8B) انخفاضاً هائلاً في التأسيس المكاني للمهام الضمنية (يصل إلى ~1.15% m_vIoU).
تعقيد تعدد الأشياء: يتدهور الأداء بشكل حاد مع زيادة عدد الأشياء المطلوبة.
- بالنسبة للمهام التي تتطلب 3 أشياء أو أكثر، تنخفض دقة مهمة GPT-5 من ~96% (كائن واحد) إلى 75%، وتنهار الدقة المكانية.
- تفشل النماذج مفتوحة المصدر غالباً في مهام الأشياء المتعددة (على سبيل المثال، ينخفض أداء Qwen3-VL-8B إلى 29% في دقة المهمة).
تأثير مدة الفيديو: بينما يظل الاستدلال الدلالي مستقراً في الفيديوهات الطويلة، فإن دقة التأسيس المكاني والزماني تتدهور بشكل كبير مع زيادة طول الفيديو بسبب انحراف التتبع وأخطاء الإدراك المتراكمة.
المتخصص مقابل العام: تتفوق نماذج التأسيس المتخصصة (Grounded-SAM2) في الدقة المكانية عند إعطائها أسماء الأشياء، لكنها تفشل في الاستدلال الزماني واستنتاج المهام. وعلى العكس من ذلك، تتفوق نماذج MLLM في الاستدلال ولكنها تفتقر إلى المحاذاة المكانية الدقيقة.

5. الأهمية والتوجهات المستقبلية

سد الفجوة بين الإدراك والتفاعل: يسلط ToG-Bench الضوء على أن نماذج MLLM الحالية قوية في "الفهم" ولكنها ضعيفة في "العمل" (التحديد الدقيق) في السيناريوهات الديناميكية المجسدة.
قيود البنى الحالية: تشير النتائج إلى أن نماذج MLLM القياسية تفتقر إلى آليات متماسكة للربط بين الأدوار الوظيفية والسياق البصري الديناميكي. إنها تواجه صعوبة في معالجة ثلاثية "ماذا-متى-أين" تحت تأثير تغيرات زاوية الرؤية السريعة.
العمل المستقبلي: يوفر هذا المعيار بيئة اختبار صارمة لتطوير الجيل القادم من وكلاء الذكاء الاصطناعي المجسدين القادرين على التعامل مع الأهداف الضمنية، وتنسيق الأشياء المتعددة، والمهام طويلة المدى. يخطط المؤلفون لإصدار البيانات والبرمجيات لتسهيل المزيد من الأبحاث.