💻 computer science

EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence

يُعد EagleVision إطار عمل ثنائي المراحل يعزز الاستدلال المكاني القائم على الفيديو من خلال الجمع بين آلية اختيار الإطارات الرئيسية المدركة للهندسة وعملية سلسلة أفكار نشطة ومستندة إلى منظور عين الطائر، والتي تسترجع وجهات نظر جديدة بشكل تكراري للتحقق من الفرضيات، محققاً بذلك أداءً رائدًا دون الحاجة إلى مسارات استدلال مُعنونة بشريًا.

المؤلفون الأصليون: Jiaxu Wan, Xu Wang, Mengwei Xie, Hang Zhang, Mu Xu, Yang Han, Hong Zhang, Ding Yuan, Yifan Yang

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxu Wan, Xu Wang, Mengwei Xie, Hang Zhang, Mu Xu, Yang Han, Hong Zhang, Ding Yuan, Yifan Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في مستودع ضخم ومظلم. لديك بث من كاميرا أمنية، لكنه فيديو طويل حيث تدور الكاميرا حول نفسها بشكل عشوائي. يتعين عليك الإجابة على سؤال صعب: "أي جسم هو الأقرب إلى السرير: الكرسي أم الأريكة؟"

إذا سألت ذكاءً اصطناعيًا قياسيًا (نموذج لغوي كبير متعدد الوسائط)، فإنه عادة ما يرتكب أحد خطأين:

لعبة التخمين: ينظر إلى بعض الإطارات العشوائية، ويخمن "الأريكة"، ويمضي قدمًا. إنه لا يتحقق فعليًا مما إذا كان الكرسي موجودًا في الغرفة حتى.
المفكر النصي فقط: يحاول التفكير في عقله، قائلاً: "همم، لا يمكنني العثور على الكرسي في الصور التي لدي، لكني سأخمن الأريكة على أي حال". إنه يفتقر إلى القدرة على "الذهاب للبحث" عن الدليل المفقود.

EagleVision يشبه محققًا ذكيًا للغاية يرفض التخمين حتى يمتلك جميع الحقائق. إنه يستخدم عملية من خطوتين لحل الألغاز المكانية في الفيديوهات، وهو يفعل ذلك عبر "التفكير بالمساحة".

إليك كيف يعمل EagleVision، مشروحًا بتشبيهات بسيطة:

المرحلة 1: "اللقطة الذكية" (الإدراك الكلي - Macro Perception)

تخيل أن لديك فيديو لمدة 10 دقائق لغرفة، ولكن يمكنك فقط النظر إلى 5 لقطات لأن عقلك (أو ذاكرة الكمبيوتر) لديه حد أقصى لما يمكنه معالجته في وقت واحد.

المشكلة: إذا أخذت 5 لقطات عشوائية فقط، فقد تحصل على 5 صور لنفس الجدار. ستفقد السرير، والكرسي، والأريكة تمامًا.
حل EagleVision: يستخدم EagleVision خوارزمية خاصة تسمى SPF-DPP. فكر في هذا كـ "مشغل كاميرا ذكي".
- ينظر إلى الفيديو بأكمله ويسأل سؤالين لكل إطار:
  1. هل هذه الصورة ذات صلة بالسؤال؟ (الارتباط الدلالي: "هل أرى سريرًا؟")
  2. هل هذه الصورة من زاوية مختلفة؟ (التنوع الهندسي: "هل رأيت هذا الزاوية بالفعل؟")
- يختار اللقطات الخمس المثالية التي تظهر لك أكبر قدر ممكن من أجزاء مختلفة من الغرفة مع البقاء ذات صلة بسؤالك. إنه يضمن أن يكون لديك "خريطة ثلاثية الأبعاد" للغرفة في ذهنك قبل أن تبدأ في التفكير فعليًا.

المرحلة 2: "المحقق النشط" (التحقق الجزئي - Micro Verification)

الآن بعد أن حصلت على لقطاتك الخمس، بدأت في التفكير. ولكن ماذا لو لم تكن متأكدًا بعد؟ ربم يكون الكرسي مختبئًا خلف ستارة في لقطاتك.

المشكلة: نماذج الذكاء الاصطناعي العادية عالقة باللقطات الخمس التي لديها بالفعل. لا يمكنها طلب المزيد.
حل EagleVision: يمتلك EagleVision خريطة منظور عين الطائر (BEV Map). تخيل خريطة مسطحة ثنائية الأبعاد للغرفة تطفو فوق الفيديو، توضح بالضبط أين كانت الكاميرا في كل إطار.
- حلقة "افترض-انظر-تحقق":
  1. فكر: يقول الذكاء الاصطناعي: "أعتقد أن الكرسي بالقرب من النافذة، لكني لا أراه في صوري الحالية".
  2. اطلب: بدلًا من التخمين، يشير إلى خريطة BEV ويقول: "أحتاج إلى رؤية المنظر من هذه البقعة المحددة على الخريطة".
  3. انظر: يقفز النظام فورًا إلى إطار الفيديو الحقيقي الذي يطابق تلك البقعة على الخريطة ويعرضه للذكاء الاصطناعي.
  4. تحقق: ينظر الذكاء الاصطناعي إلى الصورة الجديدة، ويحدث نظريته، ويكرر العملية حتى يتأكد بنسبة 100%.

كيف يتعلم؟ (تدريب "بلا معلم")

عادةً، لتعليم الذكاء الاصطناعي أن يكون محققًا جيدًا، تحتاج إلى معلم بشري يكتب تعليمات خطوة بخطوة مثل: "أولاً انظر إلى السرير، ثم انظر يسارًا، ثم انظر يمينًا". هذا مكلف وصعب التنفيذ.

يتعلم EagleVision بشكل مختلف. فهو يستخدم التعلم المعزز (مثل تدريب كلب باستخدام المكافآت).

يحاول الذكاء الاصطناعي حل اللغز.
إذا خمن الإجابة الصحيحة، يحصل على "مكافأة" (جائزة).
إذا طلب عرضًا غير موجود (مثل توجيه الكاميرا نحو جدار حيث لم يتم التقاط فيديو فيه)، فإنه يتلقى "توبيخًا" (عقوبة).
بمرور الوقت، يتعلم الذكاء الاصطناعي من تلقاء نفسه: "أوه، يجب أن أطلب فقط المشاهد الموجودة بالفعل في الفيديو، ويجب أن أستمر في البحث حتى أتأكد". إنه يتعلم استراتيجية البحث دون الحاجة إلى كتابة نص من قبل بشر.

لماذا يعد هذا أمرًا مهمًا؟

إنه فعال: لا يهدر الطاقة في النظر إلى إطارات عديمة الفائدة. إنه يختار الأفضل أولاً.
إنه نشط: لا يكتفي بمجرد التحديق فيما أُعطي له؛ بل يسعى بنشاط وراء القطع المفقودة من اللغز.
إنه دقيق: في الاختبارات، تفوق EagleVision على جميع نماذج الذكاء الاصطناعي مفتوحة المصدر الأخرى في فهم المساحة ثلاثية الأبعاد، والمسافات، والتخطيطات.

باخت مختصر: EagleVision هو الفرق بين طالب يخمن الإجابة لأنه لم يذاكر، وطالب يفتح الكتاب المدرسي، وينتقل إلى الصفحة المطلوبة بدقة، ويتحقق من الرسم التوضيحي، ثم يكتب الإجابة الصحيحة بكل ثقة. إنه يحول "التخمين" إلى "تحقيق".

إليك ملخص تقني مفصل لورقة البحث بعنوان: "EagleVision: إطار عمل ثنائي المراحل يعتمد على الاستدلال عبر منظور عين الطائر (BEV) وسلسلة الأفكار (Chain-of-Thought) للذكاء المكاني."

1. بيان المشكلة

يمثل الاستدلال المكاني القائم على الفيديو (مثل تقدير المسافات، أو تحديد الاتجاهات النسبية، أو فهم تخطيط الغرف) تحديات فريدة للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs):

توزيع المعلومات: في الفيديوهات الطويلة، تتوزع الإشارات الهندسية الحرجة بشكل غير متساوٍ. وغالباً ما تفشل عملية أخذ العينات الموحدة للإطارات في التقاط وجهات النظر الرئيسية الضرورية للاستنتاج ثلاثي الأبعاد.
السياق الثابت: تتقيد النماذج الحالية (MLLMs) بميزانيات محددة لعدد الرموز (tokens) ولا يمكنها طلب مشاهد إضافية بمجرد بدء عملية الاستدلال. إذا كانت الأدلة الأولية غير كافية، فلا يمكن للنموذج "النظر مجدداً".
الافتقار إلى الاستدلال النشط: تعتمد النهج الحالية إما على ميزات ثابتة ثلاثية الأبعاد (سحب النقاط - point clouds) التي تفتقر إلى قدرات الاستعلام النشط، أو تستخدم إعادة البناء ثلاثي الأبعاد كخطوة معالجة مسبقة "صندوق أسود" لا يمكن تحسينها بشكل تكراري أثناء الاستدلال.
ندرة البيانات: يعد جمع مسارات الاستدلال المكاني متعدد الخطوات (سلسلة الأفكونة - Chain-of-Thought) الموثقة بشرياً أمراً غير عملي، مما يتطلب طريقة تتعلم من الإشراف على مستوى الإجابة النهائية فقط.

2. المنهجية: إطار عمل EagleVision

يقدم EagleVision إطار عمل ثنائي المراحل يجمع بين اختيار الإطارات المدرك للهندسة وبين الاستدلال النشط المرتكز على منظور عين الطائر (BEV). يعمل النظام على فيديو واستعلام نصي، مستخدماً خريطة BEV وقاعدة بيانات وضعية (pose database) تم حسابها مسبقاً ومستمدة من نظام SLAM جاهز.

المرحلة الأولى: الإدراك الكلي (اختيار الإطارات الرئيسية)

الهدف هو اختيار مجموعة مدمجة من الإطارات الرئيسية التي تعظم كل من الصلة الدلالية بالاستعلام وتنوع وجهات النظر الهندسية، تحت ميزانية صارمة لعدد الرموز.

عملية SPF-DPP (عملية النقطة المحددة لدمج الدلالات والمنظور):
- المكون الهندسي: يستخدم وضعيات الكاميرا ( $SE(3)$ ) لبناء رسم بياني متفرق لوجهات النظر. يتم تطبيق انتشار نواة الحرارة (heat-kernel diffusion) على لابلاسيان الرسم البياني لإنشاء نواة منظور الانتشار ( $K_{view}$ )، والتي تشفر التشابه الهندسي العالمي وتغطية وجهات النظر.
- المكون الدلالي: يستخدم FG-CLIP لحساب الدرجات الدلالية بين الإطارات ونص الاستعلام، ويتم تطبيعها في مصفوفة جودة ( $Q$ ).
- الاختيار: تُستخدم النواة النهائية $L_{dpp} = Q K_{view} Q$ لاختيار $k$ من الإطارات بطريقة جشعة (greedy). يضمن ذلك أن تكون المجموعة المختارة متنوعة في المنظور (لتجنب المشاهد المتكررة) مع بقائها ذات صلة عالية بالاستعلام.

المرحلة الثانية: التحقق الدقيق (سلسلة الأفكار المكانية النشطة)

يقوم النموذج بعملية استدلال سلسلة الأفكار متعددة الوسائط المكانية (Spatial MCoT) بشكل تكراري.

دورة الحلقة المغلقة: في كل خطوة، يمكن للنموذج:
1. توليد نص (الاستدلال).
2. الاستعلام النشط: التنبؤ بوضعية ثنائية الأبعاد $(x, y, \theta)$ على مستوى BEV لاسترجاع إطار فيديو جديد.
3. الإنهاء بإجابة.
الاستعلام عن الوضعية المرتكز على BEV: عندما يتنبأ النموذج بوضعية ما، يقوم النظام باسترجاع إطار الفيديو الحقيقي الأقرب لتلك الوضعية باستخدام مقياس مسافة مدرك للمقياس (scale-aware). إذا لم يغطِ أي إطار تلك الوضعية، يتم إرجاع تنبيه خطأ.
التدريب (Zero-RL): يتم تدريب سياسة الاستعلام باستخدام تحسين السياسة النسبي الجماعي (GRPO).
- دالة المكافأة: تجمع بين مكافآت المهام القياسية (الدقة، التنسيق، استخدام الأدوات) مع مكافأة تجذير مكانية (Spatial Grounding Reward) مبتكرة.
- المكافأة المكانية: تعاقب المسارات التي يستعلم فيها النموذج عن وضعيات تقع خارج مسار الكاميرا (أي المناطق التي لا يوجد بها تغطية)، مما يجبر النموذج على تعلم استراتيجيات استعلام صالحة دون الحاجة إلى مسارات سلسلة أفكار موثقة بشرياً.

3. المساهمات الرئيسية

إطار عمل ثنائي المراحل: يقترح EagleVision، وهو أول إطار عمل يجمع بين اختيار الإطارات المدرك للهندسة (الماكرو) وبين الاستدلال التكراري النشط المرتكز على BEV (الميكرو) لفهم الفيديو مكانياً.
SPF-DPP: يقدم استراتيجية أخذ عينات مبتكرة تدمج بين الدلالة والمنظور باستخدام العمليات النقطية المحددة، مما يحل مشكلة المقايضة بين ميزانية الرموز وكثافة المعلومات.
الاستدلال النشط المرتكز على BEV: يصيغ الاستدلال المكاني كعملية مدعومة بالأدوات حيث يستعلم النموذج بنشاط عن وجهات نظر محددة على خريطة BEV. يتم تدريب هذا عبر التعلم التعزيزي فقط باستخدام مكافأة التجذير المكاني، مما يلغي الحاجة إلى توثيقات بشرية مكلفة لسلسلة الأفكار.
الأداء المتفوق (SOTA): يثبت EagleVision تحقيق نتائج قياسية بين النماذج مفتوحة المصدر في كل من VSI-Bench و SQA3D، متفوقاً على النماذج المملوكة للشركات وطرق الاستدلال المكاني المتخصصة الأخرى.

4. النتائج التجريبية

الاختبارات المرجعية: تم التقييم على VSI-Bench (الفهم المكاني ثلاثي الأبعاد) و SQA3D (الأسئلة والأجوبة الموقعية).
الأداء:
- في VSI-Bench، حقق EagleVision متوسط درجة 63.5، محتلاً المركز الأول بين النماذج مفتوحة المصدر. وقد تفوق على النموذج الأساسي (Qwen3-VL-8B) بمقدار +4.1 نقطة وعلى النموذج السابق (VLM-3R-7B) بمقدار +2.6 نقطة، رغم عدم استخدامه لمشفر ثلاثي الأبعاد ثقيل.
- في SQA3D، حقق 60.3% (EM@1)، متفوقاً بشكل ملحوظ على طرق مثل Struct2D (+1.8%) و SpatialMind (+14.0%).
دراسات الاستئصال (Ablation Studies):
- البنية: أدى إزالة أي من المكونات الثلاثة الأساسية (MCoT، تجذير BEV، SPF-DPP) إلى انخفاض في الأداء، مما يؤكد طبيعتها التكاملية.
- SPF-DPP: أدى دمج الانتشار الهندسي والتعديل الدلالي إلى أفضل النتائج، مما يثبت ضرورة التوازن بين التنوع والصلة.
- المتانة: أظهر النظام تراجعاً تدريجياً تحت ضجيج الوضعية (على سبيل المثال، انخفاض بنسبة 0.4% فقط مع الضجيج المتوسط) وظل فعالاً عند استبدال نظام SLAM الخلفي ببديل يعتمد على التعلم (VGGT).

5. الأهمية

يمثل EagleVision تحولاً جذرياً في الاستدلال المكاني للفيديو من خلال الانتقال من الاستهلاك السلبي للإطارات الثابتة إلى الاستكشاف النشط القائم على الفرضيات.

الكفاءة: من خلال فصل إعادة البناء ثلاثي الأبعاد الثقيلة (التي تتم مرة واحدة في مرحلة ما قبل المعالجة) عن استدلال VLM ثنائي الأبعاد خفيف الوزن، فإنه يقدم حلاً فعالاً من حيث التكلفة لسيناريوهات الاستعلام المتعددة.
القابلية للتوسع: إن القدرة على تعلم الاستعلام المكاني حصرياً من خلال الإشراف على مستوى الإجابة عبر التعلم التعزيزي تجعل النهج قابلاً للتوسع في مجموعات البيانات الكبيرة التي لا تتوفر فيها مسارات استدلال بشرية.
التعميم: يظهر إطار العمل قدرة قوية على التعميم عبر الاختبارات المرجعية المختلفة، مما يشير إلى أن دورة "افترض-انظر-تحقق" هي قدرة أساسية للذكاء المكاني تنتقل عبر المهام ومجموعات البيانات المختلفة.

باختصار، يجسّر EagleVision الفجوة بين الفهم البصري ثنائي الأبعاد والاستدلال المكاني ثلاثي الأبعاد من خلال تمكين النماذج من "التفكير بالمكان" عبر الاختيار النشط لوجهات النظر والتجذير الهندسي.