💻 computer science

SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models

يُعد SceneGraphVLM نموذجاً لغوياً بصرياً مدمجاً، تم تدريبه على مرحلتين، يقوم بتوليد رسوم بيانية للمشاهد عالية الدقة من الصور ومقاطع الفيديو بمدة تأخير تبلغ ثانية واحدة تقريباً، وذلك عبر استخدام تنسيق تسلسل TOON كفؤ في استهلاك الرموز (tokens) والتعلم المعزز المدرك للهلوسة.

المؤلفون الأصليون: Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى مشهد شارع مزدحم. قد يحاول نظام رؤية حاسوبي تقليدي سرد كل شيء يراه: "سيارة، سيارة، سيارة، شجرة، شجرة، شخص، شخص..." ثم يحاول تخمين كيفية ارتباطها ببعضها البعض. غالبًا ما يؤدي هذا إلى قائمة فوضوية ومربكة مليئة بالأخطاء، مثل القول بأن سحابة "تلمس" سيارة لمجرد أنها قريبة منها في الصورة.

SceneGraphVLM هو طريقة جديدة مصممة لتنظيف هذه الفوضى. فكر فيه كـ راوٍ ذكي وفعال ينظر إلى صورة أو فيديو ويكتب فورًا قصة قصيرة ومنظمة عما يحدث بالفعل، مع التركيز فقط على ما هو موجود حقًا.

إليك كيف يعمل، مقسمًا إلى مفاهيم بسيطة:

1. المشكلة: الراوي "المتحمس أكثر من اللازم"

كانت نماذج الذكاء الاصطناعي السابقة التي حاولت القيام بذلك تشبه مرشدًا سياحيًا متحمسًا للغاية؛ حيث كانت تخبرك بكل شيء، بما في ذلك أشياء ليست موجودة (هلوسات) أو تكرر نفس الحقائق مرارًا وتكرارًا. كما كانت بطيئة وتنتج نصوصًا طويلة وفوضوية يصعب على الحواسيب الأخرى قراءتها.

2. الحل: أسلوب "البرقية" (تنسيق TOON)

أدرك المؤلفون أن الطريقة التي يكتب بها الذكاء الاصطناعي قصته أمر مهم. فبدلاً من استخدام تنسيق ضخم مثل JSON (الذي يشبه كتابة رسالة تحتوي على الكثير من الكلمات الزائدة مثل "الكائن هو..."، "العلاقة هي...")، ابتكروا تنسيق TOON.

التشبيه: تخيل إرسال رسالة عبر البرقية حيث تدفع مقابل كل كلمة. لن تكتب "القط يجلس على الحصيرة"، بل ستكتب "قط، يجلس، حصيرة".
النتيجة: يستخدم SceneGraphVLM أسلوب "البرقية" هذا. فهو يجرد النص من كل الحشو الزائد، مما يجعل المخرجات أقصر، وأسرع في التوليد، وأسهل للفهم من قبل الحواسيب. إنه يوفر حوالي 15-20% من "المساحة" المطلوبة لوصف نفس المشهد.

3. التدريب: التعلم بالممارسة (وبالتصحيح)

يتم تدريب النموذج في مرحلتين متميزتين، مثل طالب يتعلم مهارة جديدة:

المرحلة 1: الضبط الدقيق الخاضع للإشراف (SFT) – مرحلة "التقليد":
يُعرض على الذكاء الاصطناعي آلاف الصور مع أوصافها المثالية، ويتعلم محاكاة هذا الأسلوب. يتعلم القواعد: "إذا رأيت كلبًا، يجب أن أكتب 'كلب' وموقعه".
المرحلة 2: التعلم المعزز (RL) – مرحلة "المدرب الصارم":
هذا هو السر وراء نجاحه. في المرحلة الأولى، قد يظل الذكاء الاصطناعي يخترع أشياء غير موجودة لمجرد ضمان السلامة. في هذه المرحلة الثانية، يراقبه "مدرب" (نظام مكافأة).
- القاعدة: إذا اخترع الذكاء الاصطناني علاقة غير موجودة (مثل قول إن شخصًا "يمسك" بسحابة)، فإن المدرب يعطيه عقوبة.
- الهدف: يتعلم الذكاء الاصطناعي أنه من الأفضل أن يكون دقيقًا وأن يذكر فقط ما يراه، بدلاً من التخمين في كل شيء. إنه يوازن بين كونه شاملاً وبين كونه دقيقًا.

4. القوة الخارقة للفيديو: "الذاكرة" بدون تتبع

عند مشاهدة فيديو، تتغير الأشياء من إطار إلى آخر. تحتاج نماذج الفيديو التقليدية إلى "متتبع" معقد لمتابعة شخص من ثانية إلى أخرى، مثل حارس أمن يتبع مشتبهًا به.

يعمل SceneGraphVLM بشكل مختلف؛ فهو يعامل الفيديو كأنه محادثة.

التشبيه: تخيل أنك تصف مشهدًا من فيلم لصديق. أنت لا تبدأ من الصفر في كل ثانية، بل تقول: "حسنًا، الرجل لا يزال هناك، لكنه الآن يمشي يسارًا".
كيف يعمل: ينظر الذكاء الاصطناعي إلى الإطار الحالي ويتذكر لفترة وجيزة "القصة" التي رواها للتو عن الإطار السابق. يستخدم هذه الذاكرة للحفاظ على الاتساق دون الحاجة إلى نظام تتبع ثقيل وصعب. هذا يجعل وصف الفيديو سلسًا وسريعًا.

5. النتائج: سريع ودقيق

اختبرت الورقة البحثية هذا النموذج على ثلاث مجموعات بيانات رئيسية (PSG، PVSG، وAction Genome).

السرعة: يمكنه توليد وصف كامل للمشهد في حوالي ثانية واحدة. هذا سريع بما يكفي للتطبيقات التي تعمل في الوقت الفعلي تقريبًا.
الجودة: هو أفضل بكثير في عدم اختلاق الأشياء مقارنة بالطرق القديمة. بينما قد تولد النماذج الأخرى شبكة فوضوية من 20 اتصالاً (كثير منها خاطئ)، يولد SceneGraphVLM شبكة ضيقة ونظيفة من 5 إلى 6 اتصالات صحيحة بالفعل.
الكفاءة: يعمل بشكل جيد حتى على شرائح الكمبيوتر الأصغر والأرخص (باستخدام نموذج صغير يسمى Qwen3.5-0.8B)، مما يثبت أنك لست بحاجة إلى سوبر كمبيوتر ضخم للحصول على نتائج جيدة إذا استخدمت "تنسيق البرقية" وطريقة التدريب الصحيحة.

الملخص

SceneGraphVLM هو ذكاء اصطناعي خفيف الوزن وسريع يحول الصور والفيديوهات إلى قصص منظمة ونظيفة. يستخدم لغة مختصرة لتوف توفير الوقت، ويتعلم من "مدرب صارم" للتوقف عن اختلاق الأشياء، ويتذكر اللحظة السابقة للحفاظ على اتساق وصف الفيديو — كل ذلك دون الحاجة إلى أنظمة تتبع ثقيلة ومعقدة.

ملخص تقني: SceneGraphVLM

بيان المشكلة

يهدف توليد مخططات المشهد (SGG) إلى تمثيل المشاهد المرئية في شكل رسوم بيانية هيكلية مدمجة، حيث تمثل العقد الكائنات وتشفر الحواف العلاقات. وبينما يعد هذا الأمر أساسياً للمهام اللاحقة مثل الروبوتات وتحليل الفيديو، فإن توليد مخططات مشاهد دقيقة وصحيحة هيكلياً ومدمجة يظل تحدياً كبيراً. تعاني المسارات التقلية متعددة المراحل من انتشار الأخطاء والهشاشة. توفر أساليب نماذج الرؤية واللغة (VLM) الحديثة توليداً من طرف إلى طرف (end-to-end)، لكنها غالباً ما تنتج مخرجات طويلة وغير فعالة من حيث عدد الرموز (tokens)، تحتوي على كائنات غير ذات صلة وعلاقات مهلوسة. علاوة على ذلك، فإن طرق الـ VLM الحالية غالباً ما تعطي الأولوية للاستدعاء (recall)، مما يؤدي إلى رسوم بيانية مكتملة بشكل مفرط تضعف المعلومات المفيدة وتقلل من الموثوقية في اتخاذ القرار. ويمتد هذا التحدي إلى الفيديو، حيث يظل الحفاظ على الاتساق الزمني دون تتبع معقد أو معالجة لاحقة مشكلة مفتوحة.

المنهجية

يقترح المؤلفون SceneGraphVLM، وهو طريقة مدمجة من طرف إلى طرف لتوليد مخططات المشهد للصور والفيديو باستخدام نماذج لغوية بصرية صغيرة. تعتمد المنهجية على ثلاث ركائز أساسية:

1. التسلسل الموفر للرموز (تنسيق TOON)

لمعالجة تكاليف فك التشفير العالية وطول تمثيلات JSON القياسية، قام المؤلفون بتسلسل مخططات المشهد في تنسيق TOON. يقوم هذا المخطط بتخزين الكائنات كصفوف تحت رأس مشترك والعلاقات في كتل مدمجة، مما يزيل المفاتيح المتكررة والزوائد الهيكلية المتداخلة. يؤدي هذا إلى تقليل طول التوسيم بنسبة تتراوح بين 1.17× إلى 1.24× عبر مجموعات البيانات (PSG، PVSG، Action Genome)، مما يحافظ على جميع معلومات الكائن، وصندوق الإحاطة (bounding box)، والعلاقة، وبالتالي يسرع عملية التوليد ويقلل زمن الاستجابة.

2. مسار تدريب ثنائي المراحل

يخضع النموذج لعملية تحسين ثنائية المراحل:

الضبط الدقيق الخاضع للإشراف (SFT): يتم تدريب نموذج VLM الأساسي (تحديداً Qwen3.5-0.8B) لربط المدخلات المرئية بمخطط TOON المستهدف. تعلم هذه المرحلة النموذج كيفية اتباع التنسيق المطلوب، واستخدام المفردات الخاصة بكل مجموعة بيانات، وإنتاج مخرجات مهيكلة قابلة للتحليل.
التعلم التعزيزي (RL) باستخدام GRPO: لتحسين جودة الرسم البياني على مستوى الرسم البياني بدلاً من مستوى الرمز، استخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO). ومن الأهمية بمكان أنهم قدموا مكافآت واعية بالهلوسة توازن بين تغطية العلاقات والدقة. تجمع دالة المكافأة الإجمالية ( $R_{total}$ $R_{t o t a l}$ ) بين:
- مكافآت الرسم البياني الأساسية: صلاحية التنسيق، وتصنيف الكائنات، وتحديد موقع الكائنات (عبر المطابقة الهنغارية و IoU).
- مكافآت توازن العلاقات: مصطلحات تعتمد على الدقة و F1 لمنع النموذج من الإفراط في توليد العلاقات لزيادة الاستدعاء.
- عقوبات الهلوسة: عقوبات صريحة للكائنات والعلاقات غير المتطابقة (غير المدعومة)، مما يثبط توليد كيانات غير مستندة إلى الواقع.

3. استدلال الفيديو مع السياق الزمني

بالنسبة لتسلسلات الفيديو، يعالج SceneGraphVLM الإطارات بالتتابع. يمكنه جعل توليد رسم المشهد للإطار الحالي مشروطاً بالرسم البياني الذي تم توليده للإطار السابق. يوفر هذا سياقاً زمنياً قصير المدى خفيف الوزن دون الحاجة إلى وحدات تتبع منفصلة. قيم المؤلفون بروتوكولين:

GT-prompt: استخدام الرسوم البيانية السابقة من الحقيقة الأرضية (إعداد أوراكل/مثالي).
Generated-prompt: استخدام تنبؤات النموذج السابقة (إعداد النشر الواقعي)، والذي يختبر المتانة ضد انتشار الأخطاء.

المساهمات الرئيسية

بنية SceneGraphVLM: طريقة مدمجة من طرف إلى طرف تستخدم نماذج VLM صغيرة (مثل Qwen3.5-0.8B) وتمثيل TOON الموفر للرموز، مما يحقق توازناً قوياً بين الجودة والسرعة.
التدريب الواعي بالهلوسة: تقديم تدريب قائم على GRPO مع مكافآت موجهة للرسوم البيانية تعاقب صراحةً الكائنات والعلاقات غير المدعومة، مما يوازن بين الاستدعاء والدقة لإنتاج رسوم بيانية متينة ومدمجة.
توليد مخططات المشهد للفيديو بكفاءة: نهج خفيف الوزن لتوليد مخططات مشاهد الفيديو يستفيد من رسوم الإطارات السابقة للسياق الزمني دون معالجة لاحقة معقدة، محققاً استدلالاً يقارب الوقت الفعلي.

النتائج التجريبية

تم تقييم الطريقة على PSG (Panoptic Scene Graph)، و PVSG (Panoptic Video Scene Graph)، و Action Genome.

الأداء مقابل النماذج المرجعية: في PSG، يحقق SceneGraphVLM درجة SGG تبلغ 0.442 (Strict) و 0.460 (Soft)، متفوقاً على نماذج VLM التجارية (مثل Gemini-3-flash عند 0.318) والنماذج مفتوحة المصدر الأكبر حجماً. كما يحسن بشكل كبير المقاييس الموجهة نحو الدقة مقارنة بالنماذج المرجعية التي تركز على الاستدعاء مثل R1-SGG.
أداء الفيديو: في PVSG، يظهر النموذج متانة في إعداد Generated-prompt. تعمل مرحلة RL على تحسين درجة Strict SGG بنسبة 19% (من 0.306 إلى 0.365) مقارنة بنقطة فحص SFT فقط، متفوقاً على جميع النماذج التجارية ومفتوحة المصدر.
الكفاءة: بالاستفادة من تنسيق TOON وفك التشفيد المتسارع بواسطة vLLM، يقوم SceneGraphVLM بتوليد مخططات مشاهد كاملة في حوالي 0.64 ثانية للصور و 1.07 ثانية للفيديو على وحدة GPU واحدة من نوع A100.
Action Genome: يحقق النموذج Precision@50 قدره 38.74 و F1@50 قدره 30.75، متفوقاً بشكل كبير على خط الأساس OED (P@50=8.02, F1@50=13.37) في الدقة، مما يثبت قدرته على تجنب العلاقات المهلوسة.

الأهمية والادعاءات

يزعم البحث أن SceneGraphVLM يضع معياراً جديداً للتوازن بين الجودة والسرعة في توليد مخططات المشهد التوليدية. من خلال الجمع بين تمثيل موفر للرموز وتعلم تعزيزي مدرك للدقة، تمكن هذه الطة نماذج VLM الصغيرة من إنتاج مخططات مشاهد موثوقة ومدمجة ومستندة بصرياً بما يتناسب مع تطبيقات الوقت الفعلي. يؤكد المؤلفون أن نهجهم يعالج نمط الفشل الشائع في SGG القائم على VLM — وهو الإفراط في التوليد والهلوسة — من خلال معاقبة المحتوى غير المدعوم صراحةً أثناء التدريب. كما تم تسليط الضوء على القدرة على الحفاظ على الاتساق الزمني في الفيديوهات باستخدام الرسم البياني السابق فقط، دون تتبع خارجي، كخطوة هامة نحو النشر العملي في الروبوتات وتحليل الفيديو.

يشير المؤلفون إلى القيود، بما في ذلك الاعتماد على مجموعات بيانات ذات مفردات مغلقة، والارتباط المحتمل لتراكم الأخطاء في تسلسلات الفيديو، والحاجة إلى موارد GPU محددة للاستدلال في الوقت الفعلي، لكنهم يؤكدون أن الطريقة توفر أساساً عملياً لـ SGG القائم على VLM في المهام اللاحقة.