💻 computer science

REACT++: Efficient Cross-Attention for Real-Time Scene Graph Generation

يُعد REACT++ نموذجاً جديداً ومتطوراً لتوليد المخططات المشهدية في الوقت الفعلي، حيث يستفيد من استخراج الميزات الفعال والانتباه المتبادل بين الموضوع والمفعول به لتحقيق أعلى سرعة استنتاج، وتحسين دقة التنبؤ بالعلاقات، والحفاظ على أداء كشف الكائنات، متفوقاً بذلك على سلفه بكونه أسرع بنسبة 20% مع زيادة في الدقة بنسبة 10%.

المؤلفون الأصليون: Maëlic Neau, Zoe Falomir

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maëlic Neau, Zoe Falomir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى مشهد شارع مزدحم. دماغك لا يرى مجرد "كتلة من البكسلات"؛ بل يفهم فوراً: "هناك شخص (فاعل) يركب (فعل) دراجة (مفعول به)."

في عالم الذكاء الاصطناعي، تسمى هذه المهمة توليد مخطط المشهد (Scene Graph Generation - SGG). الأمر يشبه تحويل صورة إلى قصة مهيكلة أو خريطة من العلاقات. وهذا أمر بالغ الأهمية للروبوتات، والسيارات ذاتية القيادة، والكاميرات الذكية لكي تتمكن من "فهم" ما يحدث حولها، وليس فقط رؤيته.

ومع ذلك، هناك مشكلة كبيرة. نماذج الذكاء الاصطناعي الحالية تشبه أمين مكتبة بطيئاً وثقيلاً. يمكنه إخبارك بدقة من يركب ماذا، لكنه يستغرق وقتاً طويلاً في مراجعة كتبه لدرجة أنه بحلول الوقت الذي ينتهي فيه، يكون الروبوت قد اصطدم بالحائط بالفعل. إنها دقيقة ولكنها بطيئة جداً للاستخدام في الوقت الفعلي.

إليك REACT++، "العداء السريع" الجديد في عالم الذكاء الاصطناعي. إليك كيف يعمل، مشروحاً ببساطة:

1. الطريقة القديمة: "رقصة الخطوتين" (ولماذا كانت بطيئة)

في السابق، كانت معظم نماذج الذكاء الاصطناعي تستخدم نهج "المرحلتين".

المرحلة 1: محقق (كاشف الأشياء) يجد جميع الأشخاص والدراجات.
المرحلة 2: محقق ثانٍ (متنبئ بالعلاقات) ينظر إلى القائمة من المرحلة الأولى ويحاول تخمين من يفعل ماذا بمن.

المشكلة؟ المحقق الثاني كان يستخدم أداة قراءة خرائط قديمة وبطيئة جداً تسمى ROI Align. تخيل أنك تحاول قياس قطعة بيتزا عن طريق رسم شبكة مثالية فوقها وحساب كل فتات منها. إنها دقيقة، لكنها تستغرق وقتاً طويلاً جداً. كما أن المحقق الثاني غالباً ما ينسى النظر إلى الغرفة بأكملها، ويركز فقط على الشخصين الموجودين أمامه، مما يجعله يفقد السياق (على سبيل المثال، هما في مطبخ، لذا فإن "الأكل" هو الاحتمال الأرجح من "السباحة").

2. حل REACT++: "المحقق السريع"

قام مؤلفو هذه الورقة البحثية ببناء REACT++ لإصلاح هذه الاختناقات. لقد أجروا ثلاث ترقيات رئيسية:

أ. الأداة الجديدة: DAMP (الـ "لقطة الخاطفة")

بدلاً من أداة القياس البطيئة القائمة على الشبكة (ROI Align)، اخترعوا DAMP (التجميع متعدد المقاييس المرتبط بالكشف - Detection-Anchored Multi-scale Pooling).

التشبيه: تخيل أن الأداة القديمة كانت مثل مسّاح يلتف حول المنزل ويقيس كل بوصة بشريط قياس. الأداة الجديدة، DAMP، هي مثل طائرة بدون طيار ذكية. فهي تعرف بالضبط مكان الشيء لأن المرحلة الأولى (الكاشف) أخبرتها بالفعل بالإحداثيات. هي فقط "تلتقط" صورة لذلك المكان بدقة وسرعة.
النتيجة: إنها أسرع بكثير ولا تضيع الوقت في حساب أشياء تعرفها بالفعل.

ب. العقل الجديد: CARPE (الـ "موصل السياقي")

كانت النماذج القديمة تعامل العلاقات كعلاقات متماثلة. ظنت أن "شخص على دراجة" هي نفس "دراجة على شخص". لكن في الواقع، العلاقات لها اتجاه!

التشبيه: فكر في النموذج القديم كـ شارع ذي اتجاهين حيث تتدفق حركة المرور في كلا الاتجاهين بالتساوي. يقدم REACT++ تقنية CARPE (تضمين النموذج الدوار عبر الانتباه المتقاطع)، وهي تشبه طريقاً سريعاً باتجاه واحد مع إشارات مرور. إنها تفهم أن "الشخص" هو السائق و"الدراجة" هي المركبة. كما أنها تضيف "نظام تحديد مواقع مكاني" (Rotary Position Embedding) بحيث يعرف الذكاء الاصطناعي أنه إذا كان الشخص فوق الدراجة، فمن المرجح أنه "يركبها"، ولكن إذا كان تحتها، فقد يكون "يصلحها".
إضافة: كما أنها تنظر أيضاً إلى "السياق العالمي" (باستخدام وحدة تسمى AIFI). إنه مثل المحقق الذي يتراجع خطوة للخلف لينظر إلى الغرفة بأكملها. إذا كانت الغرفة شاطئاً، فسيخمن الذكاء الاصطناعي أن "السباحة" هي الأكثر احتمالاً من "القيادة".

ج. الفلتر الذكي: DCS (الـ "حارس البوابة")

في الأيام الخوالي، كان الذكاء الاصطناعي يحاول فحص كل زوج ممكن من الأشياء في الصورة (على سبيل المثال، "هل المصباح يركب القطة؟"). هذا هدر للوقت.

التشبيه: يستخدم REACT++ تقنية الاختيار الديناميكي للمرشحين (DCS)، والتي تعمل مثل حارس بوابة ذكي في ملهى ليلي. بدلاً من السماح للجميع بالدخول للتحقق من العلاقات، يقوم الحارس بسرعة بفحص الهوية (درجة الثقة) ويسمح فقط للمرشحين الأكثر احتمالاً (أفضل 47 شخصاً، على سبيل المثال) بدخول غرفة الـ VIP للتحقق من العلاقة.
النتيجة: إنه يقلل الضجيج ويركز فقط على الأشياء المهمة، مما يوفر وقتاً هائلاً.

النتيجة الكبرى

من خلال الجمع بين هذه الترقيات الثلاث، يحقق REACT++ "الكأس المقدسة" في الذكاء الاصطناعي:

إنه سريع: يعمل في حوالي 26 مللي ثانية. هذا أسرع من رمشة عين الإنسان. إنه أول نموذج يمكن اعتباره حقيقياً في "الوقت الفعلي".
إنه ذكي: لم يصبح أسرع فحسب، بل أصبح أذكى أيضاً. فهو يتنبأ بالعلاقات بدقة أكبر بنسبة 10% من الإصدار السابق.
إنه فعال: يستخدم موارد حاسوبية (بارامترات) أقل من منافسيه.

لماذا يجب أن تهتم؟

تخيل روبوت نادل في مطعم.

الذكاء الاصطناعي القديم: يستغرق ثانيتين لإدراك أن عميلاً يمسك بكأس. بحلول ذلك الوقت، يكون النادل قد اصطدم بالطاولة بالفعل.
REACT++: يرى العميل، والكأس، وفعل "الإمساك" فوراً، ويخبر الروبوت بأن يتحرك بهدوء بعيداً عن الصينية.

تثبت هذه الورقة البحثية أنه ليس علينا الاختيار بين "الذكاء" و"السرعة". مع البنية التحتية الصحيحة، يمكن للذكاء الاصطناعي أن يكون كلاهما، مما يمهد الطريق لروبوتات يمكنها التفاعل فعلياً مع العالم الحقيقي في الوقت الفعلي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "REACT++: Cross-Attention فعال لتوليد الرسوم البيانية للمشاهد في الوقت الفعلي."

1. بيان المشكلة

يتضمن توليد الرسم البياني للمشهد (SGG) استخراج الكائنات وعلاقاتها من صورة لتكوين رسم بياني مهيكل (ثلاثيات من <الموضوع، المحمول، الكائن>). وبينما يعد SGG أمراً حاسماً لمهام لاحقة مثل استدلال الوكلاء المجسدين والأسئلة البصرية، تواجه الأساليب الحالية مقايضة كبيرة بين الدقة (كشف الكائنات وتوقع العلاقة) وزمن الاستجما (Inference Latency).

تنقسم الأساليب الحالية عموماً إلى فئتين، كلتاهما تعاني من قيود:

الأساليب ذات المرحلتين (TS): (مثل تلك القائمة على Faster-RCNN) دقة عالية في كشف الكائنات ولكنها بطيئة في الاستجابة بسبب خطوط المعالجة المعقدة (ROI Align، التدريب المتسلسل) والعمود الفقري الثقيل (ResNeXt-101). وغالباً ما تعاني من تدهور في الأداء في مهمة كشف الكائنات بعد تدريب العلاقات.
الأساليب ذات المرحلة الواحدة (OS): (مثل تلك القائمة على DETR) أسرع ولكنها غالباً ما تكون دون المستوى الأمثل في دقة كشف الكائنات مقارنة بأساليب المرحلتين (TS).

حدد المؤلفون ثلاث عقبات محددة في الحالة الراهنة لـ REACT (النموذج السابق) وفي بنيات TS العامة:

استخراج الميزات غير الفعال: الاعتماد على ROI Align يستهلك عدداً كبيراً من المعلمات وزمن الاستجابة.
الافتقار إلى السياق العالمي: تفشل النماذج غالباً في الاستفاف من معلومات المشهد العالمية لحل المحمولات المعتمدة على السياق (مثل "يأكل" مقابل "يشرب").
التمثيل المتماثل: تعامل النماذج السابقة تمثيلات الموضوع والكائن بشكل متماثل، مما يفشل في التقاط اللاتماثل المتأصل في العلاقات (على سبيل المثال، <شخص، يأكل، بيتزا> $\neq$ <بيتزا، يأكل، شخص>).

2. المنهجية: بنية REACT++

تقدم REACT++ بنية المرحلتين المنفصلتين (DTS) التي تستبدل العمود الفقري التقليدي Faster-RCNN بـ YOLO (تحديداً YOLOv8/v12) لتحقيق كفاءة الوقت الفعلي، مع تقديم وحدات مبتكرة للحفاظ على دقة عالية.

أ. تصميم المرحلتين المنفصلتين (DTS)

استبدال العمود الفقري: استبدال ResNeXt-101/Faster-RCNN الثقيل بعمود فقري خفيف الوزن من نوع YOLO (قائم على CSPNet).
الفصل (Decoupling): يتم تجميد كاشف الكائنات (YOLO) بعد التدريب. لا يعيد متنبئ العلاقة تصنيف الكائنات؛ بل يستخدم احتمالات فئة YOLO الأصلية. هذا يمنع "انخفاض الدقة" في ككشف الكائنات الذي يحدث غالباً عند ضبط نماذج TS للعلاقات.

ب. DAMP (التجميع متعدد المقاييس المرتبط بالمرساة)

المشكلة: تستخدم طرق TS القياسية ROI Align، والتي تتضمن استكمالاً ثنائياً خطياً وهي مكلفة حوسبياً ( $O(N \times 7^2)$ ).
الحل: يستفيد DAMP من الطبيعة الخالية من المرساة (anchor-free) لنماذج YOLO الحديثة. بدلاً من الاستكمال، يقوم مباشرة بفهرسة خرائط الميزات عند إحداثيات صندوق الإحاطة.
الآلية:
1. جمع متعدد المقاييس: يجمع الميزات من مستويات FPN متعددة ( $P3, P4, P5$ ).
2. الجوار الغاوسي: يطبق جواراً موزوناً بـ Gaussian بمقاس $3 \times 3$ حول نقطة المرساة لالتقاط السياق المحلي دون استكمال ثقيل.
3. الكفاءة: يقلل عمليات الجمع بمقدار $5.4\times$ مقارنة بـ ROI Align دون وجود معلمات قابلة للتعلم في مرحلة الجمع.

ج. AIFI (التفاعل البيني للميزات داخل المقياس القائم على الانتباه)

الغرض: حقن السياق العالمي في توقع العلاقة دون تكلفة حوسبية باهظة.
الآلية: مستوحى من RT-DETR، تعالج وحدة انتباه خفيفة الوزن ميزات المشهد لإنشاء متجه سياق عالمي. يتم دمج هذا المتجه مع ميزات الموضوع/الكائن المحلية، مما يساعد النموذج على فهم دلالات مستوى المشهد (على سبيل المثال، التمييز بين "مطبخ" و"شاطئ" لتوقع المحمولات الصحيحة).

د. CARPE (تضمين النموذج الأولي الدوراني للانتباه المتقاطع)

الغرض: نمذجة اللاتماثل في العلاقات وتشفير المعلومات المكانية بكفاءة.
الانتباه المتقاطع (Cross-Attention): بدلاً من دمج ميزات الموضوع والكائن خطياً، يستخدم CARPE آلية انتباه متقاطع حيث تقوم الرموز البصرية بالاستعلام عن بنك من النماذج الأولية للمحمولات الدلالية. يسمح هذا للنموذج بدمج الإشارات الدلالية ذات الصلة بشكل انتقائي.
تضمين الموضع الدوراني (RoPE): يستبدل مستخرج الميزات المكانية المنفصل والثقيل (كتل Conv) المستخدم في العمل السابق. يتم تشفير الإحداثيات المكانية (العرض، الارتفاع، المركز، المساحة) كـ RoPE وإضافتها كتحيز (bias) إلى لوغاريتمات الانتباه. هذا يسمح للنموذج بتعلم التحيزات المكانية الاتجاهية (مثل "فوق" مقابل "تحت") مباشرة داخل طبقة الانتباه.
استقرار النموذج الأولي: يستخدم مخزن EMA (المتوسط المتحرك الأسي) للنماذج الأولية للمحمولات لتثبيت التعلم للفئات طويلة الذيل (النادرة).

هـ. اختيار المرشح الديناميكي (DCS)

الاستراتيجية: بدلاً من معالجة عدد ثابت من المقترحات (مثلاً 100) لكل صورة، يحدد DCS ديناميكياً العدد الأمثل للمقترحات ( $k$ ) بناءً على تعقيد الصورة ومنحنى الأداء والكمون.
الفائدة: يقلل التعقيد الحوسبي لمرحلة مطابقة العلاقات $N \times (N-1)$ عن طريق تصفية المرشحين ذوي الثقة المنخفضة مبكراً.

3. المساهمات الرئيسية

DAMP: خوارزمية تجميع جديدة لكواشف المرحلة الواحدة تتفوق على ROI Align في كل من زمن الاستجابة والدقة.
تكامل السياق العالمي: تقديم وحدة AIFI منخفضة التكلفة لتعزيز توقع العلاقة بسياق مستوى المشهد.
CARPE: رأس علاقة مبتكر يستخدم الانتباه المتقاطع وRoPE لنمذجة عدم تماثل العلاقات والتحيزات المكانية دون مستخرجات مكانية إضافية.
DCS: استراتيجية وقت الاستنتاج التي تقلل زمن الاستجابة بشكل كبير عبر الاختيار التكيفي لأزواج المرشحين.
أداء الحالة الراهنة (SOTA): يحقق أفضل مقايضة بين دقة كشف الكائنات (OD)، ودقة توقع العلاقة (RelPred)، وسرعة الاستجابة.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات PSG و IndoorVG و VG150.

الأداء مقابل السرعة:
- زمن الاستجابة: يحقق REACT++ زمن استجابة قدره 25.9 مللي ثانية (على كمبيوتر محمول مزود بـ GPU)، وهو أسرع بنسبة 20% من نموذج REACT الأصلي وأسرع بكثير من جميع نماذج المرحلتين (TS) والمرحلة الواحدة (OS) الأخرى. مع استخدام DCS، ينخفض زمن الاستجابة أكثر إلى أقل من 20 مللي ثانية.
- الدقة:
  - كشف الكائنات: تحسن mAP بنسبة 54.37% مقارنة بطرق TS التي تستخدم Faster-RCNN على مجموعة PSG.
  - توقع العلاقة: تحسن متوسط Recall@K بنسبة 10% و F1@K بمقدار 5 نقاط مقارنة بـ REACT الأصلي.
- المعلمات: قلل إجمالي المعلمات بنسبة 17% مقارنة بـ REACT (35.8 مليون مقابل 43.3 مليون).
المقارنات:
- يتفوق على أساليب المرحلة الواحدة (EGTR, RelTR) في دقة كشف الكائنات (mAP).
- يتفوق على أساليب المرحلتين (PE-NET, VCTree, Motifs) في كل من السرعة ودرجات F1@K.
- على مجموعة بيانات PSG، يعد REACT++ مع YOLO12-m أول نموذج يحقق F1@K بقيمة 30.0.
دراسات الاستئصال (Ablation Studies):
- DAMP مقابل ROI Align: قلل DAMP زمن الاستجلة بنسبة ~32% مع انخفاض طفيف جداً في الدقة مقارنة بالفهرسة المباشرة، وتحقيق مكسب على ROI Align القياسي.
- AIFI: أدى إضافة السياق العالمي إلى تحسين F1@K بمقدار 0.42 نقطة.
- DCS: قلل زمن الاستجابة بنسبة 66.5% في المتوسط مع فقدان ~1% فقط في F1@K.

5. الأهمية

يمثل REACT++ تحولاً جذرياً في توليد الرسوم البيانية للمشاهد في الوقت الفعلي. لقد نجح في إثبات أن بنيات المرحلتين المنفصلتين (Decoupled Two-Stage)، عندما تقترن بكواشف فعالة من مرحلة واحدة (YOLO) وآليات انتباه متقدمة، يمكن أن تتفوق على خطوط المعالجة التقليدية "الثقيلة".

الأثر العملي: يجعل زمن الاستجما (أقل من 20 مللي ثانية) من SGG أمراً قابلاً للتطبيق في الوكلاء المجسدين والروبوتات، حيث يكون فهم المشهد في الوقت الفعلي أمراً حاسماً للملاحة والاستدلال.
الكفاءة: من خلال إزالة ROI Align ومستخرجات المكانية المنفصلة، أصبح النموذج أخف وأسرع دون التضحية بالقدرة على تعلم العلاقات غير المتماثلة والمعقدة.
العمل المستقبلي: يخطط المؤلفون لنشر REACT++ على منصات روبوتية فيزيائية لاختبار فائدته في مهام الملاحة والاستدلال في العالم الحقيقي.

الكود والقياس المرجعي متاحان علناً على: https://github.com/Maelic/SGG-Benchmark.