ملخص تقني: AlignG – تعلم دلالات المحمول المشروطة بالسياق عبر التغذية الراجعة للنماذج الأولية

1. بيان المشكلة

يهدف توليد الرسوم البيانية للمشاهد (SGG) إلى تمثيل الصور في شكل رسوم بيانية مهيكلة من الكائنات وعلاقاتها الدلالية. ويتمثل التحدي الجوهري في هذا المجال في نمذجة المحمولات متعددة المعاني (polysemous predicates)، حيث يتغير معنى التسمية (مثل "على" أو "يركب") اعتماداً على السياق البصري المحدد. على سبيل المثال، الشخص الذي يقف على الزلاجات دون حركة هو "واقف على" الزلاجات، بينما الشخص الذي يتحرك في منحدر هو "يركب" الزلاجات، رغم التشابه في المظهر البصري.

تحاول الأساليب الحالية معالجة ذلك من خلال:

• النماذج الأولية الثابتة (Static Prototypes): تعيين نموذج أولي ثابت واحد لكل محمول (مثل PE-Net).
• تفكيك النماذج الأولية المتعددة (Multi-Prototype Decomposition): تقسيم المحمولات إلى نماذج أولية فرعية ثابتة متعددة (مثل C-SGG).
• الاسترجاع/المعرفة الخارجية: استخدام أمثلة خارجية أو نماذج لغوية كبيرة (LLMs) لفك الالتباس.

ومع ذلك، تعاني هذه الطرق من قصور حاسم: تظل تمثيلات المحمولات ثابتة. فهي لا تستطيع إعادة تنظيم الدلالات لتعكس الأدلة الخاصة بكل صورة أثناء الاستدلال. تفشل المرتكزات الثابتة في التكيف مع الفروق السياقية الدقيقة، مما يؤدي إلى ارتباكات منهجية في المشاهد الغامضة حيث تكون الميزات البصرية وحدها غير كافية للتمييز بين الاتصال المكاني والاستخدام الوظيفي.

2. المنهجية: AlignG

يقترح المؤلفون AlignG، وهو إطار عمل للتعلم عبر التغذية الراجعة للنماذج الأولية، يربط بين دلالات المحمول العالمية وسياق العلاقة الخاص بالصورة. وخلافاً للأعمال السابقة التي تعامل النماذج الأولية كمرتكزات ثابتة، يعامل AlignG هذه النماذج كـ متغيرات مشروطة بالسياق تتكيف ديناميكياً بناءً على الإشارات العلاقاتية داخل كل صورة.

يعمل الإطار عبر عملية صقل ثنائية المراحل:

المرحلة 1: سياق النماذج الأولية للمحمول

بدلاً من استخدام نماذج أولية ثابتة، يقوم AlignG بتحديثها تدريجياً باستخدام الأدلة العلاقاتية من الصورة الحالية.

• الآلية: يقوم بتجميع تضمينات العلاقة لكل نموذج أولي عبر الانتباه المتقاطع الموزون بالتوافق (compatibility-weighted cross-attention). تقيم هذه الآلية التوافق بين نموذج أولي عالمي وجميع مرشحي العلاقات في الصورة، وتخصص أوزانًا أعلى للأكثر صلة منها.
• قاعدة التحديث: يتم تغذية الإشارة السياقية الناتجة في خلية وحدة متكررة ذات بوابات (GRU) جنباً إلى جنب مع النموذج الأولي الثابت الموحد. ينتج عن ذلك نموذج أولي مُصَفّى خاص بالصورة $p^{(I)}_r$.
• الهدف: يسمح هذا للنماذج الأولية بالتطور مع الأدلة المحلية مع الحفاظ على الاستقرار ضمن الفضاء الدلالي العالمي، مما يمنع الانجراف الدلالي المفاجئ.

المرحلة 2: إعادة معايرة تضمينات العلاقة

بمجرد تكييف النماذج الأولية، تُستخدم لتنقية تضمينات العلاقة.

• الآلية: تقوم آلية الانتباه المتقاطع العكسي (reverse cross-attention) بنشر النماذج الأولية المُكيفة مرة أخرى إلى مرشحي العلاقات. يحدد هذا مدى مساهمة كل نموذج أولي مُكّيف في تنقية تضمين علاقة محددة.
• إعادة المعايرة: يتم دمج تضمين العلاقة الخام مع إشارة التغذية الراجعة المستندة إلى النموذج الأولي عبر شبكة إسقاط.
• الهدف: يضمن هذا التعديل أحادي الخطوة أن تكون تمثيلات العلاقة مرنة تجاه التباين المحلي ولكنها متسقة مع الدلالات العالمية.

أهداف التدريب

يتبع التحسين ثلاثة أنواع من الخسائر الرئيسية:

1. خسارة التصنيف ($L_{cls}$): الإنتروبيا المتقاطعة القياسية للتنبؤ بالمحمول.
2. خسارة التنظيم ($L_{reg}$): تفرض التنوع بين النماذج الأولية وتمنع التكرار (عقوبة التشابه وهامش التنوع).
3. خسارة المحاذاة ($L_{align}$): خسارة تباينية تسحب تضمينات العلاقة المُعايرة لتقترب من نماذجها الأولية العالمية الثابتة (وليس المُكيفة) وتدفعها بعيداً عن السلبيات المربكة.
   • خيار تصميمي حاسم: إن ربط الخسارة بالنماذج الأولية الثابتة يمنع التكيف التافه بين العلاقات والنماذج الأولية داخل صورة واحدة، مما يضمن بقاء المصنف راسخاً في مراكز دلالية مستقلة عن الصورة.

3. المساهمات الرئيسية

1. إعادة صياغة تعلم المحمول: ينقل البحث النموذج من تعلم النماذج الأولية الثابتة إلى التكيف المشروط بالصورة، مع معاملة الدلالات المحمولة كمتغيرات ديناميكية تستجيب للأدلة العلاقاتية.
2. إطار عمل AlignG: تقديم آلية تغذية راجعة للنماذج الأولية ثنائية المرحلة تقوم بـ:
   • تكييف النماذج الأولية مع الأدلة الخاصة بالصورة.
   • إعادة معايرة ميزات العلاقة تحت هذه النماذج الأولية المُكيفة.
   • الحفاظ على التماسك الدلالي العالمي من خلال التثبيت الثابت في دالة الخسارة.
3. التحقق التجريبي: إثبات تحقيق أداء رائد (SOTA) على المعايير القياسية، مدعوماً بتمثيلات بصرية تظهر إعادة تنظيم متماسكة ومعتمدة على السياق للدلالات.

4. النتائج التجريبية

تم تقييم النموذج على VG-150 و GQA-200 تحت ثلاثة إعدادات: تصنيف المحمول (PredCls)، تصنيف الرسم البياني للمشهد (SGCls)، وكشف الرسم البياني للمشهد (SGDet).

• أداء VG-150:

  • تحت إعداد SGDet، حقق AlignG قيمة F@100 بلغت 23.8، بزيادة قدرها +1.4 عن أفضل نتيجة سابقة (MCL).
  • حقق أعلى متوسط استدعاء (mR@100) عبر جميع الإعدادات (42.6 في PredCls، 26.1 في SGCls، 19.7 في SGDet).
  • مقارنة بـ PE-Net، أظهر AlignG مكاسب جوهرية في mR@100 (+8.8، +7.2، +5.2 على التوالي)، مما يؤكد أن التحسينات نابعة من آلية التغذية الراجعة وليس مجرد توسيع المفاهيم.

• أداء GQA-200:

  • حقق AlignG قيمة F@100 بلغت 19.5 في SGDet، بزيادة قدرها +2.7 عن النموذج الأساسي.
  • أظهر تحسناً مستمراً في mR@100 (+10.8 عن PE-Net)، مما يوازن بفعالية بين الدقة العالمية والإنصاف عبر التوزيعات طويلة الذيل.

• الدراسة الاستقصائية والتحليل:

  • تحليل المكونات: استبدال الربط البسيط بالموصل (concatenation) بمُحدث يعتمد على GRU أدى باستمرار إلى تحسين الأداء، خاصة في متوسط الاستدعاء.
    [] تحليل الارتباك: حلَّ AlignG ما بين 11.5% و 42.6% من الأخطاء التي وقع فيها PE-Net في الأزواج السلبية الصعبة (مثل التمييز بين "الاستلقاء على" و"الوضع على").
  • الأعباء الحسابية: تضيف الطريقة تكلفة حسابية ضئيلة (+7.05G FLOPs، +0.03 ثانية/تكرار) مع الحفاظ على سرعات استدلال في الوقت الفعلي (>30 إطار في الثانية).

5. الأهمية والادعاءات

يزعم البحث أن التماسك الدلالي والمرونة السياقية يمكن أن يتعايشا ضمن هيكل موحد. من خلال دمج القدرة على التكيف مباشرة في تمثيلات المحمول، يوضح AlignG أن النماذج الأولية الثابتة (التي توفر الاستقرار) والتكيف المشروط بالصورة (الذي يلتقط أدلة المشهد) يمكن أن يعملان كآليات متكاملة.

يؤكد المؤلفون أن نهجهم:

• يصقل المحمولات الغامضة: يقوم بدمج أو فصل دلالات المحمول بشكل انتقائي بناءً على أدلة المشهد، كما هو موضح في خرائط الحرارة لتشابه النماذج الأولية لكل صورة.
• يتجنب الانجراف الدلالي: استخدام النماذج الأولية الثابتة في خسارة المحاذاة يثبت النموذج في المراكز الدلالية العالمية، مما يمنع النموذج من الانجراف نحو الشوائب المحلية أو الكشوفات الضوضائية.
• القابلية للتعميم: بينما تم التحقق من صحة الطريقة على معايير تعتمد على الصور، يشير المؤلفون إلى أن مبدأ التكيف المشروط بالسياق يمكن أن يمتد إلى الإعدادات التسلسلية مثل فهم الفيديو، حيث تتغير الدلالات العلاقاتية عبر الزمن.

يختتم البحث ببيان تأثير متواضع، مقراً بأن الطريقة، رغم تقدمها في مجال SGG، ترث انحيازات التوسيم من مجموعات البيانات التدريبية. ويوصون بالتحقق من الصحة على التوزيعات المستهدفة والرقابة البشرية في التطبيقات الحساسة للسلامة.