🤖 machine learning

Dependency-Aware Discrete Diffusion for Scene Graph Generation

تقدم هذه الورقة نموذج انتشار منفصل يعتمد على التبعية ومقيد هرمياً، يقوم بتوليد رسوم بيانية للمشاهد مهيكلة من اللغة الطبيعية عبر فصل البنية عن الدلالات، مما يؤدي إلى تحسين الدقة التركيبية في مهام توليد الصور اللاحقة مقارنة بالنماذج المرجعية الحالية لتحويل النص إلى صورة وتوليد الرسوم البيانية.

المؤلفون الأصليون: Rajalaxmi Rajagopalan, Romit Roy Choudhury

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rajalaxmi Rajagopalan, Romit Roy Choudhury

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف مشهد معقد لفنان لكي يقوم برسمه. إذا قلت له فقط: "ارسم شخصاً ولوح تزلج"، فقد يرسم الفنان الشخص واقفاً بجانب اللوح، أو ممسكاً به، أو حتى يركب فوقه. هذا النص غامض.

الآن، تخيل بدلاً من الجملة، أنك تعطي الفنان "مخططاً هندسياً" (Blueprint). هذا المخطط هو "رسم بياني للمشهد" (Scene Graph). وهو يشبه المخطط الانسيابي حيث:

العُقد (النقاط): هي الأشياء (شخص، لوح تزلج).
الحواف (الخطوط): تربط بينها.
الملصقات على الخطوط: تخبرك بالضبط بما يحدث (مثل "يركب"، "يمسك"، أو "يقف بجانب").

المشكلة هي أن الحواسيب بارعة في قراءة النصوص، لكنها تجد صعوبة في تحويل هذا النص الغامض إلى مخطط هندسي مثالي ومنظم تلقائياً. الأدوات الموجودة حالياً غالباً ما تتعامل مع كل جزء من المخطط كأنه مستقل، مثل محاولة تخمين لون سيارة دون الاهتمام بما إذا كانت السيارة موجودة بالفعل أم لا. وهذا يؤدي إلى رسومات فوضوية وغير منطقية.

إليك DiScGraph: باني المخططات "المدرك للتبعية"

تقدم هذه الورقة البحثية نموذج ذكاء اصطناعي جديد يسمى DiScGraph، والذي يعمل كمهندس معماري ماهر يفهم كيف تُبنى المخططات الهندسية في الواقع. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. تشبيه "بناء المنزل" (المشكلة الجوهرية)

تخيل أنك تبني منزلاً.

الطريقة القديمة (نماذج الرسم البياني العامة): يحاول البنّاء وضع الأساس، وبناء الجدران، وتركيب النوافذ جميعها في وقت واحد، مع معاملة كل منها كمهمة منفصلة وغير مرتبطة. قد يضع نافذة في مكان لا يوجد فيه جدار لأنه لم يتحقق من التبعية.
طريقة DiScGraph: يتبع هذا البنّاء ترتيباً منطقياً صارماً:
1. أولاً، يقرر ما هي الغرف الموجودة (الأشياء: "هناك مطبخ وغرفة نوم").
2. بعد ذلك، يقرر أي الغرف متصلة ببعضها (الحواف: "المطبخ يتصل بغرفة النوم").
3. أخيراً، يقرر ما يحدث في تلك الاتصالات (العلاقات: "المطبخ يؤدي إلى غرفة النوم").

يدرك DiScGraph أنه لا يمكنك وجود "علاقة" (مثل "الركوب") إذا لم يكن هناك "اتصال" (حافة) أولاً. فهو يجبر الذكاء الاصطناعي على بناء الهيكل قبل ملء التفاصيل.

2. لعبة "الضجيج وإزالة الضجيج" (كيف يتعلم)

يستخدم النموذج تقنية تسمى الانتشار المنفصل (Discrete Diffusion). فكر في هذا كأنه لعبة "الهاتف المكسور" ولكن بشكل عكسي:

العملية الأمامية (إضافة الضجيج): يأخذ الذكاء الاصطناعي مخططاً مثالياً ويبدأ في بعثرته. يقوم عشوائياً بحذف الكلمات، أو حذف الاتصالات، أو تغيير كلمة "يركب" إلى "يمسك". والأهم من ذلك، أنه يفعل ذلك بذكاء: إذا حذف الاتصال بين الشخص ولوح التزلج، فإنه تلقائياً يحذف كلمة "يركب" أيضاً. فهو يعلم أنه بدون الرابط، لا معنى للفعل.
العملية العكسية (التنظيف): يتعلم الذكاء الاصطناعي لعب اللعبة بالعكس. يبدأ بمخطط مبعثر وفوضوي ويحاول إعادة بناء المخطط المثالي. ولأنه تعلم قواعد "بناء المنزل" (الأشياء $\leftarrow$ الاتصالات $\leftarrow$ الأفعال)، فإنه يعرف تماماً كيف يصلح الفوضى.

3. "نظام المكافأة" (الاستماع إلى المستخدم)

أحياناً، تريد أن يتطابق المخطط مع جملة محددة، مثل "شخص يركب موجة".

يقوم الذكاء الاصطناعي بتوليد مخطط.
ثم يتحقق: "هل يتطابق هذا المخطط مع الجملة؟" يستخدم أداة (CLIP) تعمل كمترجم، حيث تقارن معنى المخطط بالنص.
إذا تطابق المخطط جيداً، يحصل على "درجة عالية" (مكافأة). وإذا قال "شخص يمسك لوح تزلج" بينما كنت تطلب "الركوب"، فإنه يحصل على درجة منخفضة.
يستخدم الذكاء الاصطناعي هذه الدرجة لتوجيه عملية التوليد الخاصة به، وكأنه يقول: "حسناً، حاول مرة أخرى، ولكن تأكد من أن الفعل يتطابق مع كلمة 'يركب'". وهذا يحدث دون الحاجة لإعادة تدريب النموذج بالكامل من الصفر.

ماذا وجدوا؟

اختبر الباحثون DiScGraph على مجموعات بيانات قياسية (مثل Visual Genome و COCO) وقارنوه بالطرق الأخرى.

مخططات أفضل: أنتج مخططات مشاهد أكثر منطقية ودقة من النماذج السابقة، خاصة بالنسبة للعلاقات النادرة أو المعقدة (مثل "كلب يطارد قطة" مقابل مجرد "كلب وقطة").
لوحات أفضل: عندما استخدموا هذه المخططات الجديدة لتوليد الصور (باستخدام أدوات مثل SDXL)، كانت الصور الناتجة أفضل بكثير في اتباع التعليمات. إذا كان الوصف معقداً ويحتوي على أشياء كثيرة، فإن الصور لم تصب بالارتباك أو تخلط بين من يفعل ماذا.

باختุปيد:
DiScGraph هو طريقة جديدة لتمكين الحاسوب من تحويل النصوص الفوضوية إلى مخططات مهيكلة ومنطقية. من خلال إجبار الكمبيوتر على فهم أن الهيكل يأتي قبل المعنى (يجب أن يكون هناك اتصال قبل أن تتمكن من تحديد العلاقة)، فإنه ينشئ خططاً أفضل لتوليد الصور، مما يؤدي إلى صور تشبه بالفعل ما طلبه المستخدم.

ملخص تقني: الانتشار المنفصل المدرك للتبعية لتوليد مخططات المشهد

1. بيان المشكلة

توفر مخططات المشهد (Scene Graphs - SGs) تمثيلاً مهيكلاً للمشاهد البصرية، حيث تشفر الكائنات كعقد والعلاقات كحواف. وبينما أظهرت عملية تكييف توليد الصور بناءً على مخططات المشهد تحسناً في الدقة التركيبية مقارنة بالاعتماد على الأوامر النصية فقط، لا يزال هناك عائق كبير: وهو توليد مخططات مشهد مهيكلة من أوامر لغوية طبيعية.

تواجه النهج الحالية تحديين رئيسيين:

الغموض: غالباً ما تكون اللغة الطبيعية غير محددة بدقة (على سبيل المثال، "شخص ولوح تزلج" لا يحدد العلاقة)، مما يتطلب نمذجة توزيع شرطي $p(G|T)$ بدلاً من رسم خرائط حتمية.
التعقيد الهيكلي: تختلف مخططات المشهد جوهرياً عن الرسوم البيانية العامة (مثل الجزيئات أو شبكات المرور) بسبب هيكلها الهرمي، ومفردات العلاقات ذات الذيل الطويل، والتبعيات الشرطية القوية. وتحديداً، وجود علاقة ما يعتمد على وجود حافة، ووجود الحافة يعتمد على الكائنات المعنية.

تفشل نماذج الانتشار المنفصل السابقة (مثل DiGress) في التعامل مع العقد والحواف كمتغيرات فئوية مستقلة. هذا الافتراض بالاستقلالية يفشل في حالة مخططات المشهد، حيث تعد التبعية الهرمية (الكائنات $\leftarrow$ الحواف $\leftarrow$ العلاقات) أمراً حاسماً. كما تعاني النهج القياسية من هيمنة فئة "عدم وجود حافة" (no-edge) على التوزيع، مما يؤدي إلى فقدان العلاقات النادرة أثناء عملية الفساد (corruption).

2. المنهجية: DiScGraph

يقترح المؤلفون نموذج DiScGraph، وهو نموذج انتشار منفصل مدرك للتبعية ومقيد هرمياً، مصمم خصيصاً لتوليد مخططات المشهد. تتكون الطريقة من أربعة مكونات أساسية:

2.1 التمثيل الهرمي لمخطط المشهد

بدلاً من نمذجة الحواف والعلاقات كمتغير فئوي واحد مقترن، يقوم DiScGraph بفصلهما إلى فضاء حالة مجزأ $G = (V, E, R^+)$ :

$V$ (الكائنات): تسميات العقد.
$E$ (الحواف): مؤشرات وجود ثنائية ( $e_{ij} \in \{0, 1\}$ ).
$R^+$ (العلاقات): هويات العلاقات المعرفة فقط على الحواف النشطة ( $e_{ij}=1$ ).
هذا يفرض القيد $e_{ij}=0 \implies r_{ij}=0$ ، مما يضمن الصلاحية الدلالية ويفصل الندرة الهيكلية عن التعلم الدلالي.

2.2 عملية الانتشار الأمامية الواعية بالبنية

تمت إعادة تصميم عملية إدخال الضجيج الأمامية لاحترام القيود الهرمية:

فساد الحافة الموجه (Edge-Gated Corruption): فساد العلاقة يكون مشروطاً بحالة الحافة. إذا كانت الحافة غير نشطة ( $e_{ij}=0$ )، يتم تعيين العلاقة حتماً إلى 0. وإذا كانت نشطة، يتم فساد العلاقات وفقاً لنواة انتشار منفصل قياسية.
استراتيجية الفساد الهجينة: يستخدم النموذج مزيجاً من الفساد العشوائي وفساد القناع الامتصاصي (absorbing mask corruption). تحافظ استراتيجية القناع على بنية الرسم البياني (الحواف) بينما تخفي المعلومات الدلالية (الكائنات والعلاقات)، مما يسمح للنموذج بتعلم الدلالات دون تدمير الطوبولوجيا الأساسية. هذا يمنع العلاقات النادرة من التنافس مع فئة "عدم وجود حافة" الطاغية أثناء التدريب.

2.3 العينة العكسية المجزأة

تتبع عملية التوليد العكسية تسلسلاً مدركاً للتبعية: $V \to E \to R$ .

التنبؤ المجزأ: يتنبأ النموذج بالحالة النظيفة $x_0$ بترتيب محدد: أولاً هويات الكائنات ( $V_0$ )، ثم وجود الحواف ( $E_0$ ) مشروطاً بالكائنات، وأخيراً هويات العلاقات ( $R_0$ ) مشروطاً بكل من الكائنات والحواف النشطة.
الاحتمال اللاحق الموجه بالحافة: تم تعديل احتمال الانتقال العكسي للعلاقات للتعامل مع ثلاثة سيناريوهات:
1. الحافة غائبة عند $t-1$ : العلاقة تكون 0 حتماً.
2. الحافة نشطة في كل من $t$ و $t-1$ : تحديث الاحتمال اللاحق المنفصل القياسي.
3. إعادة تنشيط الحافة ( $t$ غير نشطة، $t-1$ نشطة): يتم أخذ عينة من العلاقة من توزيع هامشي مشتق من التنبؤ النظيف للمنقي (denoiser)، بدلاً من الحالة الصاخبة الحالية.

2.4 التوليد المشروط بالنص عبر الاستدلال المائل بالمكافأة

لتوليد مخططات المشهد المشروطة بأوامر نصية ( $p(G|T)$ ) دون إعادة تدريب نموذج الانتشار، يستخدم المؤلفون تكييفاً خالياً من التدريب باستخدام مونت كارلو المتسلسل (SMC) مع أخذ عينات مائلة بالمكافأة:

دالة المكافأة: درجة تشابه CLIP بين الأمر النصي والمخطط المتسلسل تعمل كمكافأة $R(G, T)$ .
أخذ العينات المائل: خلال مسار الانتشار العكسي، يتم إعادة أخذ عينات الجسيمات بناءً على توافقها مع الأمر النصي. يتم إمالة احتمال الحالة بواسطة $\exp(\beta R(\hat{G}_0, T))$ ، حيث $\hat{G}_0$ هو المخطط النظيف المتوقع عند الخطوة الزمنية الحالية.

3. المساهمات الرئيسية

التجزئة الهرمية: تقديم فضاء حالة مجزأ يفصل صراحةً بين وجود الحافة ودلالات العلاقة، مما يعالج قيود معاملة العناصر كمتغيرات مستقلة.
الانتشار المدرك للتبعية: عملية أمامية وعكسية مبتكرة تحترم التبعيات الشرطية المتأصلة في مخططات المشهد (الكائنات $\leftarrow$ الحواف $\leftarrow$ العلاقات)، مما يمنع انهيار توزيعات العلاقات النادرة.
التكييف النصي الخالي من التدريب: طريقة لمواءمة مخططات المشهد المولدة مع الأوامر النصية باستخدام أخذ العينات المائل بالمكافأة وCLIP، مما يتجنب الحاجة إلى إعادة تدريب معقدة للنماذج الشرطية.
تقييم شامل: إثبات الأداء المتفوق على المعايسات القياسية (Visual Genome, COCO, LAION-SG) عبر مقاييس الرسم البياني، وتوقع التخطيط (layout prediction)، وجودة توليد الصور اللاحقة.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات Visual Genome وCOCO وLAION-SG.

توليد المخطط غير المشروط: يتفوق DiScGraph على النماذج المستمرة (DiffuseSG) ونماذج الرسم البياني المنفصلة (DiGress, GraphGDP) عبر جميع المقاييس. والجدير بالذكر أنه يحقق تحسينات كبيرة في Relation-MMD وAttach-TV، مما يشير إلى تعلم متفوق للتوزيع الحقيقي للعلاقات والاتساق الدلالي بين الكائنات والعلاقات. كما أظهر أداءً قوياً في Rare-K-TV، مما يعني نمذجة فعالة للعلاقات ذات الذيل الطويل.
توقع التخطيط: عند استخراج صناديق الإحاطة (bounding boxes) عبر رأس تخطيط (layout head)، حقق DiScGraph درجات F1 تنافسية مقابل نماذج توليد التخطيط المخصصة (LayoutDM, LayoutDiffusion)، مما يثبت أن التعلم الهيكلي ينتقل بفعالية إلى التأسيس الهندسي (geometric grounding).
توليد الصور المشروط بالنص: عند استخدامه لتكييف مولدات الصور اللاحقة (SDXL-SG, GLIGEN)، ينتج DiScGraph صوراً ذات درجات أعلى في ImageReward وBLIP-VQA وSG-IoU مقارنة بالطرق التركيبية المعتمدة على النص فقط (ComposeDiff, CO3). يظهر التحسن بشكل واضح في السيناريوهات متعددة الكائنات والسيناريوهات المعقدة، مما يؤكد أن مخطط المشهد الهيكلي يوفر سابقة (prior) أكثر قوة من تضمينات النص وحدها.

5. الأهمية والادعاءات

يزعم البحث أن القصور الرئيسي في الانتشار المنفصل الحالي للرسوم البيانية هو افتراض الاستقلالية بين العقد والحواف، وهو أمر غير صحيح في حالة مخططات المشهد. ومن خلال تقديم عملية انتشار مدركة للتبعية ومقيدة هرمياً، نجح DiScGraph في التقاط التبعيات الشرطية المعقدة وتوزيعات الذيل الطويل التي تميز المشاهد البصرية.

يؤكد المؤلفون أن هذا النهج يقدم بديلاً قوياً للانتشار المستمر للبيانات المهيكلة، حيث يوفر "سابقة هيكلية" يصعب ترميزها في تضمينات النصوص. وتشير النتائج إلى أن توليد مخططات المشهد من النص واستخدامها لتكييف توليد الصور هو استراتيجية قابلة للتطبيق لتحسين الدقة التركيبية، خاصة في السيناريوهات التي تكون فيها الأوامر النصية غامضة أو معقدة.

يقر البحث بوجود قيود، بما في ذلك الاعتماد على CLIP لوظائف المكافأة (والذي قد لا يلتقط كل التفاصيل الدقيقة)، والنمو التربيعي لـ graph transformers مع حجم المشهد، والحاجة الحالية إلى تحسينات في أخذ العينات لضمان مخرجات عالية الجودة. ويُقترح كعمل مستقبلي استكشاف نماذج مكافأة متعلمة أقوى وآليات انتباه متفرقة (sparse attention) لتعزيز القابلية للتوسع.