Bias mitigation in graph diffusion models

إليك ملخص تقني مفصل لورقة البحث "تخفيف الانحياز في نماذج انتشار الرسوم البيانية" (ICLR 2025).

1. بيان المشكلة

تحدد الورقة نوعين حرجين ومترابطين من الانحياز في نماذج انتشار الرسوم البيانية الحالية (مثل GDSS، GSDM، HGDM، MOOD)، مما يؤدي إلى تدهور جودة التوليد:

• انحياز البداية العكسية (Reverse-Starting Bias):
  • السبب: بسبب قيود حجم البيانات وقدرة الشبكة، غالبًا ما تقوم نماذج انتشار الرسوم البيانية بقطع عملية الانتشار الأمامي. ونتيجة لذلك، يبتعد توزيع أقصى اضطراب عند الخطوة الزمنية النهائية ($T$) بشكل كبير عن التوزيع الغاوسي القياسي ($N(0, I)$).
  • عدم التطابق: ومع ذلك، يبدأ التوليد العكسي القياسي دائمًا من توزيع غاوسي قياسي. وهذا يخلق عدم تطابق توزيعي بين نهاية العملية الأمامية ونقطة بداية العملية العكسية.
  • الأثر: يجبر هذا الانحياز النموذج على البدء في أخذ العينات من حالة لم يتدرب على العمل فيها، مما يؤدي إلى أخطاء كبيرة في المراحل الأولى من التوليد.
• انحياز التعرض (Exposure Bias):
  • السبب: أثناء التدريب، يتنبأ النموذج بالدرجات (scores) بناءً على بيانات نظيفة مشوبة بالضجيج ($x_t$). أما أثناء الاستدلال (أخذ العينات العكسية)، فيتنبأ النموذج بالدرجات بناءً على تنبؤاته السابقة ($\hat{x}_t$)، والتي تحتوي على أخطاء متراكمة.
  • التفاعل: تجادل الورقة بأن انحياز التعرض يتفاقم بسبب انحياز البداية العكسية. فعندما يبدأ النموذج من توزيع غير متطابق (ضجيج عالٍ/إشارة منخفضة)، يكون حساسًا للغاية لأخطاء التنبؤ. ومع تقدم عملية أخذ العينات، تتراكم هذه الأخطاء، مما يؤدي إلى مزيد من التدهور في جودة الرسم البياني المولد.

2. المنهجية: S++ (تصحيح الدرجة + محاذاة لانجفان)

يقترح المؤلفون نهجًا شاملاً وقابلًا للتركيب والتشغيل (plug-and-play) يسمى S++، والذي يخفف كلا الانحيازين دون تعديل بنية الشبكة الأساسية أو إدخال مكونات جديدة قابلة للتعلم (مثل المميزات أو المولدات).

أ. محاذاة البداية العكسية عبر أخذ عينات لانجفان (Langevin Sampling)

لمعالجة انحياز البداية العكسية، تقوم الطريقة بمحاذاة نقطة بدء أخذ العينات العكسية مع توزيع أقصى اضطراب أمامي فعلي.

• الآلية: بدلاً من البدء مباشرة من $N(0, I)$، تستخدم الطريقة أخذ عينات لانجفان بتوجيه من شبكة الدرجة المدربة مسبقًا $s_{\theta, T}(\cdot)$ عند الزمن $T$.
• العملية:
  1. تهيئة $\hat{X}_T \sim N(0, I)$.
  2. إجراء $M$ من خطوات ديناميكيات لانجفان: $\hat{X}_T \leftarrow \hat{X}_T + \frac{\eta_T}{2} s_{\theta, T}(\hat{X}_T) + \sqrt{\eta_T}\epsilon$.
  3. ينقل هذا الإجراء توزيع العينة من التوزيع الغاوسي القياسي إلى توزيع أقصى اضطراب أمامي فعلي $q(X_T)$، والذي يكون عادةً في حالة ضجيج منخفضة.
• الفائدة: البدء من حالة ضجيج منخفضة يقلل من حساسية النموذج لأخطاء التنبؤ بالدرجة، مما يخفف بشكل طبيعي من انحياز التعرض الأولي.

ب. آلية تصحيح الدرجة (S++)

لمعالجة انحياز التعرض بشكل أكبر وتدقيق تقدير الدرجة، قدم المؤلفون آلية لتصحيح الدرجة تعتمد على الفرق بين شبكتي درجة.

• المفهوم:
  1. استخدام الشبكة المدربة مسبقًا $s_{\theta, t}$ لتوليد دفعة من العينات الزائفة ($\hat{X}'_0$).
  2. تدريب شبكة درجة زائفة $s_{\psi, t}$ على هذه العينات المولدة. وبما أن $\hat{X}'_0$ تحتوي على انحياز، فإن $s_{\psi, t}$ تتعلم التوزيع المنحاز.
  3. حساب فرق الدرجة: $\Delta s = s_{\theta, t} - s_{\psi, t}$.
• الرؤية النظرية: يحتوي فرق الدرجة $\Delta s$ على معلومات حول البيانات الحقيقية $X_0$ (تحديدًا، الانحراف بين التنبؤ المنحاز والتنبؤ الزائف "الأكثر انحيازًا").
• صيغة التصحيح: يتم حساب الدرجة المصححة كالتالي:
  $$s_{\theta, t}^{corr} = \frac{s_{\theta, t} + \lambda (s_{\theta, t} - s_{\psi, t})}{\omega}$$
  • $\lambda$: يتحكم في الاتجاه (سحب الدرجة نحو الاتجاه غير المنحاز).
  • $\omega$: يضبط مقدار الدرجة.
• التطبيق: يتم تطبيق هذا التصحيح أثناء عملية أخذ العينات العكسية. ومن المهم أن محاذاة البداية العكسية تضع العملية في حالة ضجيج منخفضة، مما يجعل التصحيح أكثر فعالية في البداية وغالبًا ما يتطلب تدخلًا أقل في الخطوات اللاحقة، مما يقلل التكلفة الحسابية.

3. المساهمات الرئيسية

1. تحليل منهجي للانحياز: تعد هذه الورقة الأولى التي تحدد وتحلل بشكل منهجي كلاً من انحياز البداية العكسية وانحياز التعرض تحديدًا في سياق نماذج انتشار الرسوم البيانية، مع تسليط الضوء على شدتهما الفريدة مقارنة بنماذج انتشار الصور نظرًا لندرة البيانات والقيود الهيكلية.
2. استراتيجية تخفيف مبتكرة (S++):
   • تقترح استخدام أخذ عينات لانجفان لمحاذاة نقطة البقد العكسي مع توزيع أقصى اضطراب أمامي.
   • تقدم آلية تصحيح فرق الدرجة التي تستفيد من شبكة زائفة لتحسين تنبؤات الدرجة دون إعادة تدريب النموذج الرئيسي أو إضافة مكونات خارجية.
3. تصميم قابل للتركيب والتشغيل (Plug-and-Play): لا تتطلب الطريقة أي تعديلات على بنية الشبكة، أو المعلمات، أو أهداف التدريب. ويمكن دمجها بسلاسة في نماذج انتشار الرسوم البيانية الحالية (GDSS, GSDM, HGDM, MOOD).
4. التبرير النظري: توفر استنتاجات توضح أن فرق الدرجة يحتوي على معلومات حول البيانات الحقيقية $X_0$، مما يسم_ح للتصحيح بتوجيه مسار أخذ العينات ليكون أقرب إلى المسار الأمثل.

4. النتائج التجريبية

تم التحقق من صحة النهج عبر مجموعات بيانات متعددة (Community-small, Enzymes, Grid, QM9, ZINC250k) ومهام متنوعة (توليد رسوم بيانية عامة، توليد جزيئات، اكتشاف الأدوية).

• توليد الرسوم البيانية العامة: تفوق S++ بشكل كبير على النماذج المرجعية (GDSS, HGDM, GSDM) في مقايسات مثل الدرجة (Degree)، معامل التجمع (Clustering Coefficient)، وعدد المدارات (Orbit counts - MMD). حقق نتائج رائدة (SOTA)، متفوقًا في كثير من الأحيان على النماذج المرجعية التي استخدمت مصححات معقدة.
• توليد الجزيئات: في QM9 و ZINC250k، حسن S++ جودة التوليد (FCD و NSPDK MMD أقل) وزاد من معدلات الصلاحية (validity rates).
  • مثال: في QM9، حقق نموذج GDSS-OC-S++ قيمة FCD بلغت 1.661 مقارنة بـ 4.584 للنموذج المرجعي.
• اكتشاف الأدوية (MOOD): في توليد الجزيئات خارج نطاق التوزيع (OOD)، أظهر MOOD-S++ "نسب نجاح مستهدف جديد" (Novel Hit Ratios) أعلى ودرجات إرساء (docking scores) أفضل عبر خمسة أهداف بروتينية (مثل parp1, fa7) مقارلة بالنموذج المرجعي MOOD.
• الكفاءة: يتيح S++ توليدًا عالي الجودة مع خطوات أخذ عينات أقل. على سبيل المثال، في QM9، حافظ S++ على أداء قريب من الأمثل حتى مع $N=100$ خطوة، بينما تدهور أداء النموذج المرجعي بشكل كبير.
• دراسات الاستئصال (Ablation Studies): أكدت أن كلاً من محاذاة لانجفان وتصحيح الدرجة ضروريان؛ حيث أدى استخدام كل منهما بشكل مستقل إلى تحسين النتائج، لكن الجمع بينهما حقق أفضل أداء.

5. الأهمية

• تحول في النموذج الفكري: تتحدى الورقة الافتراض بأن نماذج انتشار الرسوم البيانية يجب أن تبدأ من توزيع غاوسي قياسي. وتثبت أن محاذاة بداية أخذ العينات مع العملية الأمامية الفعلية أمر بالغ الأهمية لبيانات الرسوم البيانية.
• الكفاءة مقابل الجودة: تقدم حلاً يحسن جودة التوليد وفي الوقت نفسه يقلل التكاليف الحسابية (عدد خطوات أقل مطلوب)، مما يجعل نماذج انتشار الرسوم البيانية أكثر عملية للتطبيقات واسعة النطاق.
• القدرة على التعميم: الطريقة مستقلة عن مجال بنية الرسم البياني المحددة (مكانية، طيفية، أو زائديّة/hyperbolic) ويمكن تطبيقها على أي نموذج انتشار رسوم بيانية قائم على الدرجة (score-based)، مما يوفر إصلاحًا عالميًا لمشكلات الانحياز المتأصلة في هذا المجال.