ملخص تقني: TIDE – اكتشاف خروج التوزيع في الرسوم البيانية عبر تفكيك المعلومات إلى ثلاثة مكونات

1. بيان المشكلة

تُستخدم الشبكات العصبية الرسومية (GNNs) على نطاق واسع لتصنيف العقد، لكنها تظل عرضة لانزياحات خروج التوزيع (OOD) في سمات العقد ($X$) وبنية الرسم البياني ($A$). تلتقط نهج التعلم الخاضع للإشراف (SL) التقليدية تمثيلاً مختلطاً $Z = f(X, A)$ يدمج بين ثلاثة أنواع من الإشارات:

1. إشارات خاصة بالسمات: ارتباطات تعتمد فقط على $X$.
2. إشارات خاصة بالبنية: ارتباطات تعتمد فقط على $A$.
3. إشارات المدخلات المشتركة: التفاعلات بين $X$ و $A$.

بينما قد تكون جميع هذه الإشارات الثلاث تنبؤية ضمن توزيع التدريب، إلا أن الإشارات المعتمدة على السمات فقط أو البنية فقط غالباً ما تلتقط ارتباطات زائفة تفشل عند حدوث انزياحات في التوزيع. على سبيل المثال، قد يقوم نموذج يعتمد على ارتباطات زائفة بين البنية والملصق (label) بتصنيف العقد الخارجة عن التوزيع (OOD) التي تمتلك سمات منزاحة ولكن بنية سليمة كأنها داخل التوزيع (ID) وبثقة عالية. يفشل التعلم الخاضع للإشراف القياسي في التمييز بين هذه الإشارات، مما يؤدي إلى تنبؤات مفرطة الثقة على بيانات OOD وضعف الفصل بين عقد ID وعقد OOD.

2. المنهجية: إطار عمل TIDE

يقترح المؤلفون TIDE (تفكيك المعلومات إلى ثلاثة مكونات)، وهو إطار عمل مصمم لتفكيك المعلومات التنبؤية صراحةً إلى مكونات خاصة بالسمات، وخاصة بالبنية، ومكونات مشتركة. الهدف الأساسي هو الحفاظ فقط على المعلومات المشتركة ذات الصلة بالملصق مع تصفية الارتباطات الزائفة أحادية المدخل والضوضاء غير المرتبطة بالملصق.

2.1 تفكيك المعلومات إلى ثلاثة مكونات

يصيغ TIDE المعلومات المتبادلة بين المدخلات $(X, A)$ والملصق $Y$ كمجموع لثلاثة مكونات:
$$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$$
حيث أن:

• $I(Z; Y)$: معلومات المدخلات المشتركة (التي يلتقطها المشفر الرئيسي $Z$).
• $I(X; Y|Z)$: المعلومات الخاصة بالسمات (التي يلتقطها شبكة سمات مساعدة $V$).
• $I(A; Y|Z)$: المعلومات الخاصة بالبنية (التي تلتقطها شبكة بنية مساعدة $Q$).

يستخدم إطار العمل ثلاث شبكات مخصصة:

1. المشفر المشترك ($Z$): مصنف GNN يلتقط التفاعلات المستقرة بين السمات والبنية.
2. شبكة السمات ($V$): شبكة MLP تعزل الإشارات المعتمدة على السمات فقط.
3. شبكة البنية ($Q$): شبكة GNN (بميزات ثابتة) تعزل الإشارات المعتمدة على البنية فقط.

2.2 أهداف التحسين

لتحقيق التفكيك المنشود، يقوم TIDE بتحسين دالة هدف مركبة تجمع بين هيكل "عنق زجاجة المعلومات" (Information Bottleneck - IB) مع منظمين مبدئيين:

1. هدف عنق زجاجة المعلومات (IB):
   يُطبق على الشبكات الثلاث، حيث يهدف هدف IB إلى تعظيم المعلومات ذات الصلة بالملصق وتقليل الضوضاء غير المرتبطة بالملصق:
   $$\max I(Z; Y) - \beta_Z I(X, A; Z)$$
   هذا يشجع التمثيل على ضغط التفاصيل غير ذات الصلة، مما يؤدي نظرياً إلى جعل تنبؤات ID أكثر حدة وزيادة فجوة الإنتروبيا بين بيانات ID وOOD.

2. منظم الاستقلال الشرطي:
   لضمان أن $Z$ يلتقط الإشارة المشتركة وليس التبعيات المتبقية، يفرض TIDE شرط $A \perp\!\!\!\perp X | Z$:
   $$\min I(A; X | Z)$$
   يتم تنفيذ ذلك عبر خسارة إعادة البناء (reconstruction loss)، مما يشجع $Z$ على تشفير كل معلومات $X$ المتعلقة بـ $A$ (والعكس صحيح)، مع اعتبار أي تبعية متبقية كإشارة زائفة.

3. تقليل المعلومات المتبادلة الزوجية (PMI):
   لمنع الشبكات الثلاث من تشفير نفس المعلومات بشكل مكرر، يقلل TIDE من المعلومات المتبادلة الزوجية بين التمثيلات:
   $$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$$
   يتم تنفيذ ذلك باستخدام مُقدر CLUB (الحد العلوي للنسب اللوغاريتمي التبايني).

2.3 الاستنتاج

أثناء الاستنتاج، يتم استخدام المشفر المشترك ($Z$) فقط. تعمل الشبكات المساعدة ($V$ و $Q$) حصرياً كمنظمات أثناء وقت التدريب لتوجيه فك تشابك الإشارات. يتم إجراء اكتشاف OOD باستخدام تسجيل قائم على الطاقة (energy-based scoring) مستمد من لوجيتات (logits) $Z$.

3. المساهمات الرئيسية

1. منهجية: اقتراح TIDE، وهو إطار عمل جديد يقوم بتفكيك معلومات الرسم البياني التنبؤية صراحةً إلى مكونات خاصة بالسمات، وخاصة بالبنية، ومكونات مشتركة. كما يقدم منظمات محددة لقمع الارتباطات الزائفة وفرض الاستقلال الشرطي.
2. نظرية: يقدم المؤلفون رؤى نظرية توضح أن هدف IB يحسن ثقة التنبؤ داخل التوزيع (ID) ويوسع فجوة الإنتروبيا بين بيانات ID وOOD مقارنة بالتعلم الخاضع للإشراف (SL) القياسي. يوفر هذا أساساً نظرياً لسبب كون النماذج المدربة بـ IB أفضل طبيعياً لاكتشاف OOD القائم على اللوجيتات.
3. تجريبية: تجارب مكثفة على سبعة مجموعات بيانات (بما في ذلك Cora, Citeseer, Pubmed, Amazon, Twitch, و Arxiv) تحت أنواع مختلفة من الانزياحات (انزياح السمات، البنية، المدخلات المشتركة، وانزياح الملصق). يحقق TIDE تحسناً يصل إلى 34% في FPR95 مقارنة بالنماذج المرجعية القوية.

4. النتائج التجريبية

• الأداء: يتفوق TIDE بشكل كبير على أساليب التعرض غير المخصصة لـ OOD (مثل GNNSAFE و NODESAFE) وطرق OOD العامة (مثل MSP و Energy).
  • في مجموعة بيانات Twitch، حسن TIDE قيمة AUROC بأكثر من 23% وقلل FPR95 بنسبة 34% مقارنة بالنماذج المرجعية.
  • في Pubmed، قلل TIDE قيمة FPR95 من حوالي 37% (في GNNSAFE) إلى حوالي 12.75%.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة هيكل IB إلى زيادة FPR95 بنسبة ~20%، كما يؤدي إزالة قيد الاستقلال الشرطي إلى تدهور الأداء بشكل أكبر، مما يؤكد ضرورة كلا المكونين.
• المقارنة مع الطرق المتقدمة: عند دمج هدف TIDE في طرق متقدمة أخرى (مثل DeGEM و GOLD)، فإنه يحسن باستمرار مقاييس الاكتشاف الخاصة بها، مما يشير إلى أن إطار عمل التفكيك هو مكمل للبنى الحالية.
• الكفاءة: على الرغم من أن TIDE يتسبب في زيادة زمن التدريب بمقدار 2-3 مرات بسبب الشبكات المساعدة، إلا أن وقت الاستنتاج واستهلاك الذاكرة يظلان مشابهين للطرق الرائدة (SOTA).

5. الأهمية والادعاءات

يزعم البحث أن TIDE يعالج قصوراً جوهرياً في اكتشاف OOD الحالي للرسوم البيانية: وهو الاعتماد على التمثيلات المختلطة التي تلتقط الارتباطات الزائفة. من خلال تفكيك المعلومات صراحةً واستخدام مبدأ عنق زجاجة المعلومات، يجبر TIDE النموذج على الاعتماد على إشارات المدخلات المشتركة الدالة على الانزياح بدلاً من الإشارات أحادية المدخل الهشة.

يؤكد المؤلفون أن عملهم يوفر رابطاً نظرياً بين ضغط المعلومات وأداء اكتشاف OOD، موضحين أن تقليل المعلومات غير ذات الصلة يؤدي إلى ثقة أكثر حدة في ID وفجوات إنتروبيا أكبر بين ID وOOD. ويضعون TIDE كخطوة تأسيسية لتحسين المتانة في تطبيقات الرسوم البيانية الواقعية حيث يكون انزياح التوزيع في السمات والبنية شائعاً، دون الحاجة إلى بيانات Ood إضافية أثناء التدريب. يُقدم العمل كتقدم منهجي ذي قابلية تطبيق واسعة على مهام مستوى العقدة في الرسوم البيانية، رغم ملاحظة المؤلفين أن توسيع إطار العمل ليشمل اكتشاف OOD على مستوى الرسم البياني كاملاً والرسوم البيانية ذات التغاير (heterophilic graphs) يظل توجهاً للبحوث المستقبلية.